Intrinsic Distribution Matching: Cải thiện mô hình tạo ảnh một bước bằng cách khớp thống kê đặc trưng
Intrinsic Distribution Matching (IDM) là một phương pháp huấn luyện nhằm cải thiện các mô hình chuyển văn bản thành ảnh trong một bước hoặc vài bước, vốn có rất ít cơ hội để tinh chỉnh các chi tiết được nêu trong câu lệnh. Phương pháp này xây dựng trên distribution matching distillation (DMD), kỹ thuật sử dụng chênh lệch giữa các ước lượng score để khiến phân phối ảnh sinh ra gần với phân phối ảnh tham chiếu hơn, đồng thời không cần một mạng riêng để ước lượng các score đó. IDM bổ sung một ràng buộc rõ ràng lên các thống kê đặc trưng: khớp giá trị trung bình và độ lệch chuẩn theo từng đặc trưng của ảnh đầu ra bằng bản sao EMA của mô hình sinh, mà không cần bộ mã hóa đặc trưng bên ngoài. Phương pháp được đánh giá với cả fine-tuning toàn bộ tham số và LoRA trên Z-Image-Turbo, đồng thời có thể cung cấp một cách đơn giản hơn để cải thiện độ trung thực của các hệ thống tạo ảnh nhanh.
Các nhà nghiên cứu và nhà phát triển mô hình sinh ảnh nên theo dõi IDM như một hướng cải thiện chất lượng cho hệ thống tạo ảnh một bước hoặc vài bước. Phương pháp này hiện được mô tả trong nghiên cứu và có thể hữu ích khi thử nghiệm fine-tuning đầy đủ hoặc LoRA cho các mô hình như Z-Image-Turbo.
Đọc bài gốc