FrameForge: Khai thác tri thức từ mô hình nền tảng video để tạo ảnh thống nhất
FrameForge là một phương pháp được đề xuất cho bài toán tạo ảnh có điều kiện thống nhất, trong đó một mô hình sử dụng ảnh đầu vào cùng chỉ dẫn bằng văn bản để tạo ra ảnh đích. Phương pháp này dựa trên các mô hình nền tảng video đã được huấn luyện trước, vốn học cách hình ảnh thay đổi theo thời gian, nhưng không giả định rằng ảnh điều kiện và ảnh đích luôn nằm ở những vị trí cố định trong một chuỗi video. Thành phần Mixture of Temporal Experts (MoTE) tự động chọn các khoảng thời gian ảo để biểu diễn mức độ khác biệt giữa ảnh đích và ảnh đầu vào, còn Chain of Temporal Reasoning (CoTR) mô hình hóa cách ảnh đầu vào được biến đổi thành ảnh đích. Cách tiếp cận này có thể giúp các hệ thống chỉnh sửa và tạo ảnh linh hoạt hơn giữa nhiều tác vụ bằng cách điều chỉnh cách chúng hình dung sự thay đổi thị giác theo từng yêu cầu.
Đọc bài gốc