FAPL giúp MLLM hỗ trợ tạo video điện ảnh có kiểm soát theo từng yếu tố
Bài báo giới thiệu Factor-Aware Predictive Learning (FAPL), một phương pháp huấn luyện cho việc tạo video điện ảnh bằng cách sử dụng các biểu diễn từ mô hình ngôn ngữ lớn đa phương thức (MLLM). Phương pháp này nhắm đến hai thách thức: dự đoán diễn biến video từ hướng dẫn thưa thay vì phải cung cấp chỉ dẫn cho từng khung hình, đồng thời kiểm soát riêng các yếu tố như nhân vật, bối cảnh, hành động và camera. Trước hết, FAPL huấn luyện một Video Diffusion Transformer (DiT) với MLLM và bộ kết nối được đóng băng, nhằm bảo đảm bộ tạo video thực sự sử dụng các biểu diễn tiềm ẩn của MLLM thay vì bỏ qua chúng. Sau đó, phương pháp dùng các cặp video cùng những tín hiệu học bổ trợ để các biểu diễn này có thể thay đổi một yếu tố được chọn trong khi giữ lại những khía cạnh khác của video. Công trình đáng chú ý vì hướng tới việc tạo video nhất quán theo thời gian và dễ kiểm soát hơn, thay vì giả định rằng chỉ cần thêm MLLM là tự động đạt được hai khả năng này.
Đây là hướng nghiên cứu đáng theo dõi đối với các nhà phát triển và nhóm nghiên cứu video AI muốn kiểm soát riêng nhân vật, bối cảnh, hành động hoặc góc máy. Phương pháp này chưa đồng nghĩa với một công cụ sẵn dùng, nhưng gợi ý cách huấn luyện để các biểu diễn từ MLLM thực sự tác động đến quá trình tạo video.
Đọc bài gốc