FCP giúp mô hình video tự hồi quy học cách cảnh vật diễn biến theo thời gian
Một phương pháp huấn luyện mới mang tên Future Chunk Prediction (FCP) được đề xuất để giúp các mô hình tạo video tự hồi quy học cách cảnh vật thay đổi theo thời gian, thay vì chỉ sao chép các mẫu hình ảnh gần nhau. Những mô hình này tạo video theo từng đoạn, còn phương pháp huấn luyện phổ biến có tên teacher forcing cho chúng thấy các khung hình trước đó đúng với dữ liệu, khiến mô hình có thể dựa vào sự liên tục cục bộ thay vì thực sự học chuyển động và diễn biến của cảnh. FCP bổ sung một nhiệm vụ phụ: mô hình phải dự đoán một đoạn video ở thời điểm xa hơn mà không được xem các khung hình nằm giữa. Phương pháp này học trực tiếp từ các video huấn luyện, không cần thêm bộ mã hóa hình ảnh được huấn luyện trước và không thay đổi cách sinh video khi suy luận. Bài báo cho biết FCP giúp chuyển động tạo ra có tính hợp lý về mặt vật lý cao hơn trong khi sử dụng ít tổng chi phí tính toán huấn luyện hơn, cho thấy việc giám sát diễn biến hình ảnh ở khoảng thời gian dài hơn có thể giúp mô hình video chân thực và hiệu quả hơn.
Các nhà nghiên cứu và đội ngũ phát triển mô hình video nên theo dõi FCP vì phương pháp này có thể giúp mô hình học chuyển động và diễn biến cảnh tốt hơn mà không làm thay đổi quy trình sinh video. Hiện có thể xem đây là hướng nghiên cứu để thử nghiệm, chưa có thông tin trong bài về sản phẩm hay công cụ triển khai sẵn.
Đọc bài gốc