ATAS: Khung quản lý trạng thái thế giới cho AI tạo video nhất quán theo không gian và thời gian
Các nhà nghiên cứu giới thiệu Any Time, Any Space (ATAS), một khung tạo video dài trong đó bối cảnh, góc máy và sự kiện vẫn nhất quán ngay cả khi các cảnh quay được tạo qua những yêu cầu riêng biệt, không liên tiếp. Thay vì chỉ truyền lời nhắc hoặc các khung hình gần nhất giữa các cảnh, ATAS chuyển kịch bản thành các yêu cầu quay có tham chiếu rõ ràng đến địa điểm, máy quay và thời điểm sự kiện. Trước khi tạo một cảnh, hệ thống truy xuất thông tin liên quan từ hai dạng bộ nhớ: bộ nhớ cảnh lưu các yếu tố tĩnh như hình học không gian, và bộ nhớ sự kiện lưu các quan sát thay đổi được lập chỉ mục theo cảnh, sự kiện và thời gian. Sau khi tạo, hệ thống tái dựng và đăng ký đoạn video mới, chỉ cập nhật bộ nhớ khi quá trình kiểm duyệt và kiểm tra tính nhất quán chấp nhận kết quả; trên bốn công cụ tạo video, ATAS cải thiện mọi thước đo nhất quán liên cảnh được báo cáo và đạt điểm benchmark tổng hợp cao nhất với từng công cụ.
Đọc bài gốc