Báo cáo nghiên cứu về tác nhân tạo video, mô hình thế giới và khả năng tự cải thiện
Một báo cáo mới phân tích cách công nghệ tạo video đang chuyển từ việc tổng hợp video đầu-cuối trong một lần sang các hệ thống “agentic” có thể lập kế hoạch cảnh, sử dụng công cụ, theo dõi trạng thái và học từ phản hồi để tạo video nhiều cảnh mạch lạc. Báo cáo đưa ra khái niệm “agent harness” — một môi trường thực thi có nhiệm vụ xây dựng ngữ cảnh, quản lý công cụ và bộ nhớ, chuyển tiếp phản hồi, cũng như kiểm soát ngân sách tính toán cho các mô hình video. Báo cáo đề cập đến quy trình sản xuất video có tác nhân, trong đó tác nhân phối hợp viết kịch bản, lên kế hoạch cảnh quay, quản lý tài sản, kết xuất và biên tập; đồng thời phân tích mô hình thế giới có tác nhân, có thể dự đoán tương lai dựa trên hành động và cung cấp môi trường tương tác. Báo cáo cũng thảo luận các hệ thống lai, nơi game engine hoặc chương trình do tác nhân viết duy trì trạng thái thế giới còn mô hình video kết xuất những gì tác nhân quan sát được, cùng khả năng tự cải thiện đệ quy và những khó khăn trong việc đánh giá các hệ thống này. Công trình này quan trọng vì xem mô hình video như một thành phần trong các hệ thống phần mềm lớn, có khả năng kiểm soát, thay vì một công cụ tạo video độc lập; điều đó có thể giúp việc tạo video phức tạp và xây dựng môi trường mô phỏng trở nên đáng tin cậy hơn.
Đây là hướng nghiên cứu đáng theo dõi cho các nhà phát triển AI, studio và nhóm xây dựng tác nhân tự động: video model có thể trở thành một thành phần trong quy trình biết lập kế hoạch, sử dụng công cụ và tự kiểm tra, thay vì chỉ tạo một đoạn video từ câu lệnh. Chưa có sản phẩm cụ thể để dùng ngay, nhưng các nhóm kỹ thuật có thể theo dõi cách thiết kế “agent harness” và các phương pháp đánh giá được đề xuất.
Đọc bài gốc