StreamEval đánh giá các mô hình tạo video tương tác theo thời gian thực
Các nhà nghiên cứu giới thiệu StreamEval, một benchmark để kiểm thử các mô hình tạo video trực tuyến có khả năng tương tác trong những tình huống thời gian thực. Benchmark này bao phủ năm nhiệm vụ—đối thoại với avatar, biểu diễn avatar, tạo thế giới, chỉnh sửa theo chỉ dẫn và chỉnh sửa dựa trên ảnh tham chiếu—thông qua 300 kịch bản kéo dài từ 15 đến 300 giây, trong đó tài sản ban đầu và các yêu cầu đa phương thức được gửi đến theo từng thời điểm. Mỗi mô hình được đánh giá trên bốn khía cạnh: thực hiện nhiệm vụ, duy trì trạng thái nhất quán, độ trung thực hình ảnh và khả năng phối hợp hình–tiếng, với mười chỉ số riêng cho từng nhiệm vụ trên thang điểm 0–100. Kết quả thử nghiệm 37 mô hình cho thấy chất lượng hình ảnh cao và khả năng giữ đúng danh tính nhân vật không đồng nghĩa với việc mô hình thực hiện yêu cầu đáng tin cậy hoặc duy trì trạng thái ổn định trong suốt phiên tương tác. StreamEval cung cấp cho các nhà nghiên cứu và nhà phát triển một cách thực tế hơn để so sánh những mô hình video phải phản hồi liên tục, thay vì chỉ đánh giá các đoạn video riêng lẻ.
Các nhà phát triển video AI và nhóm nghiên cứu có thể dùng StreamEval như một khung tham khảo để đánh giá khả năng phản hồi liên tục, giữ nhất quán trạng thái và đồng bộ hình–tiếng của mô hình. Kết quả cũng nhắc rằng video đẹp hoặc giữ đúng danh tính nhân vật chưa đủ để chứng minh mô hình làm theo yêu cầu tốt trong tương tác dài.
Đọc bài gốc