VideoJev: Mô hình hợp nhất cho hiểu và tương tác với video
VideoJev là một dòng mô hình được thiết kế để giúp các tác tử thị giác hiểu video và quyết định bước tiếp theo. Thay vì tạo câu trả lời từng từ, mô hình chấm điểm các khoảng thời gian và lựa chọn văn bản dựa trên bằng chứng trong video, nhờ đó có thể xác định sự kiện liên quan hoặc trả lời câu hỏi trắc nghiệm về nội dung video. Phương pháp này điều chỉnh các mô hình ngôn ngữ lớn đa phương thức đã được huấn luyện trước, đồng thời hỗ trợ cả định vị theo thời gian—xác định sự kiện xảy ra ở thời điểm nào—và hỏi-đáp video. VideoJev cũng giới thiệu Cached inference để tái sử dụng phần xử lý hình ảnh trước đó khi có câu hỏi mới, cùng Joint inference để xử lý nhiều truy vấn trong một lượt chạy. Kết quả là một cách trực tiếp và có tiềm năng hiệu quả hơn để các tác tử dựa trên video đưa ra quyết định trong những tương tác đang diễn ra.
Các nhà phát triển và nhà nghiên cứu AI có thể theo dõi VideoJev như một hướng kết hợp hiểu video với ra quyết định cho tác tử thị giác. Cách tái sử dụng dữ liệu hình ảnh và xử lý nhiều truy vấn có thể hữu ích cho các ứng dụng cần hỏi-đáp hoặc theo dõi sự kiện trong video theo thời gian thực.
Đọc bài gốc