OmniCompass: Bộ benchmark toàn diện cho khả năng định vị và hiểu video đa phương thức
OmniCompass là một bộ benchmark được thiết kế để đánh giá mức độ hiểu video của các mô hình AI đa phương thức bằng thông tin hình ảnh hoặc kết hợp bằng chứng hình ảnh và âm thanh. Bộ benchmark có hai nhánh: OmniCompass-VL dành cho mô hình thị giác-ngôn ngữ và OmniCompass-AV dành cho các mô hình xử lý đồng thời âm thanh và video. Mỗi nhánh kiểm tra ba nhiệm vụ: định vị theo thời gian — xác định một đối tượng hoặc sự kiện xuất hiện lúc nào; định vị theo không gian — xác định nó ở đâu; và trả lời câu hỏi về những gì diễn ra trong video. Các câu hỏi được chia thành những nhóm nhận thức và suy luận, giúp cung cấp cho giới nghiên cứu cách chẩn đoán có hệ thống hơn về điểm mạnh và điểm yếu trong khả năng hiểu video so với các bộ đánh giá hiện có.
Các nhóm nghiên cứu và phát triển mô hình video có thể dùng OmniCompass để đánh giá chi tiết khả năng nhận biết thời điểm, vị trí, âm thanh và suy luận của hệ thống. Đây là một công cụ đánh giá, không phải sản phẩm dành trực tiếp cho người dùng phổ thông.
Đọc bài gốc