OmniCapBench: Khung đánh giá có cấu trúc sâu cho việc tạo chú thích âm thanh-hình ảnh chi tiết

Các mô hình ngôn ngữ đa phương thức lớn (MLLM) đang nhanh chóng tiến tới suy luận âm thanh-hình ảnh liên tục, đòi hỏi các phép đánh giá làm lộ rõ giới hạn năng lực. Tạo chú thích âm thanh-hình ảnh là tác vụ chẩn đoán lý tưởng, nhưng các benchmark hiện tại gặp phải sự đánh đổi gắn liền với việc chấm điểm toàn bộ chú thích.