CodeCap-Bench: Đánh giá mã nguồn như một dạng chú thích video
CodeCap-Bench nghiên cứu liệu mã nguồn có thể làm chú thích video tốt hơn mô tả bằng ngôn ngữ tự nhiên hay không. Thay vì chỉ dùng câu chữ, phương pháp này biểu diễn nội dung hình ảnh bằng các hình nguyên thủy đồ họa, quy tắc bố cục và các hàm mô tả cách cảnh vật thay đổi theo thời gian. Nghiên cứu so sánh chú thích bằng mã nguồn và ngôn ngữ tự nhiên trong các nhiệm vụ trả lời câu hỏi về video và tái dựng video, cho thấy mã nguồn đạt độ chính xác suy luận cao hơn và tái dựng trung thực hơn. Thách thức còn lại là liệu các mô hình ngôn ngữ đa phương thức có thể tạo ra chú thích mã nguồn phản ánh chính xác video gốc hay chỉ tạo ra những chương trình trông hợp lý nhưng sai lệch.
Đọc bài gốc