ChronoReplay cân bằng nhiều dạng giám sát để cải thiện khả năng suy luận không gian của VLM
ChronoReplay là một phương pháp huấn luyện mô hình thị giác-ngôn ngữ (VLM) nhằm cải thiện đồng thời nhiều dạng suy luận không gian. Nghiên cứu chỉ ra hiện tượng “khóa giao diện”, trong đó việc tối ưu một dạng đầu ra—chẳng hạn phân loại trái/phải hoặc ước lượng khoảng cách—có thể khiến mô hình tiến bộ ở dạng đó nhưng vẫn yếu, thậm chí kém đi, ở các khả năng không gian khác. ChronoReplay phát lại nhiều loại dữ liệu giám sát không gian dưới dạng các tập huấn luyện được sắp xếp theo thứ tự thời gian, giữ nguyên định dạng mục tiêu của từng nhiệm vụ và cân bằng giữa các nhóm nhiệm vụ. Với cùng lượng thông tin quan sát, một checkpoint ChronoReplay đã cải thiện đồng thời OVO-S-Bench, OST-Bench và UCS-Bench, trong đó OST-Bench tăng 13.41 điểm; phương pháp này cũng đạt điểm trung bình cao nhất trên ba benchmark trong các thiết lập giám sát được so sánh. Kết quả cho thấy việc giữ lại và cân bằng nhiều mục tiêu không gian có thể giúp mô hình chuyển giao năng lực suy luận giữa các nhiệm vụ, thay vì chỉ chuyên biệt hóa cho một kiểu câu trả lời.
Các nhà nghiên cứu và nhóm phát triển mô hình thị giác-ngôn ngữ có thể xem ChronoReplay như một cách tổ chức dữ liệu huấn luyện để tránh mô hình chỉ giỏi một dạng câu trả lời không gian. Kết quả cho thấy việc cân bằng nhiều loại giám sát có thể cải thiện đồng thời nhiều bài kiểm tra, dù cần thêm đánh giá để biết phương pháp có phù hợp với mô hình và dữ liệu của họ hay không.
Đọc bài gốc