CriticOPD dùng phê bình của mô hình giáo viên để cải thiện chưng cất on-policy
Các nhà nghiên cứu đề xuất CriticOPD, một phương pháp giúp chưng cất on-policy đáng tin cậy hơn khi mô hình học sinh tạo ra lời giải sai. Trong chưng cất on-policy, mô hình học sinh học từ các câu trả lời do chính nó tạo ra, còn mô hình giáo viên cung cấp hướng dẫn ở cấp độ từng token; tuy nhiên, giáo viên có thể đi theo sai lầm của học sinh thay vì sửa chúng, dù vẫn nhận ra đó là lỗi. CriticOPD cho phép giáo viên phê bình quỹ đạo suy luận sai, để học sinh viết lại lời giải dựa trên phản hồi, rồi chấm điểm câu trả lời đã sửa; phần phê bình chỉ được dùng trong quá trình huấn luyện và không xuất hiện trong quá trình suy luận cuối cùng của học sinh. Thử nghiệm trên hai mô hình học sinh Qwen3 và sáu bộ đánh giá suy luận toán học cho thấy CriticOPD cải thiện kết quả so với OPD tiêu chuẩn, với mức tăng lớn nhất ở các bài toán thi đấu, cho thấy đây là một cách thực tế để tận dụng các lời giải sai do mô hình tạo ra làm tín hiệu huấn luyện hữu ích.
Nghiên cứu này đáng chú ý với các nhóm huấn luyện mô hình suy luận: việc cho mô hình giáo viên phê bình rồi yêu cầu học sinh sửa lời giải có thể giúp chắt lọc dữ liệu từ chính các lần trả lời sai của học sinh. Đây là kỹ thuật nghiên cứu, chưa phải tính năng người dùng có thể dùng ngay.
Đọc bài gốc