LoCo dạy mô hình suy luận khi nào nên dừng để giảm chi phí chạy
Các nhà nghiên cứu đề xuất LoCo, một phương pháp huấn luyện giúp mô hình suy luận dừng lại khi đã có đủ thông tin thay vì tiếp tục cân nhắc không cần thiết. Phương pháp này tìm các điểm có thể khiến mô hình “suy nghĩ quá mức” trong chính các dấu vết suy luận toán học, giữ nguyên phần tiền tố đến mỗi điểm rồi tạo các phần tiếp nối ngắn hơn đã được kiểm chứng; sau đó, một kỹ thuật học sở thích gọi là DPO dạy mô hình khi nào nên tiếp tục và khi nào nên kết luận. Cách tiếp cận này tập trung vào các quyết định cục bộ trong quá trình suy luận thay vì chỉ khuyến khích câu trả lời ngắn hơn, và được đánh giá trên năm tác vụ hoặc bộ benchmark. Nếu hiệu quả, LoCo có thể giảm chi phí chạy mà vẫn duy trì độ chính xác của các mô hình suy luận dài.
LoCo hướng đến việc giúp các mô hình suy luận biết lúc nào nên dừng, từ đó giảm thời gian và chi phí chạy mà không chỉ đơn giản cắt ngắn mọi chuỗi suy nghĩ. Đây là kết quả nghiên cứu dành cho các nhóm phát triển mô hình và ứng dụng AI; người dùng cuối nên theo dõi thêm kết quả đánh giá trước khi áp dụng.
Đọc bài gốc