TPPO cải thiện PPO trong huấn luyện mô hình ngôn ngữ suy luận
Các nhà nghiên cứu giới thiệu Tracking-Value PPO (TPPO), một phương pháp học tăng cường nhằm cải thiện khả năng suy luận của mô hình ngôn ngữ khi phần thưởng chỉ được đưa ra ở cuối lời giải. Phương pháp này mô hình hóa cách giá trị ước tính của từng lời giải từng phần thay đổi trong suốt quỹ đạo suy luận, thay vì dựa vào critic tiêu chuẩn vốn có thể gặp khó khăn khi phân bổ công lao cho từng token trong điều kiện phần thưởng thưa. TPPO biểu diễn những thay đổi này dưới dạng các cập nhật cộng dồn theo từng vị trí trong không gian log-odds, rồi huấn luyện chúng bằng kết quả cuối cùng của mỗi lời giải. Trên các bài kiểm tra suy luận toán học, phương pháp này nâng điểm tổng hợp so với PPO tiêu chuẩn thêm 7,0 điểm trên Qwen3-4B-Base và 8,4 điểm trên Qwen3-8B-Base, đồng thời đạt kết quả tốt hơn với các bài toán khác với dữ liệu huấn luyện; hiệu quả cũng xuất hiện trên một số mô hình Qwen và nhiệm vụ khác, trong đó có Countdown. Kết quả cho thấy việc theo dõi sự thay đổi của độ tin cậy trong từng bước giải có thể giúp học tăng cường hiệu quả hơn khi huấn luyện các mô hình suy luận.
Các nhà nghiên cứu và đội ngũ huấn luyện mô hình có thể theo dõi TPPO như một hướng cải thiện việc gán công lao cho từng bước suy luận khi phần thưởng chỉ xuất hiện ở cuối bài. Đây là kết quả nghiên cứu, nên phù hợp để đánh giá trong các hệ thống huấn luyện reasoning thay vì xem như một tính năng người dùng có thể bật ngay.
Đọc bài gốc