FSPO dùng tự chưng cất theo thời gian trong không gian hàm để tối ưu chính sách
Function-Space Policy Optimization (FSPO) là một phương pháp học tăng cường nhằm cải thiện khả năng suy luận của mô hình ngôn ngữ khi quá trình huấn luyện sử dụng phần thưởng có thể kiểm chứng, chẳng hạn kiểm tra một câu trả lời có đúng hay không. Thay vì chỉ dựa vào một điểm thưởng duy nhất cho toàn bộ câu trả lời, FSPO lưu các phân phối xác suất token tiếp theo từ những thời điểm trước làm mục tiêu cố định, qua đó cung cấp tín hiệu hướng dẫn chi tiết ở cấp token và ổn định hơn theo thời gian mà không cần duy trì một mô hình giáo viên riêng. Phương pháp này cũng sửa các hành động mà mô hình có vẻ đánh giá quá cao, tăng mức dựa vào tín hiệu tham chiếu khi bằng chứng do mô hình tự tạo liên tục thất bại, đồng thời điều chỉnh mức hướng dẫn theo thời gian dựa trên độ tin cậy và độ bao phủ. Các cơ chế này nhằm xử lý tình trạng thiếu ổn định xảy ra khi giáo viên tự chưng cất thay đổi cùng với chính sách đang được huấn luyện. Trên thực tế, FSPO là một hướng nghiên cứu nhằm giúp học tăng cường từ phần thưởng có thể kiểm chứng ổn định và giàu thông tin hơn đối với các mô hình suy luận.
Các nhà nghiên cứu và kỹ sư huấn luyện mô hình ngôn ngữ có thể theo dõi FSPO như một cách làm cho RL với phần thưởng kiểm chứng được ổn định hơn và cung cấp tín hiệu chi tiết tới từng token. Đây là phương pháp nghiên cứu, chưa phải một công cụ triển khai phổ biến được bài viết nêu rõ.
Đọc bài gốc