Waypoint-OPD: Chuyển dịch thay đổi chính sách do RL bằng chưng cất on-policy có cổng lọc
Waypoint-OPD là một phương pháp chuyển các thay đổi do học tăng cường (RL) tạo ra ở mô hình giáo viên sang mô hình học sinh bằng chưng cất on-policy, trong đó mô hình học sinh tự tạo ra các mẫu dùng để huấn luyện. Thay vì chỉ sử dụng chênh lệch xác suất hành động của mô hình giáo viên trước và sau RL, phương pháp này thêm một checkpoint trung gian trong cùng quá trình huấn luyện để so sánh các thay đổi chính sách ở giai đoạn đầu và cuối. Phương pháp sẽ cho phép truyền những thay đổi có cùng hướng theo thời gian, đồng thời giảm hoặc loại bỏ những thay đổi trái hướng — dấu hiệu cho thấy hành vi cuối cùng có thể đã triệt tiêu một phần thay đổi trước đó. Cách làm này có thể giúp chuyển kiến thức từ RL một cách chọn lọc và ổn định hơn mà không cần chạy một quy trình huấn luyện riêng.
Các nhà nghiên cứu về LLM và reinforcement learning có thể theo dõi Waypoint-OPD như một cách lọc những thay đổi chính sách đáng tin cậy hơn khi chuyển kiến thức từ mô hình đã RL sang mô hình khác. Phương pháp này đặc biệt phù hợp để thử nghiệm trong các quy trình distillation có sẵn checkpoint trung gian.
Đọc bài gốc