Nghiên cứu đối chiếu 10 phương pháp self-distillation cho reinforcement learning của AI agent
Một nghiên cứu mới đánh giá 10 phương pháp self-distillation để huấn luyện AI agent bằng reinforcement learning, đồng thời so sánh chúng với GRPO trên ALFWorld, ScienceWorld, Search-QA và WebShop. Nhóm nghiên cứu thực hiện 132 lượt huấn luyện, sử dụng tổng cộng 12.124,4 giờ GPU H800, thử nghiệm trên ba kích thước mô hình và lặp lại đánh giá với tám seed rollout cho cả backbone pretrained lẫn các phương pháp đã huấn luyện. Thay vì chỉ so sánh điểm số cuối cùng, nghiên cứu còn xem xét tiến trình học, độ ổn định khi huấn luyện và chi phí tính toán đo được. Công trình giải quyết một vấn đề phổ biến trong nghiên cứu agent: kết quả baseline đã công bố thường đến từ các thiết lập thí nghiệm khác nhau, khiến khó xác định mức cải thiện đến từ chính phương pháp hay từ điều kiện huấn luyện. Nghiên cứu này hữu ích cho các nhóm chọn phương pháp huấn luyện agent vì nó hướng tới việc chỉ ra phương pháp nào đem lại cải thiện ổn định và phương pháp nào có thể tốn kém hoặc thiếu ổn định trong thực tế.
Các nhà nghiên cứu và đội ngũ phát triển agent nên chú ý không chỉ điểm số cuối cùng mà cả độ ổn định và chi phí huấn luyện khi chọn phương pháp self-distillation. Nghiên cứu này cung cấp một cơ sở so sánh rộng hơn để đánh giá các phương pháp thay vì dựa trực tiếp vào điểm benchmark công bố trong những điều kiện khác nhau.
Đọc bài gốc