GSPO: Hướng tới học tăng cường có khả năng mở rộng cho các mô hình ngôn ngữ

Bài viết về GSPO (Group Sequence Policy Optimization) cho biết các thuật toán học tăng cường hiện có như GRPO bộc lộ sự bất ổn nghiêm trọng khi huấn luyện dài, dẫn đến sụp đổ mô hình không thể phục hồi và hạn chế hiệu quả khi tăng tài nguyên tính toán. Để mở rộng RL cho mô hình ngôn ngữ, các tác giả đề xuất GSPO như một giải pháp ổn định hơn.