Kiểm soát hiện tượng sharpening trong giai đoạn hậu huấn luyện LLM

Hậu huấn luyện LLM bằng học tăng cường thường cải thiện độ chính xác nhưng làm giảm phạm vi hành vi, một hiện tượng gọi là sharpening có thể cản trở tiến bộ trong các tác vụ khó. Các mục tiêu lấy mẫu lặp lại như $\mathrm{pass@k}$ và $\mathrm{max@k}$ được biết đến là có liên quan đến hiện tượng này.