Vị trí làm tròn rất quan trọng: Căn chỉnh vị trí làm tròn ổn định quá trình học tăng cường LLM

Học tăng cường cho mô hình ngôn ngữ lớn thường sử dụng các hệ thống riêng cho suy luận và huấn luyện. Ngay cả khi trọng số và tensor BF16 giống hệt nhau, khác biệt trong triển khai có thể biến một cập nhật on-policy dự kiến thành off-policy và làm quá trình huấn luyện mất ổn định; các biện pháp hiện có cố gắng căn chỉnh toàn bộ hệ thống suy luận.