MiMo-V2.6: Mở rộng quy mô học tăng cường hướng tới tự cải thiện
Báo cáo MiMo-V2.6 giới thiệu một họ mô hình omni-modal được huấn luyện bằng cách mở rộng tài nguyên tính toán cho học tăng cường (RL), sau giai đoạn mid-training trên kho dữ liệu đa phương thức rộng và hạ tầng xây dựng trên kiến trúc hybrid-SWA đã được tiền huấn luyện. RL được mở rộng theo ba hướng: huấn luyện bất đồng bộ xử lý 1.568 mẫu và 2,7-3,7B token mỗi bước với độ dài ngữ cảnh lên đến 1M, các môi trường đa dạng hơn (code, tổng quát, thị giác và an ninh mạng, với nhiều agent harness khác nhau), và nhiều tài nguyên chấm điểm hơn thông qua groupwise agentic grading. Theo các tác giả, cách chấm điểm này cho tín hiệu thưởng chính xác hơn với các tác vụ dài hạn và hướng mô hình tới lời giải ngắn gọn, tiết kiệm token hơn.
Đọc bài gốc