IQuest-Q1: Mô hình nền tảng MoE 320 tỷ tham số cho agent lập trình qua dòng lệnh
IQuest-Q1 là mô hình nền tảng Mixture-of-Experts (MoE) thưa dành cho các hệ thống agent hoạt động qua giao diện dòng lệnh (CLI), với tổng cộng 320 tỷ tham số nhưng chỉ kích hoạt 15 tỷ tham số cho mỗi đầu vào. Mô hình được huấn luyện qua ba giai đoạn: tiền huấn luyện ổn định với tỷ trọng dữ liệu lập trình tăng dần, huấn luyện giữa kỳ mở rộng phạm vi lĩnh vực và định dạng dữ liệu đồng thời kéo dài ngữ cảnh, rồi hậu huấn luyện kết hợp tinh chỉnh có giám sát, học tăng cường chuyên biệt và tối ưu hóa qua nhiều scaffold của agent. Nhóm nghiên cứu cũng hợp nhất các expert và checkpoint từ những giai đoạn huấn luyện khác nhau, đồng thời giảm xung đột giữa các cập nhật tham số. Họ cho biết IQuest-Q1 thể hiện năng lực tốt trong cả lập trình lẫn các tác vụ tổng quát. Công trình này đáng chú ý vì khám phá cách dùng mô hình lớn nhưng chỉ kích hoạt một phần tham số cùng quy trình huấn luyện phối hợp để xây dựng các agent phần mềm mạnh hơn mà không phải sử dụng toàn bộ tham số ở mỗi yêu cầu.
Các nhà phát triển và nghiên cứu AI có thể theo dõi IQuest-Q1 để tham khảo cách xây dựng agent lập trình làm việc qua dòng lệnh, đặc biệt là kiến trúc MoE chỉ kích hoạt một phần tham số cho mỗi yêu cầu. Bài nghiên cứu cũng đáng chú ý với những ai đang tối ưu mô hình coding, nhưng chưa có thông tin trong bài về cách dùng hoặc triển khai mô hình.
Đọc bài gốc