Chuyển đổi mô hình dense thành Mixture-of-Experts

Tác giả mô tả một dự án cá nhân chuyển đổi các mô hình ngôn ngữ dense hiện có thành mô hình Mixture-of-Experts (MoE) thưa mà không cần huấn luyện lại từ đầu, kỹ thuật được gọi là upcycling. Mục tiêu là tạo ra mô hình chỉ chạy một phần MLP cho mỗi token, giúp giảm chi phí cho mỗi token mà vẫn giữ được lượng kiến thức gần như tương đương. Đến nay, tác giả đã chuyển đổi hai mô hình nhỏ là Qwen/Qwen2.5-0.5B và HuggingFaceTB/SmolLM2-360M, chỉ sử dụng một GPU RTX 4060 (8GB).

Đọc bài gốc