Cộng đồng GitHub giới thiệu FreeToken để chạy mô hình MoE hơn 290B tham số trên PC cá nhân
FreeToken là một engine suy luận mã nguồn mở nhằm chạy các mô hình AI open-weight rất lớn trên phần cứng phổ thông, trong đó có các mô hình Mixture-of-Experts (MoE) với tổng cộng hơn 290 tỷ tham số. Dự án kết hợp GPU, CPU, RAM hệ thống và kết nối giữa các phần cứng thành một nền tảng phục vụ mô hình linh hoạt, đồng thời hỗ trợ Windows và Linux qua ứng dụng desktop hoặc công cụ dòng lệnh. FreeToken có cơ chế thực thi CPU–GPU thích ứng theo băng thông, streaming khi xử lý prompt, bộ nhớ đệm expert và khả năng phân bổ lại VRAM giữa các expert của mô hình với ngữ cảnh hội thoại. Dự án cũng cung cấp các checkpoint ngữ nghĩa để giảm việc tính toán lại khi agent chỉnh sửa ngữ cảnh quanh các lệnh gọi công cụ hoặc các khối suy luận. Danh sách hỗ trợ được nêu gồm DeepSeek-V4-Flash, Qwen3.6-35B-A3B và GLM-5.2, cùng các định dạng như MXFP4, NVFP4, FP8 và BF16; API tương thích với hệ sinh thái Anthropic và OpenAI cũng được hỗ trợ. FreeToken hướng tới laptop, máy bàn và máy trạm dùng GPU NVIDIA RTX 30, 40 và 50 series, đồng thời phát hành theo giấy phép Apache 2.0. Về thực tế, dự án có thể giúp lập trình viên thử nghiệm các mô hình cục bộ lớn hơn và các coding agent mà không phải hoàn toàn phụ thuộc vào suy luận trên cloud, dù tốc độ sẽ phụ thuộc vào phần cứng và cấu hình mô hình.
FreeToken đáng chú ý với lập trình viên và người muốn chạy mô hình AI cục bộ: dự án cung cấp ứng dụng cho Windows/Linux và cách cài qua CLI, hỗ trợ GPU NVIDIA RTX 30/40/50 cùng tài nguyên CPU và RAM. Bạn có thể thử chạy các mô hình MoE được liệt kê và tích hợp chúng với công cụ lập trình hoặc agent thông qua API tương thích OpenAI/Anthropic, nhưng tốc độ thực tế sẽ phụ thuộc vào phần cứng.
Đọc bài gốc