FreeToken: thử serving MoE lớn tại chỗ, nhưng phải đo VRAM và độ trễ

FreeToken là engine serving MoE edge-native, hướng tới chạy model open-weight quy mô lớn trên phần cứng cá nhân. Với đội on-prem, cần kiểm chứng VRAM, RAM, cache, độ trễ và khả năng vận hành trước khi đưa vào dịch vụ nội bộ.

Một yêu cầu ngày càng quen thuộc với đội hạ tầng: chạy AI trong mạng công ty, nhưng vẫn cần model lớn và khả năng tích hợp với agent. Cài được model chỉ là bước đầu. Câu hỏi vận hành là node có phản hồi đủ nhanh, dùng bao nhiêu VRAM/RAM và có đứng vững khi tải tăng hay không.

FreeToken đang được chú ý vì đặt mục tiêu đưa serving các model Mixture-of-Experts (MoE) quy mô lớn về laptop, máy gaming và workstation. Với sysadmin, đây không chỉ là một ứng dụng local AI, mà là bài toán phối hợp GPU, CPU, RAM host, đường truyền giữa chúng và cơ chế cache.

FreeToken là gì?

FreeToken là engine serving MoE theo hướng edge-native, dành cho các model open-weight trên phần cứng cá nhân và phần cứng tiêu dùng. Dự án tuyên bố có thể chạy các model MoE quy mô hơn 290B trên gaming PC ở tốc độ tương tác.

README nêu các ví dụ model gồm DeepSeek-V4-Flash, Qwen3.6-35B-A3B và GLM-5.2; các định dạng weight được đề cập gồm MXFP4, NVFP4, FP8 và BF16.

Điểm đáng chú ý là cách dự án mô tả tài nguyên: GPU, CPU, bộ nhớ host và kết nối giữa chúng được xem như một nền tảng suy luận thống nhất, có thể co giãn. Các khả năng được README liệt kê gồm:

Đồng thực thi CPU–GPU thích ứng theo băng thông. Streaming prefill hai bộ đệm theo từng lớp. Global LRU cache cho expert. Phân bổ lại VRAM trong lúc chạy giữa expert cache và KV cache, không cần khởi động lại engine hoặc nạp lại weight. Semantic anchor checkpoint cho recurrent state và KV cache, hướng tới giảm việc tính lại ngữ cảnh khi agent chỉnh sửa tool call hoặc khối suy luận. API tương thích Anthropic/OpenAI.

Với hạ tầng on-prem, điều này có nghĩa sizing không nên chỉ dựa vào dung lượng VRAM. Cần đo cả RAM host, đường đi dữ liệu CPU–GPU và hiệu quả cache trên workload thực tế.

Cài thử: desktop app hoặc CLI

README cung cấp desktop app cho Windows và Linux tại trang FlashML. Ứng dụng này được mô tả là có thể thiết lập engine, chạy model, chat và tinh chỉnh engine qua giao diện đồ họa.

Nếu cần quản lý môi trường Python, dự án khuyến nghị cài bằng uv:

bash uv pip install "freetoken[accel]"

Hoặc cài từ mã nguồn:

bash git clone https://github.com/FlashML-org/FreeToken.git && cd FreeToken uv venv && source .venv/bin/activate uv pip install -e ".[accel]"

README nêu hỗ trợ native cho GPU NVIDIA RTX 30, RTX 40 và RTX 50 series. Một quy trình thử nghiệm tối thiểu có thể là:

Chọn node Windows hoặc Linux có GPU thuộc các dòng được dự án nêu hỗ trợ. Dùng desktop app để kiểm tra việc nạp model và trải nghiệm tương tác cơ bản. Khi cần kiểm soát dependency hoặc chuẩn bị môi trường nội bộ, cài qua CLI. Theo dõi quá trình nạp checkpoint, VRAM, RAM host và phản hồi với prompt đại diện. Chỉ đánh giá tích hợp API cho agent sau khi đường chạy đơn đã ổn định.

README nói FreeToken có thể tích hợp với Codex, Claude Code, OpenCode, OpenClaw và DeepSeek Harness thông qua API tương thích. Tuy nhiên, phần tài liệu được cung cấp không nêu lệnh khởi động server, địa chỉ bind, cổng, cấu hình TLS, cơ chế xác thực hay ví dụ request API. Không nên tự giả định các mặc định này khi chuẩn bị triển khai trong mạng doanh nghiệp.

Đo ranh giới giữa “nạp được” và “phục vụ được”

Một model nạp thành công chưa đồng nghĩa với việc có thể phục vụ người dùng thật. Khi POC FreeToken, đội vận hành nên ghi nhận ít nhất bốn nhóm chỉ số.

1. VRAM và RAM host

Theo dõi mức dùng VRAM cho expert cache và KV cache, đồng thời quan sát RAM hệ thống. FreeToken có tính năng phân bổ lại VRAM động giữa hai vùng này; vì vậy cần kiểm tra hành vi khi workload thay đổi, chẳng hạn từ prompt dài sang nhiều phiên chat.

2. Throughput

Đo tốc độ sinh token ở một phiên và khi tăng số yêu cầu. Với engine khai thác cả CPU, GPU và bộ nhớ host, kết quả cần được lấy trực tiếp trên model, định dạng weight và phần cứng dự định triển khai.

3. Độ trễ

Tách thời gian prefill khỏi thời gian sinh token. Prefill là giai đoạn xử lý prompt để tạo trạng thái cần thiết trước khi sinh phản hồi. Semantic-aware caching là tính năng dự án nêu ra; lợi ích của nó với luồng agent cụ thể vẫn cần được đo bằng prompt và workflow nội bộ.

4. Độ ổn định khi tải thay đổi

Kiểm tra khi expert cache thay đổi, KV cache tăng hoặc engine phân bổ lại VRAM. README cũng liên kết tới tài liệu chẩn đoán checkpoint không nạp được và sửa checkpoint FTW cũ; đây là các tình huống nên có trong kế hoạch thử nghiệm và rollback.

Nếu workload là trợ lý nội bộ với dữ liệu cần giữ trong mạng công ty, local serving là hướng đáng thử. Nhưng với SLA chặt hoặc tải đồng thời lớn, chỉ benchmark trên hạ tầng thật mới cho biết hệ thống có phù hợp hay không.

Bảo mật và vận hành: các điểm cần tự xác minh

FreeToken dùng giấy phép Apache License 2.0. Điều này không thay thế cho cấu hình bảo mật và quy trình vận hành.

Trong README được cung cấp, dự án chưa nêu rõ engine mặc định chỉ nghe trên localhost hay có thể mở ra LAN; cũng không có thông tin cụ thể về xác thực, phân quyền, mã hóa kết nối, audit log hay lưu giữ log. Trước khi nối engine với agent có quyền truy cập code, ticket hoặc tài liệu nội bộ, nên xác minh:

API đang bind vào interface nào và firewall có giới hạn đúng phạm vi hay không. Endpoint có yêu cầu xác thực hay không. Prompt, completion, tool call và log lỗi được lưu ở đâu. Quy trình cập nhật engine, đổi model hoặc đổi weight format có hỗ trợ rollback hay không. Node GPU có giới hạn tài nguyên phù hợp để một workload không chiếm toàn bộ VRAM, RAM hoặc băng thông.

Kết luận: phù hợp để lập lab trước

FreeToken đáng để thử trong lab on-prem vì nhắm tới bài toán chạy MoE lớn trên phần cứng cá nhân, đồng thời tận dụng CPU, GPU và RAM host. API tương thích Anthropic/OpenAI cũng có thể hữu ích nếu đội ngũ đang có client hoặc agent theo các chuẩn này.

Tuy vậy, README được cung cấp không đưa ra số liệu sizing về VRAM, RAM, throughput, độ trễ hoặc cấu hình bảo mật. Cách tiếp cận thực tế là triển khai trên node cô lập, chọn workload đại diện, đo prefill, tốc độ sinh token, VRAM, RAM và hành vi khi tăng tải. Sau bước đó mới có thể kết luận FreeToken chỉ “chạy được” model lớn, hay đủ khả năng vận hành thành dịch vụ AI nội bộ.