Project Maya: chạy GLM-5.3-Flash 321B riêng trên 1–16 GPU
Project Maya nhắm tới việc chạy GLM-5.3-Flash 321B MoE trong hạ tầng nội bộ, từ một tới 16 GPU. Với sysadmin, trọng tâm là chọn quant theo pool bộ nhớ, benchmark node thực tế và kiểm soát vận hành trước khi mở API.
Một máy RTX 3090 nhiều RAM, vài card V100 cũ, hay một node GPU chưa dùng hết công suất đều có thể dẫn tới cùng một yêu cầu từ nội bộ: chạy model lớn trong mạng công ty, không gửi prompt và dữ liệu nghiệp vụ ra API bên ngoài.
Project Maya là dự án đáng chú ý cho tình huống này. Nó được xây riêng cho GLM-5.3-Flash — model MoE 321 tỷ tham số, với khoảng 18 tỷ tham số hoạt động trên mỗi token. Thay vì buộc toàn bộ trọng số nằm trong VRAM, Maya phân tầng expert giữa GPU, RAM và SSD NVMe.
Với đội hạ tầng, câu hỏi không chỉ là “chạy được hay không”. Cần biết node sẽ nghẽn ở VRAM, RAM, NVMe hay PCIe; quant nào phù hợp; và API cùng dashboard có được cô lập, xác thực và giám sát đầy đủ trước khi dùng với dữ liệu công ty hay chưa.
Maya đưa model 321B xuống hạ tầng nhỏ hơn như thế nào?
GLM-5.3-Flash sử dụng kiến trúc Mixture-of-Experts (MoE). Model có nhiều expert, nhưng mỗi token chỉ kích hoạt một phần trong số đó. Theo README của dự án, Maya giữ các expert được hội thoại sử dụng nhiều nhất trong GPU, nhóm kế tiếp trong RAM, còn phần khác ở SSD NVMe; các expert được di chuyển khi phiên chat diễn ra.
Đó là nền tảng cho tuyên bố hỗ trợ từ một đến 16 GPU cùng chia sẻ model. Tuy nhiên, số GPU không phải biến số duy nhất quyết định tốc độ. RAM lớn giúp giữ nhiều expert gần GPU hơn; SSD NVMe và kết nối giữa các thành phần cũng cần được xem như một phần của bài toán sizing.
Maya cung cấp API tương thích OpenAI và Anthropic, hỗ trợ tool call, chat UI, dashboard theo dõi trong trình duyệt và xử lý nhiều request đồng thời. Đây là các tính năng hữu ích cho agent nội bộ. Dù vậy, README được cung cấp không mô tả chi tiết cơ chế xác thực API, TLS, phân quyền dashboard hoặc quota người dùng.
Điểm cần nhớ: Maya là inference engine tối ưu cho cách phân tầng bộ nhớ này, không biến một GPU đơn thành hạ tầng datacenter. RAM, NVMe và đường truyền dữ liệu là thành phần trực tiếp của năng lực phục vụ.
Chọn quant theo pool bộ nhớ, không chỉ theo VRAM
Quantization là quá trình nén trọng số xuống định dạng ít bit hơn nhằm giảm dung lượng và nhu cầu bộ nhớ. Project Maya có các quant riêng, với mức độ gần bản FP8 được nhóm phát triển đánh giá bằng zero-shot accuracy.
| Quant | Dung lượng | Phù hợp khi |
|---|---:|---|
| Maya-S | 96,5 GB | Pool RAM và VRAM nhỏ hơn; là bản mặc định |
| Maya-S24 | 94,7 GB | Card 24 GB hoặc thấp hơn; attention 4-bit giải phóng thêm khoảng 1,5 GB VRAM cho expert |
| Maya-M | 116 GB | Pool bộ nhớ lớn hơn; được hiệu chỉnh hướng tới tool call và mã front-end |
| Maya-M-Derisked | 116 GB | Bản thực nghiệm có weight edit nhằm giảm từ chối quá mức; chưa có số đo chất lượng |
| Maya-L | 156,3 GB | Pool bộ nhớ lớn nhất |
Theo số liệu của dự án, Maya-S giữ 97,9% zero-shot accuracy so với bản FP8, còn Maya-L đạt 99,2%. Đây là phép đo do dự án công bố, không thay thế kiểm thử trên dữ liệu, tác vụ và tiêu chí đánh giá của doanh nghiệp.
Với card 24 GB, Maya-S24 là điểm khởi đầu hợp lý. Với node có RAM dồi dào và cần thử agent gọi công cụ, Maya-M là một phương án để benchmark. Maya-L cần pool bộ nhớ lớn hơn và sẽ tạo áp lực cao hơn lên RAM, SSD cũng như thời gian nạp model.
README cũng liệt kê quant cộng đồng. EXL3 được ghi là chỉ dành cho NVIDIA và experimental. Các bản AJ-IQ2XXS và AJ-IQ3XXS không có MTP block — khối dự đoán trước token của model. Cần benchmark và đánh giá riêng trước khi cân nhắc sử dụng các biến thể này trong môi trường vận hành.
Lộ trình thử nghiệm từ một đến 16 GPU
Theo README, NVIDIA cần compute capability 7.0 trở lên, gồm V100 và RTX 20 series trở mới; Maya hỗ trợ một đến 16 GPU chia sẻ model. Hỗ trợ AMD đang ở trạng thái experimental, dành cho một số GPU Radeon được liệt kê và chỉ cho tác vụ văn bản. Windows cũng được nêu là experimental.
Thay vì đầu tư thêm GPU ngay từ đầu, hãy triển khai một vòng thử có kiểm soát.
1. Ghi nhận cấu hình node thực tế
Lưu lại loại GPU, VRAM từng card, số GPU, CPU, RAM, loại NVMe, cấu hình PCIe và hệ điều hành. Maya có khả năng đo GPU, CPU, RAM và SSD để tự điều chỉnh, nhưng đội vận hành vẫn nên có baseline độc lập để so sánh hiệu năng và truy vết sự cố.
2. Bắt đầu với model được trình cài đặt đề xuất
README cho biết trình setup sẽ hỏi model cần tải và đề xuất lựa chọn theo PC. Với GPU 24 GB hoặc thấp hơn, hãy ưu tiên thử Maya-S24. Không nên ép Maya-L lên node thiếu pool bộ nhớ chỉ để đổi lấy chỉ số chất lượng cao hơn trên giấy.
3. Benchmark trước khi dựng dịch vụ
README cung cấp lệnh benchmark:
bash
./maya.sh --bench
Sau benchmark, dự án cũng hướng dẫn dùng --report để gửi kết quả trong GitHub issue.
Hai chỉ số chính là:
Decode: tốc độ model sinh câu trả lời.
Prefill: tốc độ model đọc prompt đầu vào.
Trong bảng kết quả cộng đồng của dự án, một RTX 3090 đơn chạy Maya-S24 đạt 26,0 tokens/giây; một RTX 5090 đơn chạy Maya-M được báo cáo ở mức hơn 30 tokens/giây. Đây là kết quả trên các cấu hình cụ thể do người dùng báo cáo, không phải mức hiệu năng được bảo đảm cho mọi node.
4. Tăng GPU từng bước với cùng workload
Hãy đo từ một GPU, sau đó tăng dần theo các mốc hạ tầng phù hợp, tối đa 16 card. Giữ nguyên model, context, prompt và giới hạn điện năng để kết quả có thể so sánh.
Đừng chỉ nhìn decode. Với RAG, phân tích log hoặc agent gửi prompt dài, prefill có thể ảnh hưởng lớn đến trải nghiệm thực tế.
5. Kiểm tra tải đồng thời trước khi mở API
Maya có tùy chọn --parallel, cho phép trả lời tối đa tám request cùng lúc. README cho biết tổng throughput có thể tăng khi xử lý đồng thời, nhất là khi VRAM giữ được nhiều phần của model hơn. Mức tăng vẫn phụ thuộc vào phần cứng và lượng expert nằm trong VRAM.
Với workload nhiều agent hoặc nhiều phiên người dùng, nên đo thêm độ trễ, lỗi thiếu bộ nhớ và thời gian chờ ở mức tải nội bộ dự kiến. README không nêu cơ chế quota hoặc hàng đợi API.
Đọc benchmark trong đúng bối cảnh
Bảng cộng đồng của dự án cho thấy chênh lệch lớn giữa các node:
Bốn RTX 4090 24 GB chạy Maya-S24: 118 tokens/giây.
Hai RTX 3090 24 GB chạy Maya-S24: 53,0 tokens/giây.
Một Tesla V100 32 GB chạy Maya-S24: 26,8 tokens/giây.
RTX PRO 6000 Blackwell 96 GB chạy Maya-M ở context 256K: 81,0 tokens/giây.
Các kết quả này không chỉ khác nhau do VRAM. Bảng benchmark cũng thể hiện sự khác biệt về CPU, RAM, thế hệ PCIe, context, giới hạn điện năng và quant sử dụng. Vì vậy, không nên suy ra hiệu năng node mới chỉ từ tên GPU.
Với chatbot hỗ trợ vận hành, decode thường là chỉ số dễ cảm nhận nhất. Với RAG hoặc agent phải đọc nhiều tài liệu, cấu hình và log, prefill cùng giới hạn context lại quan trọng hơn. GLM-5.3-Flash được nêu có context tối đa 1 triệu token, nhưng các benchmark công bố dùng nhiều mức context khác nhau; cần xác nhận trực tiếp trên workload dự kiến thay vì mặc định node nội bộ sẽ phục vụ ổn định ở ngưỡng này.
Checklist trước khi mở API nội bộ
Project Maya nêu rằng dữ liệu không rời khỏi máy. Nhưng triển khai trong mạng nội bộ vẫn cần các kiểm soát vận hành riêng.
Mạng: chỉ mở service cho vùng mạng cần thiết; tránh đưa dashboard hoặc API trực tiếp ra Internet khi chưa có reverse proxy, TLS và firewall policy phù hợp.
Xác thực: README không mô tả chi tiết API key, SSO, RBAC hoặc phân quyền dashboard. Hãy xác minh các khả năng này trong phiên bản triển khai trước khi kết nối dữ liệu nghiệp vụ.
Log: kiểm tra prompt, tool call, lỗi và dữ liệu truy cập được lưu ở đâu; đặt retention và quyền đọc log theo chính sách công ty.
Giới hạn tải: xác định giới hạn request đồng thời, độ dài prompt và cách kiểm soát tool call. --parallel có thể tăng tổng throughput, nhưng không đồng nghĩa mọi người dùng đều nhận độ trễ ổn định.
Dung lượng và phần cứng: theo dõi VRAM, RAM, I/O NVMe, nhiệt độ, điện năng và lỗi nạp expert; đặt ngưỡng cảnh báo trước khi node thiếu bộ nhớ hoặc nghẽn lưu trữ.
Cập nhật: thử phiên bản và quant mới trên môi trường staging. Nên tách Maya-M-Derisked khỏi các môi trường cần kiểm soát hành vi model chặt chẽ vì đây là bản experimental.
Kiểm thử nghiệp vụ: đánh giá output trên prompt thực tế đã được làm sạch dữ liệu nhạy cảm, thay vì chỉ dựa vào tỷ lệ accuracy do quant công bố.
Project Maya phù hợp để thử nghiệm khi doanh nghiệp muốn chạy GLM-5.3-Flash trong hạ tầng riêng mà chưa có cụm GPU kiểu datacenter. Cách tiếp cận thực tế là chọn quant theo pool bộ nhớ, benchmark node thật, kiểm tra tải đồng thời, rồi mới mở API sau khi đã bổ sung các lớp kiểm soát về mạng, xác thực và quan sát vận hành.