Ghép 8 DGX Spark chạy GLM 5.3 753B: memory, mạng và TPS cần biết
NVIDIA công bố hỗ trợ cụm tối đa 8 DGX Spark, đạt 1 TB unified memory để chạy GLM 5.3 753B tại chỗ. Các số liệu benchmark cho thấy topology mạng và mức concurrency ảnh hưởng trực tiếp đến throughput suy luận.
Nạp được một model lớn vào cụm chỉ là bước đầu. Với suy luận phân tán, tốc độ phản hồi còn phụ thuộc mạnh vào cách các node trao đổi dữ liệu với nhau.
NVIDIA cho biết DGX Spark hiện hỗ trợ chính thức cụm tối đa 8 node. Mỗi node có 128 GB unified memory, đưa tổng dung lượng của cụm 8 node lên 1 TB. Theo hãng, mức này đủ để chạy checkpoint đầy đủ GLM 5.3 753B của Z.ai tại chỗ.
Với đội hạ tầng, thông báo này đáng chú ý không chỉ vì số tham số của model. Các benchmark đi kèm cho thấy topology mạng, backend collective và concurrency đều tác động đáng kể đến throughput.
8 node mở rộng memory lên 1 TB
Dung lượng unified memory của DGX Spark tăng theo số node:
| Quy mô cụm | Unified memory |
|---|---:|
| 1 node | 128 GB |
| 4 node | 512 GB |
| 8 node | 1 TB |
NVIDIA cho biết checkpoint nvidia/GLM-5.3-NVFP4 có dung lượng khoảng 470 GB ở NVFP4 và có thể chạy trên cụm 8 × 128 GB.
Hãng cũng thử nghiệm GLM 5.3 Flash trên 8 node, ghi nhận khoảng 80 token/giây trong giai đoạn sinh token. NVIDIA đánh giá mức này phù hợp cho phát triển tương tác tại chỗ với một model mixture-of-experts cỡ lớn.
Với GLM 5.3 đầy đủ ở NVFP4, thử nghiệm dùng đầu vào 8K token cho mỗi request và MTP3 cho kết quả:
Concurrency 1: decode 31 TPS, tương đương 31 TPS cho mỗi người dùng.
Concurrency 4: decode tổng 51 TPS, tương đương 21 TPS cho mỗi người dùng.
Concurrency 8: decode tổng 67 TPS, tương đương 18 TPS cho mỗi người dùng.
Các con số này cho thấy việc model chạy được trên cụm không đồng nghĩa throughput trên mỗi người dùng sẽ giữ nguyên khi tăng số phiên đồng thời.
Tensor parallel cần mạng đủ nhanh
Khi một model được chia qua nhiều node bằng tensor parallelism, các node phải thực hiện các thao tác collective như all-reduce. NVIDIA cho biết DGX Spark sử dụng NIC ConnectX-7 cùng RoCE để trao đổi tensor giữa các node.
Trong thử nghiệm với NVIDIA/Qwen3.8-27B ở NVFP4, không dùng speculative decoding hoặc MTP, throughput decode tăng từ khoảng 12 TPS trên một Spark lên khoảng 52 TPS trên 8 Spark.
| Số node | Topology | Decode TPS | Decode scaling |
|---:|---|---:|---:|
| 1 | — | 11,86 | 1,00x |
| 2 | Kết nối trực tiếp | 21,71 | 1,838x |
| 4 | Physical ring | 32,82 | 2,77x |
| 4 | Switch + RoCEnante | 36,34 | 3,06x |
| 8 | Physical ring | 40,11 | 3,38x |
| 8 | Switch + RoCEnante | 52,58 | 4,43x |
Các phép đo này được thực hiện với 8.192 token đầu vào, 256 token đầu ra và concurrency 1. Do đó, không nên diễn giải đây là throughput cố định cho mọi model hoặc mọi workload.
Điểm đáng chú ý là throughput decode không tăng tuyến tính theo số node: trong benchmark này, 8 node đạt mức scale 4,43 lần so với 1 node.
RoCEnante tối ưu decode trong một số điều kiện
NVIDIA đang đánh giá RoCEnante, backend collective tối ưu cho DGX Spark. Backend này nhắm đến các mẫu decode tensor-parallel có message nhỏ, concurrency thấp và số rank ở mức vừa phải.
Thay vì truyền tiếp dữ liệu theo vòng như ring all-reduce, phương pháp này trao đổi trực tiếp giữa các peer rồi thực hiện reduction cục bộ. Đổi lại, mỗi rank phải gửi nhiều dữ liệu hơn, nên lợi thế có thể giảm khi message lớn hơn hoặc số node tăng lên.
Ở topology dùng switch và 8 node, NVIDIA báo cáo RoCEnante đạt 4,43x decode scaling, so với 3,05x khi không dùng backend này.
Tuy nhiên, NVIDIA cũng nêu rõ RoCEnante không thay thế NCCL trong mọi tình huống:
Chỉ áp dụng cho topology kết nối qua switch.
Phù hợp với decode có concurrency thấp và message nhỏ.
NCCL có thể phù hợp hơn khi concurrency, quy mô cụm hoặc lưu lượng tăng.
Backend có thể tự chuyển về NCCL nếu kiểm tra khởi động không thành công.
Ring hay switch phụ thuộc cách dùng cụm
NVIDIA mô tả hai lựa chọn topology chính.
Physical ring không cần switch có thể phù hợp với cụm suy luận đơn, đặc biệt ở quy mô 4 node. Trong cấu hình này, NCCL mặc định dùng thuật toán ring cho giao tiếp tensor-parallel. NVIDIA cho biết cách nối trực tiếp theo vòng giúp giảm chi phí và đơn giản hóa triển khai.
Topology dùng switch cần thiết khi cụm phải hỗ trợ kết nối trực tiếp giữa mọi node hoặc được chia thành các nhóm độc lập. Ví dụ NVIDIA đưa ra là chia 8 node thành hai nhóm 4 node.
Switch cũng là yêu cầu cho:
Workload point-to-point hoặc all-to-all.
Các workload HPC truyền thống dựa trên MPI.
Backend collective RoCEnante.
Theo số liệu của NVIDIA, ring cho kết quả tốt với một model trải trên cụm 4 node, trong khi switch đem lại sự linh hoạt hơn cho việc phân chia tài nguyên và các workload cần kết nối any-to-any.
Điều cần đối chiếu với workload nội bộ
Thông báo của NVIDIA chứng minh rằng cụm 8 DGX Spark có thể chứa và phục vụ một model 753B tại chỗ. Nhưng các benchmark cũng cho thấy throughput chịu ảnh hưởng trực tiếp bởi model, precision, độ dài đầu vào, concurrency và topology mạng.
Vì vậy, khi đánh giá một cụm tương tự, các câu hỏi trọng tâm là:
Model mục tiêu cần bao nhiêu memory và chạy ở định dạng nào?
Mức concurrency thực tế là bao nhiêu?
Workload ưu tiên một model trên toàn cụm hay chia cụm thành nhiều nhóm?
Topology ring có đủ hay cần switch để đáp ứng nhu cầu kết nối giữa các node?
Throughput prefill và decode trong điều kiện nội bộ có tương ứng với yêu cầu sử dụng hay không?
NVIDIA cho biết NVIDIA Sync Cluster Assistant hỗ trợ thiết lập và quản lý thiết bị; hỗ trợ cụm 8 node trong NVIDIA Sync được dự kiến có vào cuối năm. Phần thông tin được cung cấp không nêu cấu hình triển khai hoàn chỉnh cho GLM 5.3, vì vậy các số liệu benchmark nên được xem là mốc tham khảo thay vì cấu hình áp dụng trực tiếp.
Kết luận
Cụm 8 DGX Spark đưa unified memory lên 1 TB, đủ để NVIDIA chạy GLM 5.3 753B tại chỗ ở NVFP4. Đây là bước mở rộng đáng chú ý cho các triển khai AI cục bộ cần model rất lớn.
Tuy nhiên, kết quả với Qwen3.8-27B cho thấy số node không tự động biến thành throughput tương ứng. Với suy luận phân tán, mạng và topology là một phần của hiệu năng: ring phù hợp với một số cụm suy luận đơn giản, còn switch tạo điều kiện cho phân vùng cụm, giao tiếp any-to-any và RoCEnante.
Đối với đội vận hành, chỉ số cần theo dõi không chỉ là 753B hay 1 TB, mà là TPS ở đúng mức concurrency, context và topology mà workload thực tế yêu cầu.