NVIDIA mở rộng DGX Spark lên cụm 8 node, chạy được mô hình GLM 5.3 753B tại chỗ
NVIDIA cho biết DGX Spark hiện chính thức hỗ trợ cụm tối đa 8 node, kết hợp 128 GB bộ nhớ hợp nhất trên mỗi node thành tối đa 1 TB để chạy các tác vụ AI cục bộ. Cấu hình này có thể chạy toàn bộ mô hình GLM 5.3 với 753 tỷ tham số của Z.ai; trong thử nghiệm với phiên bản Flash trên 8 node, tốc độ tạo văn bản đạt khoảng 80 token mỗi giây, còn toàn bộ mô hình chiếm khoảng 470 GB ở định dạng NVFP4. Trong suy luận phân tán, backend giao tiếp RoCEnante của NVIDIA giúp giảm thời gian GPU trao đổi dữ liệu khi giải mã song song tensor trên các cụm kết nối qua switch. Với Qwen3.8-27B ở NVFP4, thông lượng giải mã tăng từ khoảng 12 token/giây trên 1 node lên 52 token/giây trên 8 node; RoCEnante đạt mức mở rộng 4,43 lần ở 8 node, so với 3,05 lần khi không dùng, dù NCCL vẫn phù hợp hơn cho các cụm lớn, tải cao hoặc kiểu kết nối ring. NVIDIA cũng trình diễn Switchyard, công cụ phân phối yêu cầu giữa nhiều nhóm mô hình, giúp tăng tổng thông lượng tới 3 lần khi phần lớn yêu cầu được chuyển cho mô hình nhỏ hơn mà vẫn giữ chất lượng tương đương cấu hình chỉ dùng Qwen trong bài kiểm tra sử dụng công cụ. Việc huấn luyện một mô hình nanochat nhỏ từ đầu trên 8 node đạt tốc độ nhanh hơn 7,79 lần với hiệu suất mở rộng 97,4%. Về thực tế, công bố này cho thấy các hệ thống quy mô máy trạm được liên kết có thể phục vụ mô hình rất lớn và các ứng dụng nhiều mô hình tại chỗ, nhưng hiệu năng phụ thuộc đáng kể vào kiểu kết nối mạng và loại tải xử lý.
Các nhóm phát triển AI, phòng nghiên cứu và doanh nghiệp có thể dùng nhiều máy DGX Spark để chạy mô hình rất lớn, suy luận song song và điều phối nhiều mô hình ngay tại chỗ. Hiệu năng thực tế phụ thuộc vào kiểu kết nối mạng và tải xử lý, nên cần xem hướng dẫn tương thích, vLLM và Switchyard trước khi triển khai.
Đọc bài gốc