AICR đóng gói cấu hình Kubernetes cho Vera Rubin NVL72
NVIDIA cho biết AICR cung cấp recipe và validation cho Vera Rubin NVL72, bao gồm driver R615.23, DRA v0.5.0, Ubuntu 26.04 kernel 64K và kiểm tra NCCL liên node qua NVLink.
Một cụm GPU mới có thể đã gia nhập Kubernetes nhưng vẫn chưa sẵn sàng cho workload AI phân tán. Driver, kernel, container runtime, networking, scheduler và topology phần cứng phải khớp với nhau; chỉ một sai lệch cũng có thể khiến workload không chạy hoặc giảm hiệu năng.
Với Vera Rubin NVL72, NVIDIA giới thiệu AI Cluster Runtime (AICR) như một cách đóng gói các lựa chọn cấu hình đã được kiểm thử thành recipe có thể tái sử dụng, tạo bundle triển khai và xác thực cluster đang chạy.
AICR làm gì với Vera Rubin NVL72?
AICR là một thành phần của NVIDIA DSX AI Factory Platform. Theo NVIDIA, công cụ này ghi nhận cấu hình đã tinh chỉnh dưới dạng recipe có phiên bản, tạo bundle cho các công cụ triển khai hiện có, sau đó kiểm tra cluster theo các yêu cầu deployment, conformance và performance.
Với Vera Rubin NVL72, recipe family mới hỗ trợ RKE2, Ubuntu cùng các biến thể cho training, inference và inference dùng NVIDIA Dynamo.
Tuy nhiên, NVIDIA mô tả recipe này là Preview. Đây là lộ trình dành cho nhóm dùng sớm, chưa có mức hỗ trợ production và vòng đời kiểm định tương đương recipe ở trạng thái Supported.
Những thay đổi khi chuyển từ GB200 NVL72
Vera Rubin NVL72 tiếp tục dùng kiến trúc rack-scale NVIDIA MGX, nhưng có một số thay đổi ảnh hưởng trực tiếp đến phần mềm và cấu hình cluster.
| Hạng mục | Cấu hình NVIDIA đã xác thực | Lưu ý |
|---|---|---|
| GPU driver | R615.23 open GPU driver cài trên host | Đây là phiên bản đã thử nghiệm, không phải mức tối thiểu được xác nhận cho hỗ trợ chính thức |
| GPU Operator | v26.7.0 | Recipe chạy với driver trên host, thay vì để GPU Operator quản lý driver |
| DRA driver | v0.5.0 với ComputeDomains | Dùng cho IMEX-backed ComputeDomains trên fabric NVL72 |
| Hệ điều hành | Ubuntu 26.04, kernel arm64 trang nhớ 64K | Là tổ hợp được dùng trong validation |
| Kubernetes | Từ 1.34.1 | Bài viết nêu RKE2 cần containerd 2.1 trên đường CDI/NRI |
| NIC và DPU | ConnectX-9 SuperNIC, BlueField-4 DPU | Network Operator và NIC driver vẫn cần qualification riêng |
NVIDIA cho biết Vera Rubin NVL72 thay ConnectX-7 và BlueField-3 trong thiết kế tham chiếu GB200 bằng ConnectX-9 SuperNIC và BlueField-4 DPU. DOCA 3.3.0 là bản GA đầu tiên hỗ trợ ConnectX-9; hệ thống được NVIDIA dùng để xác thực chạy DOCA-OFED 3.3.0. Đây là phiên bản testbed, không phải yêu cầu chung hay khuyến nghị cho mọi môi trường.
IMEX và ComputeDomains là điểm cần chú ý
Với workload NVLink nhiều node, Vera Rubin NVL72 dùng IMEX tương tự GB200 NVL72. Trong cấu hình DRA-managed IMEX, NVIDIA lưu ý cần dừng, vô hiệu hóa và mask dịch vụ nvidia-imex tĩnh trên host để tránh xung đột quyền sở hữu.
DRA v0.5.0 bổ sung tùy chọn host-managed ở trạng thái alpha, chỉ bao phủ domain isolation. Cluster được NVIDIA xác thực sử dụng chế độ driverManaged.
Recipe Vera Rubin dùng ComputeDomains có IMEX cho fabric NVL72, trong khi cấp phát GPU vẫn theo whole-GPU thông qua device plugin. Recipe này không cấu hình MIG; vì vậy, validation không bao phủ MIG trên Rubin.
Topology GPU–NIC không giống GB200
NVIDIA cũng nhấn mạnh sự khác biệt về topology giữa GPU, NIC và DMA. Đây là yếu tố quan trọng với workload I/O như RDMA hoặc GPUDirect Storage.
Cả compute tray GB200 và Vera Rubin NVL72 đều có hai CPU và bốn GPU. Tuy nhiên, Vera Rubin NVL72 hiển thị tám nhóm thiết bị PCI ConnectX-9 với tổng cộng 32 function, trong khi NVIDIA DGX GB200 NVL72 có bốn adapter ConnectX-7.
Trên cả hai nền tảng:
GPU 0–1 có NUMA affinity với CPU 0.
GPU 2–3 có NUMA affinity với CPU 1.
Kết nối GPU–NIC là NODE trong cùng socket và SYS khi đi qua socket.
NVIDIA lưu ý số lượng PCI function không đồng nghĩa với số lượng cổng vật lý.
Những gì recipe Vera Rubin mã hóa
Recipe Vera Rubin ghi lại các lựa chọn cấu hình được NVIDIA sử dụng trong quá trình bring-up:
Driver open-kernel-module arm64 được cài sẵn trên host.
GPU Operator chạy với driver.enabled: false; container toolkit vẫn do operator quản lý.
ComputeDomains dùng IMEX cho fabric NVL72.
Kubernetes từ phiên bản 1.34.1.
Ubuntu 26.04 với kernel arm64 trang nhớ 64K.
Điều chỉnh giới hạn bộ nhớ cho NFD topology updater.
Điểm cuối cùng đáng lưu ý: giới hạn mặc định 60Mi của NFD topology updater có thể bị OOM kill trên worker NVL72 nhiều terabyte. Recipe tăng giới hạn này để phù hợp với nền tảng đã kiểm thử.
Validation bao phủ deployment, conformance và hiệu năng
NVIDIA đã triển khai runtime bundle trên các cluster Vera Rubin dùng GPU Operator v26.7.0, DRA driver v0.5.0 và driver R615 cài trên host.
Các recipe training và inference đều đã vượt qua validation deployment và conformance. Với training, NVIDIA bổ sung performance gate là NCCL all-reduce xuyên node qua fabric NVLink, chạy thông qua một IMEX ComputeDomain.
Trên cluster tham chiếu Vera Rubin NVL72, bài kiểm tra NCCL all-reduce đạt:
744,71 GB/s bus bandwidth
Payload 16 GiB
Chạy qua fabric NVLink liên node
Đây là kết quả trên môi trường tham chiếu của NVIDIA, không phải mức hiệu năng được cam kết cho mọi cluster Vera Rubin NVL72.
Một lỗi early silicon đã được sửa trong DRA v0.5.0
Bài viết cũng cho thấy quá trình đưa phần cứng mới vào vận hành không chỉ liên quan đến cấu hình Kubernetes.
Trong các vòng validation đầu tiên, một cluster Vera Rubin gặp vấn đề phần cứng/fabric khiến một compute tray không tham gia NVLink fabric. Sau khi phần cứng được reseat, GPU trên hai node tham gia cùng một fabric clique.
NVIDIA còn phát hiện giá trị kiến trúc Rubin chưa được ánh xạ trong go-nvlib, làm kubelet plugin của DRA driver crash-loop. Bản sửa đã được đưa qua các tầng phần mềm và phát hành trong DRA driver v0.5.0 chính thức.
Điều quản trị viên hạ tầng cần rút ra
AICR không loại bỏ nhu cầu qualification riêng cho từng môi trường, đặc biệt với Network Operator, NIC driver hoặc các cấu hình không nằm trong phạm vi validation như MIG.
Tuy vậy, recipe và validation evidence giúp đội platform có một baseline cụ thể thay vì phải tự ghép nối các phiên bản driver, kernel, runtime, DRA, topology và thiết lập NVLink từ đầu.
Với Vera Rubin NVL72, baseline NVIDIA đã công bố gồm R615.23 open GPU driver trên host, GPU Operator v26.7.0, DRA driver v0.5.0 với ComputeDomains, Ubuntu 26.04 dùng kernel arm64 64K và Kubernetes từ 1.34.1. Đây là điểm khởi đầu có thể tái lập cho các nhóm đang chuẩn bị Kubernetes cho phần cứng Vera Rubin.