NVIDIA Run:ai mã nguồn mở: thêm lựa chọn điều phối GPU trên Kubernetes
NVIDIA đã mã nguồn mở toàn bộ Run:ai, gồm KAI Scheduler, GPU Fractioning Operator, KAI Resource Management và Workload Map. Đây là lựa chọn mới để đội hạ tầng đánh giá khi vận hành GPU dùng chung trên Kubernetes.
Một cụm GPU dùng chung thường nhanh chóng gặp bài toán quen thuộc: nhiều nhóm cùng cần tài nguyên, nhưng không phải workload nào cũng cần nguyên một GPU, và các job nhiều pod có thể phải chờ đủ tài nguyên để chạy.
NVIDIA vừa công bố mã nguồn mở toàn bộ Run:ai, nền tảng điều phối workload AI và phân bổ GPU trên Kubernetes. Với đội hạ tầng đang vận hành Kubernetes và GPU dùng chung, đây là một lựa chọn mới để đánh giá cho lớp scheduler, quota và quản lý workload.
Điểm cần phân biệt: mã nguồn mở không đồng nghĩa với dịch vụ được vận hành sẵn. Doanh nghiệp vẫn cần tự chịu trách nhiệm về cluster, driver GPU, mạng, phân quyền, giám sát và nâng cấp nếu tự triển khai.
Run:ai gồm những gì?
Theo NVIDIA, Run:ai hỗ trợ vận hành workload AI trên Kubernetes, từ xử lý dữ liệu và huấn luyện đến inference. Bản phát hành mã nguồn mở gồm nền tảng đầy đủ cùng bốn thành phần có thể được áp dụng độc lập:
KAI Scheduler: scheduler Kubernetes nhận biết GPU.
GPU Fractioning Operator: operator hỗ trợ chia phần GPU trên Kubernetes.
KAI Resource Management: quản lý quota và cấu trúc tổ chức.
Workload Map: cung cấp một hợp đồng quản lý workload nhất quán.
Có thể xem Run:ai là lớp điều phối bổ sung cho Kubernetes. Kubernetes tiếp tục vận hành container, còn Run:ai tập trung vào các nhu cầu thường gặp của hạ tầng AI dùng chung như xếp lịch workload GPU, chia sẻ GPU, quota và phân bổ tài nguyên giữa các nhóm.
KAI Scheduler: thành phần đáng chú ý nhất
KAI Scheduler là scheduler Kubernetes đứng sau nền tảng Run:ai. NVIDIA cho biết dự án được phát hành theo giấy phép Apache 2.0 và đã được đóng góp cho CNCF ở cấp độ Sandbox.
Các khả năng được NVIDIA nêu gồm:
Gang scheduling với mô phỏng prescheduling trong bộ nhớ: job nhiều pod được đặt theo nguyên tắc đủ tài nguyên thì chạy, không đủ thì chờ.
Fair-share, bao gồm fair-share theo thời gian, cùng cơ chế quota.
Nhận biết topology và bin-packing ở cấp quyết định xếp lịch.
Chia sẻ GPU qua MIG, MPS, time sharing, HaMi và CUDA 13.4 MPS fractioning.
Hỗ trợ Dynamic Resource Allocation (DRA).
Với các job huấn luyện phân tán, gang scheduling là khả năng đáng quan tâm: thay vì chỉ một phần pod được chạy trong khi các pod còn lại chưa có chỗ, scheduler có thể xử lý job theo nhóm tài nguyên cần thiết.
NVIDIA cho biết KAI vẫn là upstream engine của Run:ai và việc phát triển scheduler diễn ra trong codebase cộng đồng.
Bốn thành phần, bốn điểm bắt đầu
Không nhất thiết phải triển khai toàn bộ nền tảng ngay từ đầu. Đội platform có thể đánh giá từng thành phần theo vấn đề đang gặp phải:
| Thành phần | Bài toán có thể đánh giá |
|---|---|
| KAI Scheduler | Xếp lịch GPU-aware, job nhiều pod, fair-share và quota |
| GPU Fractioning Operator | Chia GPU cho các workload phù hợp |
| KAI Resource Management | Quota và cấu trúc phân bổ tài nguyên theo tổ chức |
| Workload Map | Chuẩn hóa cách các thành phần quản lý workload |
Cách tiếp cận này phù hợp khi cụm Kubernetes đã có stack vận hành riêng và đội hạ tầng chỉ cần bổ sung một năng lực cụ thể, thay vì thay đổi toàn bộ kiến trúc ngay lập tức.
Nguồn mã và lựa chọn cài đặt
NVIDIA cho biết mã nguồn đầy đủ của Run:ai được đặt trong repository thuộc tổ chức GitHub của NVIDIA DSX AI Factory.
Ngoài source code, nền tảng tích hợp cũng có mặt trên NVIDIA NGC dưới dạng Community Product, kèm Helm chart để cài đặt stack tích hợp.
Có hai lưu ý về điều khoản:
Community Product không yêu cầu thuê bao Run:ai trả phí hoặc quyền nhận hỗ trợ NVIDIA.
Community Product không bao gồm hỗ trợ doanh nghiệp của NVIDIA; việc tải xuống từ NGC yêu cầu chấp nhận các điều khoản phần mềm và điều khoản sản phẩm liên quan.
NVIDIA cũng cho biết Run:ai tiếp tục có trong các lựa chọn thương mại được hỗ trợ của hãng, gồm sản phẩm độc lập, NVIDIA Mission Control, NVIDIA AI Enterprise và một số marketplace đám mây. Điều kiện cung cấp, giấy phép và hỗ trợ có thể khác nhau theo từng lựa chọn.
Gợi ý đánh giá trước khi triển khai
Bài công bố không nêu đầy đủ các chi tiết triển khai như phiên bản Kubernetes được hỗ trợ, yêu cầu driver, cấu hình node, RBAC, cổng mạng hay quy trình rollback. Vì vậy, đội hạ tầng nên kiểm tra tài liệu kỹ thuật và triển khai thử nghiệm trước khi đưa vào môi trường quan trọng.
Một checklist thực tế:
Xác định vấn đề cần giải quyết
Là hàng đợi job, chia GPU hay quota theo nhóm? Phạm vi càng rõ, việc đánh giá càng dễ đo lường.
Dùng môi trường thử nghiệm tách biệt
Bắt đầu với workload không quan trọng và không đưa thay đổi scheduler vào cụm đang phục vụ workload thiết yếu.
Ghi nhận baseline trước thử nghiệm
Theo dõi số node GPU, loại GPU, dung lượng bộ nhớ GPU, mức sử dụng GPU và thời gian chờ job để có cơ sở so sánh.
Kiểm tra quyền và thành phần triển khai
Trước khi cài Helm chart, cần xác định thành phần nào chạy trong cluster, các quyền Kubernetes cần thiết, nơi ghi log và phương án gỡ bỏ.
Thử workload đại diện
Kiểm tra cách job được xếp lịch, cách quota tác động tới nhóm sử dụng và hành vi giải phóng tài nguyên khi pod lỗi hoặc job kết thúc.
Quản trị vẫn là phần khó nhất
Run:ai bổ sung năng lực điều phối, nhưng không thay thế các kiểm soát vận hành của doanh nghiệp. Trước khi mở rộng triển khai, đội hạ tầng nên làm rõ:
Ai được tạo workload và ai được thay đổi quota.
Giao diện quản trị hoặc control plane được truy cập từ đâu.
Log của scheduler, operator và workload được thu thập, lưu giữ như thế nào.
Quy trình thử nghiệm tương thích trước khi nâng cấp scheduler hoặc operator.
Chính sách xử lý khi tổng nhu cầu GPU vượt năng lực phần cứng.
Quota giúp phân bổ tài nguyên theo chính sách, nhưng không tạo thêm GPU. Khi nhu cầu vượt công suất cụm, workload vẫn có thể phải chờ theo cách scheduler và chính sách tài nguyên xử lý.
Kết luận
Việc mã nguồn mở Run:ai đem đến thêm một nền tảng để các đội Kubernetes và GPU đánh giá cho bài toán điều phối AI dùng chung. Bốn thành phần tách rời — KAI Scheduler, GPU Fractioning Operator, KAI Resource Management và Workload Map — cũng cho phép bắt đầu từ một khoảng trống cụ thể trong stack hiện có.
Giá trị thực tế sẽ phụ thuộc vào cách doanh nghiệp kiểm thử, thiết kế quyền truy cập, theo dõi vận hành và quản lý vòng đời phần mềm. Helm chart có thể là điểm khởi đầu, nhưng không phải điểm kết thúc của một nền tảng GPU dùng chung.