NVIDIA giới thiệu Workload Map để tích hợp framework AI mới nhanh hơn trên Kubernetes
NVIDIA đã giới thiệu Workload Map, một mô tả chung dựa trên Kubernetes dành cho các workload AI phân tán. Công cụ này giúp bộ lập lịch, bộ điều khiển và nền tảng hiểu cấu trúc workload—gồm nhóm pod, vai trò, số bản sao, yêu cầu tài nguyên và trạng thái—mà không cần viết mã phân tích riêng cho từng framework AI. Dự án cung cấp định nghĩa cho JobSet, PyTorchJob, Ray, KServe, Knative, MPIJob, NVIDIA NIM, LeaderWorkerSet, Milvus, Grove PodCliqueSet và NVIDIA Dynamo. Trong ví dụ của NVIDIA, một định nghĩa JobSet có thể được dùng đồng thời để Workload Map CLI kiểm tra job huấn luyện, KAI Scheduler thực hiện gang scheduling và NVIDIA Run:ai quản lý workload thống nhất; Nova của Elotl dùng cùng thông tin này để lập lịch trên nhiều cụm. Một JobSet mẫu gồm một node leader và hai node worker yêu cầu tổng cộng 12 GPU, mối quan hệ mà đầu ra tiêu chuẩn của kubectl không hiển thị trực tiếp. Về thực tế, Workload Map có thể giúp các đội ngũ hạ tầng AI bổ sung hỗ trợ cho framework mới nhanh hơn, đồng thời giữ cho việc lập lịch, giám sát và quản lý tài nguyên nhất quán giữa các môi trường Kubernetes.
Các đội ngũ vận hành AI trên Kubernetes có thể dùng Workload Map để giảm công sức tích hợp JobSet, Ray, PyTorchJob và nhiều framework khác vào công cụ lập lịch hoặc quản lý. Người dùng Việt Nam đang xây dựng hạ tầng huấn luyện và suy luận phân tán nên theo dõi catalog định nghĩa và thử tích hợp nếu hệ thống của mình dùng các workload được hỗ trợ.
Đọc bài gốc