NVIDIA Mission Control 2.5 bổ sung khả năng tự phục hồi cho workload Kubernetes
NVIDIA Mission Control 2.5 mở rộng công cụ tự động phục hồi sang các workload AI chạy trên Kubernetes và được quản lý bằng NVIDIA Run:ai, bên cạnh hỗ trợ trước đó cho workload HPC sử dụng Slurm. Hệ thống kết hợp ba lớp phối hợp với nhau: bộ lập lịch Kubernetes phân bổ job, dịch vụ tự phục hồi job phân tích lỗi dựa trên ngữ cảnh workload, còn dịch vụ tự phục hồi phần cứng theo dõi node và GPU để phát hiện vấn đề hạ tầng. Khi xảy ra lỗi phần cứng, dịch vụ phục hồi job có thể khởi động lại hoặc lập lịch lại workload, trong khi dịch vụ phục hồi phần cứng cách ly node lỗi và chạy chẩn đoán song song. Với lỗi phần mềm tạm thời, hệ thống có thể thử lại job mà không cần đưa phần cứng ra khỏi hệ thống một cách không cần thiết; đồng thời, nó có thể loại các node đang xuống cấp khỏi nhóm được phép nhận job trước khi chúng làm gián đoạn quá trình huấn luyện. NVIDIA mô tả đây là bước chuyển từ bảo trì thủ công, phản ứng sau sự cố sang hạ tầng có khả năng tự phục hồi cho các “AI factory”, nơi các job huấn luyện phân tán có thể chạy trên hàng trăm node trong nhiều ngày hoặc nhiều tuần. Bản cập nhật đáng chú ý vì việc tự động phân loại và khắc phục lỗi có thể giảm thời gian GPU bị lãng phí cũng như công việc vận hành khi các cụm huấn luyện AI lớn gặp sự cố phần cứng, phần mềm hoặc lịch chạy.
Các đội vận hành AI và doanh nghiệp chạy huấn luyện mô hình trên cụm GPU có thể xem Mission Control 2.5 như một lựa chọn để tự động phát hiện lỗi, thử chạy lại job và cô lập node phần cứng bất thường trên Kubernetes. Những tổ chức đang dùng NVIDIA Run:ai nên đọc tài liệu nâng cấp và ghi chú phát hành để đánh giá mức phù hợp với hạ tầng của mình.
Đọc bài gốc