NVIDIA ra mắt NVIDIA Recovery để tự động khôi phục workload huấn luyện phân tán
NVIDIA đã giới thiệu NVIDIA Recovery, một dịch vụ mã nguồn mở tự động khôi phục các workload huấn luyện AI phân tán trên toàn cụm máy. Dịch vụ phát hiện gián đoạn từ log ứng dụng, số liệu GPU và tín hiệu của bộ lập lịch, xác định nguyên nhân có khả năng xảy ra, cô lập các nút bị ảnh hưởng rồi khởi động lại hoặc dừng workload theo chính sách đã cấu hình. Hệ thống được thiết kế để xử lý các lỗi như timeout liên lạc NCCL, nút GPU không phản hồi và các “straggler” — tiến trình chậm khiến cả workload phải chờ. NVIDIA Recovery hoạt động như một lớp ở cấp cụm, phối hợp với các công cụ kiểm tra tình trạng hạ tầng, Slurm và thư viện NVRx, vốn xử lý việc khôi phục bên trong từng workload huấn luyện. Vòng lặp bốn giai đoạn của dịch vụ gồm phát hiện bất thường, quy kết nguyên nhân, cô lập tài nguyên và thực hiện hành động khôi phục; mọi sự kiện được lưu trong nhật ký kiểm toán và hiển thị trên Recovery Console. Tích hợp với Slurm sử dụng Advisor Controller tham chiếu, có thể chạy bên trong cụm hoặc qua SSH, còn các bản triển khai mới mặc định ở monitor mode để đội ngũ vận hành kiểm tra các khuyến nghị trước khi bật hành động tự động. Trong giai đoạn giám sát thực tế từ ngày 9 tháng 7 đến ngày 9 tháng 10, một cụm chạy gần 200 workload mỗi ngày đã ghi nhận khoảng 8.550 lần phát hiện bất thường, với độ trễ trung bình lần lượt là 69 giây để phát hiện và 94 giây để thực hiện hành động khôi phục. Lợi ích thực tế là giảm thời gian xử lý sự cố thủ công và giảm lượng GPU nhàn rỗi khi các phiên huấn luyện lớn gặp lỗi phần cứng hoặc phần mềm.
Các nhóm vận hành cụm GPU và nhà phát triển mô hình có thể thử NVIDIA Recovery từ repository mã nguồn mở, triển khai cục bộ theo quickstart và tích hợp với Slurm. Nên bắt đầu ở monitor mode để kiểm tra chất lượng cảnh báo trước khi cho phép hệ thống tự động cô lập nút hoặc khởi động lại workload.
Đọc bài gốc