NVIDIA mở mã nguồn Attribution để truy tìm nguyên nhân gốc của lỗi workload AI phân tán
NVIDIA đã mở mã nguồn NVIDIA Attribution, một công cụ chẩn đoán lỗi trong workload AI phân tán bằng cách đối chiếu log, metric, dữ liệu telemetry và trạng thái scheduler theo từng workload. Công cụ tạo ra kết quả có cấu trúc, gồm trạng thái workload, nguyên nhân gốc có khả năng nhất, các node bị ảnh hưởng, triệu chứng phát sinh sau đó và chuỗi bằng chứng hỗ trợ. Hệ thống gồm hai thành phần: Attribution Service cung cấp bộ máy cốt lõi qua REST API, còn Attribution Blueprint kết nối các scheduler như Slurm và Kueue với các nguồn dữ liệu như Loki, log Kubernetes, tệp cục bộ và metric PromQL. Quy trình gồm bốn bước: xác định một lần chạy workload, thu thập quan sát, đối chiếu sự kiện bằng các luật xác định và trả về chẩn đoán có thể tái lập. Trong ví dụ minh họa, lỗi NVLink hoặc XID trên một node được xác định là sự cố phần cứng ban đầu, còn các lỗi NCCL xuất hiện ở những rank khác được giữ lại như hậu quả thay vì bị coi là các lỗi độc lập. NVIDIA cho biết hệ thống đang được dùng trong hạ tầng của họ để phân tích hàng triệu workload mỗi tuần trên hàng trăm nghìn GPU, đồng thời phát hiện các vấn đề lặp lại quanh những cổng host và cổng switch cụ thể. Công cụ này có thể giúp các đội ngũ vận hành hạ tầng AI tìm ra sự kiện thực sự khiến một job phân tán thất bại, thay vì chỉ xử lý lỗi cuối cùng được hiển thị, qua đó hỗ trợ sửa chữa, giám sát và khôi phục tự động chính xác hơn.
Các đội ngũ vận hành cụm GPU, nền tảng AI và nhà phát triển hệ thống phân tán có thể thử NVIDIA Attribution từ mã nguồn mở, chạy quickstart và kết nối với scheduler cùng hệ thống log/metric của mình. Công cụ giúp phân biệt lỗi gốc trên GPU hoặc mạng với các lỗi NCCL phát sinh dây chuyền, từ đó rút ngắn thời gian xử lý sự cố.
Đọc bài gốc