NVIDIA Minerva liên kết telemetry để phát hiện lỗi ẩn và tăng hiệu suất cụm GPU
NVIDIA cho biết nền tảng Minerva đưa telemetry từ GPU, mạng, lưu trữ, bộ lập lịch và workload AI vào một knowledge graph (đồ thị tri thức) trực tiếp, liên kết hạ tầng với các job đang sử dụng hạ tầng đó. Hệ thống dùng các mô hình machine learning để phát hiện những “lỗi xám” — chẳng hạn một giao diện NVLink suy giảm trong cụm 400.000 GPU hoặc một GPU nóng hơn các GPU khác dù chạy cùng workload — ngay cả khi chưa vượt qua ngưỡng cố định. Minerva cũng liên kết các triệu chứng có quan hệ với nhau để một lỗi gốc không tạo ra hàng loạt cảnh báo rời rạc; NVIDIA nêu trường hợp 81 cảnh báo do một đợt pause-frame storm được gom thành một sự cố, giúp tiết kiệm khoảng 54 giờ uptime của cụm. Trợ lý AI Sherlock và MCP server cho phép kỹ sư truy vấn bằng ngôn ngữ tự nhiên dựa trên dữ liệu hiện thời, đồng thời kết nối với các công cụ agent khác. Nền tảng còn có thể phát hiện sớm các lỗi như sự cố PCIe hiếm gặp trên SuperNIC hoặc lỗi trạng thái nguồn của NVMe để cô lập các node bị ảnh hưởng trước khi chúng nhận workload của khách hàng. Với các cụm AI quy mô lớn, mục tiêu thực tế là giảm hiện tượng straggler và thời gian xử lý sự cố, qua đó dành nhiều giờ GPU hơn cho việc huấn luyện và suy luận thay vì chờ đợi các vấn đề hạ tầng khó nhận biết.
Các đội vận hành cụm GPU lớn có thể theo dõi NVIDIA Minerva nếu cần liên kết sự cố giữa GPU, mạng, lưu trữ và workload thay vì xử lý từng dashboard riêng lẻ. Nền tảng này hướng tới việc phát hiện sớm lỗi khó thấy, gom cảnh báo trùng lặp và giảm thời gian GPU phải chờ hoặc chạy không hiệu quả.
Đọc bài gốc