NVIDIA dùng tác nhân AI để tinh gọn vận hành các cụm GPU
NVIDIA đã phát triển AI Factory Operations Agent để hỗ trợ kỹ sư độ tin cậy của hệ thống vận hành các cụm GPU DGX SuperPOD. Hệ thống điều phối các tác nhân chuyên biệt về khôi phục công việc, phần cứng, khả năng quan sát, nghiên cứu, Kubernetes và quản lý cụm, sau đó đối chiếu tín hiệu từ máy tính, mạng, phần cứng và bộ lập lịch để xác định nguyên nhân có thể xảy ra và đề xuất cách xử lý qua giao diện trò chuyện. Được xây dựng trên blueprint NVIDIA NemoClaw, OpenShell và các mô hình mở Nemotron chạy cục bộ, framework này có thể hoạt động hoàn toàn tại chỗ trên các cụm DGX H100, B200 và GB300 dùng trong sản xuất. Hệ thống chạy như một ứng dụng control plane của Kubernetes và sử dụng Model Context Protocol (MCP)—một cách chuẩn hóa để tác nhân truy cập các công cụ được phê duyệt—cho những chức năng như tìm kiếm web, thực thi mã và bảng điều khiển Grafana. OpenShell tạo sandbox riêng cho từng phiên, còn quyền Kubernetes giới hạn tác nhân ở việc điều tra chỉ đọc, ngăn truy cập secret hoặc thay đổi workload đang chạy. NVIDIA cho biết kinh nghiệm triển khai thực tế cho thấy việc phân định rõ vai trò tác nhân, phân tích xuyên nhiều lớp, mô tả công cụ chính xác và hiển thị bằng chứng giúp kỹ sư tin tưởng đề xuất cũng như kiểm tra lại mọi hành động. Ví dụ dành cho nhà phát triển và mã nguồn mở cho phép các tổ chức bắt đầu xây dựng trợ lý vận hành tương tự, chạy cục bộ đồng thời tách biệt dữ liệu tenant và quyền kiểm soát cụm.
Các đội ngũ vận hành GPU, Kubernetes và hạ tầng AI có thể thử developer example hoặc mã nguồn mở của NVIDIA để xây dựng trợ lý điều tra sự cố chạy tại chỗ. Cách tiếp cận này phù hợp khi cần gom dữ liệu từ nhiều lớp hạ tầng nhưng vẫn muốn giới hạn quyền của tác nhân và giữ dữ liệu trong hệ thống nội bộ.
Đọc bài gốc