NVIDIA hướng dẫn xây dựng runtime Kubernetes đã kiểm định cho Dynamo
NVIDIA đã công bố hướng dẫn triển khai framework suy luận phân tán Dynamo trên Kubernetes bằng NVIDIA AI Cluster Runtime (AICR). AICR đóng gói Dynamo cùng các hạ tầng cần thiết—như driver GPU, phát hiện và cấp phát GPU, lập lịch, kiểm tra tình trạng node, giám sát bằng Prometheus và tùy chọn ingress theo chuẩn Kubernetes—thành các recipe đã được kiểm định, với phiên bản và thiết lập tương thích được ghim cố định. Hướng dẫn mô tả Dynamo 1.4.2, sử dụng TCP cho lưu lượng yêu cầu và ZeroMQ (ZMQ) cho các sự kiện bộ nhớ đệm key-value. NVIDIA so sánh bộ định tuyến frontend nguyên bản của Dynamo, phù hợp với các triển khai gọn cho từng mô hình, với hướng Gateway API Inference Extension và Endpoint Picker Plugin, vốn tích hợp định tuyến có nhận biết cache vào ingress Kubernetes dùng chung. AICR tách phần chuẩn bị runtime khỏi triển khai ứng dụng qua năm bước: kiểm tra cluster, tạo recipe, dựng các tệp triển khai, cài đặt bằng Helmfile hoặc GitOps, rồi kiểm định runtime. Với các đội ngũ nền tảng, cách tiếp cận này nhằm giúp môi trường suy luận GPU có thể tái tạo và dễ xác minh trước khi chạy workload mô hình, qua đó giảm thời gian xử lý lỗi hạ tầng thay vì thử nghiệm mô hình và ứng dụng.
Các đội ngũ vận hành AI có thể dùng NVIDIA AI Cluster Runtime để chuẩn hóa và kiểm tra trước hạ tầng Kubernetes phục vụ NVIDIA Dynamo, thay vì tự ghép từng thành phần GPU, scheduler, ingress và monitoring. Nhà phát triển nên quan tâm nếu đang triển khai suy luận mô hình trên GPU; có thể xem AICR và repository của Dynamo để đánh giá quy trình phù hợp với cụm của mình.
Đọc bài gốc