NVIDIA giới thiệu cơ chế chia sẻ GPU có giới hạn bộ nhớ cho Kubernetes với CUDA 13.4
NVIDIA đã giới thiệu cơ chế chia sẻ GPU có áp giới hạn bộ nhớ cho Kubernetes trong CUDA 13.4, cùng GPU Fractioning Operator mã nguồn mở và tích hợp với KAI Scheduler v0.18.0. Hệ thống cho phép nhiều workload AI dùng từng phần của cùng một GPU thay vì mỗi workload chiếm trọn một thiết bị, qua đó giảm công suất bị bỏ trống. CUDA 13.4 có thể áp một mức bộ nhớ GPU cố định hoặc cấp một mức tối thiểu bảo đảm kèm giới hạn tối đa có thể tăng lên khi còn bộ nhớ trống, đồng thời hỗ trợ chia sẻ tính toán theo lượt hoặc chạy đồng thời thông qua MPS. GPU Fractioning Operator chạy cùng NVIDIA GPU Operator trên từng node, áp giới hạn bộ nhớ và chế độ tính toán cho từng container, đồng thời báo cáo mức sử dụng của từng phần GPU. Chế độ NvFractions mới của KAI Scheduler chọn phần GPU cho workload và ghi thông tin phân bổ vào các chú thích của Pod Kubernetes để operator thực thi. Về thực tế, các đội ngũ nền tảng có thể chạy nhiều tác vụ AI nhỏ hơn trên số GPU hiện có, với khả năng cô lập bộ nhớ và tính toán tài nguyên rõ ràng hơn; tuy nhiên scheduler vẫn phải tránh cấp phát vượt bộ nhớ hoặc trộn các chế độ tính toán không tương thích trên cùng một GPU.
Các đội ngũ vận hành cụm Kubernetes và nền tảng AI có thể dùng CUDA 13.4, GPU Fractioning Operator và KAI Scheduler để chia một GPU cho nhiều workload nhỏ, giới hạn bộ nhớ theo từng container và theo dõi mức sử dụng chi tiết hơn. Đây là công cụ đáng theo dõi nếu bạn đang chạy suy luận hoặc huấn luyện quy mô nhỏ và muốn tăng hiệu suất sử dụng GPU hiện có.
Đọc bài gốc