#on-prem — tin AI mới nhất

NVIDIA Mission Control 2.5 mở rộng tự phục hồi cho Kubernetes — NVIDIA Mission Control 2.5 mở rộng autonomous recovery sang workload Kubernetes do NVIDIA Run:ai quản lý. Hệ thống phối hợp scheduler, phục hồi job và phục hồi phần cứng để retry, reschedule hoặc cô…
TensorRT 11.1 mở rộng tối ưu engine bằng Global Performance Tuner — Global Performance Tuner trong TensorRT 11.1 tìm kiếm qua nhiều lộ trình build, đo hiệu năng end-to-end và chọn engine nhanh nhất vẫn đáp ứng ràng buộc độ chính xác.
Ghép 8 DGX Spark chạy GLM 5.3 753B: memory, mạng và TPS cần biết — NVIDIA công bố hỗ trợ cụm tối đa 8 DGX Spark, đạt 1 TB unified memory để chạy GLM 5.3 753B tại chỗ. Các số liệu benchmark cho thấy topology mạng và mức concurrency ảnh hưởng trực tiếp đến throughput…
NVIDIA Sentry: thực thi chính sách AI agent từ miền tin cậy tách khỏi host — NVIDIA Sentry là framework bảo mật runtime cho AI agent, chạy trên BlueField-4 DPU trong miền tin cậy tách khỏi host. Hệ thống kết hợp kiểm soát mạng, kiểm tra TLS và ngữ cảnh runtime để giới hạn…
vLLM cho LLM on-prem: tối ưu serving, throughput và bộ nhớ GPU — vLLM là engine mã nguồn mở cho suy luận và phục vụ LLM, nổi bật với PagedAttention, continuous batching và API tương thích OpenAI. Đây là các điểm đội vận hành cần kiểm tra khi đưa model vào hạ tầng…
Llmspeed: ước lượng tốc độ LLM local trước khi chọn phần cứng — Llmspeed cho phép duyệt phần cứng và model để xem ước lượng tốc độ LLM local cho prompt ngắn trên một thiết bị. Đây là điểm khởi đầu hữu ích khi lập shortlist, nhưng không thay thế PoC với workload…
LFM2.5-24B-A2B: kiểm tra hạ tầng on-prem trước khi chạy agent — LFM2.5-24B-A2B là MoE 24B, chỉ kích hoạt 2B tham số mỗi token và hướng tới agent cục bộ. Trước khi triển khai, đội hạ tầng cần kiểm chứng VRAM, context, concurrency, quyền tool và chất lượng trên…
NVIDIA Run:ai mã nguồn mở: thêm lựa chọn điều phối GPU trên Kubernetes — NVIDIA đã mã nguồn mở toàn bộ Run:ai, gồm KAI Scheduler, GPU Fractioning Operator, KAI Resource Management và Workload Map. Đây là lựa chọn mới để đội hạ tầng đánh giá khi vận hành GPU dùng chung…