DeepSeek mở mã nguồn DeepInfer, framework suy luận quy mô lớn cho DeepSeek-V4.1-Flash
DeepSeek đã mở mã nguồn DeepInfer, framework suy luận hiệu năng cao được dùng cho các dịch vụ sản xuất quy mô lớn và chạy suy luận offline cho các mô hình của hãng. Bản phát hành đầu tiên hỗ trợ DeepSeek-V4.1-Flash và hoạt động trên GPU NVIDIA SM100 hoặc NPU Huawei Ascend 950, với yêu cầu Linux, Python 3.12 cùng CUDA hoặc CANN tùy nền tảng. Framework này bao gồm các kernel tối ưu như FlashMLA, DeepGEMM, DeepEP, TileKernels và DeepSelect, cùng khả năng thực thi song song cho attention và các mô hình mixture-of-experts. DeepInfer cũng hỗ trợ giải mã suy đoán kèm xác minh dựa trên độ tin cậy, replay có giới hạn để giảm chi phí prefill, lập lịch bất đồng bộ, kết quả không phụ thuộc vào cách ghép batch, lấy mẫu xác định và đầu ra có cấu trúc theo JSON Schema, regex hoặc ngữ pháp EBNF. DeepInfer được phát hành theo giấy phép Apache 2.0, nhưng một dịch vụ inference hoàn chỉnh vẫn cần hệ thống KV cache, cơ chế tách prefill/decode và cân bằng tải giữa các bản sao. Bản phát hành giúp các nhà phát triển tiếp cận hạ tầng cốt lõi để phục vụ mô hình DeepSeek ở quy mô lớn, dù việc triển khai một dịch vụ hoàn chỉnh vẫn đòi hỏi thêm công việc về hệ thống và phần cứng cao cấp được hỗ trợ.
Các nhóm phát triển hạ tầng AI có thể thử DeepInfer để chạy DeepSeek-V4.1-Flash offline trên NVIDIA SM100 hoặc Huawei Ascend 950, đồng thời tận dụng structured output và suy luận xác định. Đây chưa phải một dịch vụ inference hoàn chỉnh, nên doanh nghiệp vẫn phải tự bổ sung KV cache, phân tách prefill/decode và cân bằng tải.
Đọc bài gốc