DeepInfer mở mã nguồn: engine chạy DeepSeek-V4.1-Flash, chưa phải dịch vụ hoàn chỉnh
DeepSeek phát hành DeepInfer theo Apache 2.0: framework inference hiệu năng cao hỗ trợ DeepSeek-V4.1-Flash. Bản hiện tại tập trung vào offline inference, có nhiều tính năng phục vụ quy mô lớn nhưng còn thiếu các thành phần của một dịch vụ hoàn chỉnh.
DeepSeek đã phát hành mã nguồn DeepInfer theo giấy phép Apache 2.0. Đây không phải model mới hay chatbot mới, mà là framework inference hiệu năng cao được DeepSeek cho biết đang vận hành các dịch vụ production quy mô lớn của họ.
Điểm cần hiểu đúng: bản phát hành hiện hỗ trợ offline inference cho DeepSeek-V4.1-Flash. Nó có nhiều thành phần quan trọng cho serving ở quy mô lớn, nhưng chưa bao gồm đầy đủ mọi mảnh ghép để dựng một dịch vụ inference hoàn chỉnh.
DeepInfer là gì?
Inference là giai đoạn model nhận đầu vào và sinh đầu ra. Với LLM, quá trình này thường gồm:
Prefill: xử lý prompt ban đầu.
Decode: sinh đầu ra theo từng token.
DeepInfer là lớp runtime và điều phối để thực hiện các bước này trên GPU hoặc NPU. README mô tả đây là framework inference hiệu năng cao, với các tính năng lõi cần thiết cho serving ở quy mô lớn.
Bản mã nguồn mở hiện nêu rõ model được hỗ trợ là:
DeepSeek-V4.1-Flash
Những tính năng đáng chú ý
DeepInfer không chỉ chạy model theo kiểu một yêu cầu một lần. README liệt kê một số năng lực phục vụ workload lớn:
Kernel tối ưu hóa: sử dụng FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect và các kernel TileLang tùy biến.
Song song hóa: gồm Attention DP, balanced CP, MoE EP và EPLB.
DSpark và confidence-scheduled verification: dùng draft token cùng ước lượng độ tin cậy để lên lịch xác minh khi giải mã.
Decoder SWA bounded replay: giới hạn phần hậu tố được phát lại khi prefill.
Lập lịch bất đồng bộ: chồng công việc lập lịch batch ở CPU với quá trình thiết bị thực thi; tính năng này được bật mặc định.
Batch-invariant inference: giữ kết quả giống nhau giữa các thành phần batch khác nhau. Tính năng này chỉ dành cho NVIDIA.
Deterministic sampling: có thể tạo đầu ra giống nhau với cùng token đầu vào, tham số sampling và seqseed cố định; cũng chỉ dành cho NVIDIA.
Structured outputs: ràng buộc đầu ra theo regex, JSON Schema hoặc ngữ pháp EBNF.
Với structured outputs, README hướng dẫn truyền soargs vào SamplingParams:
text
soargs={"schematype": ..., "schema": ...}
Đây là tính năng hữu ích khi ứng dụng cần đầu ra theo định dạng xác định thay vì văn bản tự do.
Điều kiện để thử DeepInfer
Rào cản kỹ thuật của DeepInfer hiện khá cao. README yêu cầu:
Linux
Python 3.12
GCC 13.0 trở lên
CUDA 13 khi dùng NVIDIA
CANN 9.2 khi dùng Ascend
NVIDIA SM100 GPU hoặc Huawei Ascend 950 NPU
Trước khi build, DeepSeek yêu cầu tạo và kích hoạt một môi trường Python 3.12 trống.
Với NVIDIA, thiết lập accelerator rồi build:
bash
export DEEPINFERACCELERATOR=nvidia
./build.sh
Nếu dùng nền tảng Ascend, thay nvidia bằng ascend. Biến môi trường này cần được giữ trong môi trường chạy DeepInfer.
Chạy inference offline
Ví dụ cơ bản trong README là:
bash
python examples/offlineinference.py
Ở lần chạy đầu, checkpoint mặc định sau sẽ được tải vào Hugging Face cache:
text
deepseek-ai/DeepSeek-V4.1-Flash-1017
Nếu checkpoint đã có sẵn ở máy cục bộ, có thể chỉ định đường dẫn:
bash
export DEEPINFERHFMODELDIR=/path/to/DeepSeek-V4.1-Flash-1017
README dẫn người dùng tới thư mục examples để xem thêm các cách sử dụng. Tài liệu không mô tả cụ thể prompt hay định dạng đầu ra của script mẫu, vì vậy nên kiểm tra ví dụ trước khi đưa vào quy trình riêng.
DeepInfer chưa bao gồm những gì?
Đây là phần quan trọng nhất nếu bạn đang nghĩ đến việc tự dựng một dịch vụ inference.
DeepSeek ghi rõ các thành phần cần cho một dịch vụ inference hoàn chỉnh nhưng không có trong bản phát hành này:
Hệ thống KV cache.
Cơ chế tách VE/Prefill/Decode; README lưu ý phần lớn chức năng engine cần thiết đã được triển khai.
Cân bằng tải giữa các replica data-parallel cho cả prefill và decode.
Vì vậy, DeepInfer nên được nhìn nhận là một engine inference với nhiều năng lực phục vụ quy mô lớn, thay vì một sản phẩm “cài xong là có endpoint production”.
Benchmark nói gì?
README có biểu đồ benchmark cho hai giai đoạn:
Prefill
Decode
Các phép đo được thực hiện trên:
4 GPU NVIDIA SM100 cho prefill
64 GPU NVIDIA SM100 cho decode
Mỗi cấu hình nằm trong một scale-up domain. README cũng cung cấp script sweep để tái tạo benchmark.
Tuy nhiên, phần tài liệu được cung cấp không nêu một phép so sánh trực tiếp với vLLM hay SGLang. DeepSeek cho biết DeepInfer ban đầu được xây dựng chủ yếu trên vLLM, đồng thời lấy thêm cảm hứng từ SGLang và TensorRT-LLM.
Ai nên quan tâm?
DeepInfer đặc biệt đáng theo dõi với đội ngũ đã có phần cứng tương thích và muốn tìm hiểu sâu hơn về runtime inference cho DeepSeek-V4.1-Flash.
Các điểm thực dụng nhất trong bản phát hành là khả năng song song hóa, lập lịch bất đồng bộ, structured outputs và các tùy chọn giúp kiểm soát tính tái lập của kết quả trên NVIDIA.
Nhưng giới hạn hiện tại cũng rất rõ: đây là bản phát hành cho offline inference, chưa kèm KV cache, cơ chế tách đầy đủ các giai đoạn xử lý và cân bằng tải giữa replica.
Kết luận
DeepInfer đáng chú ý vì DeepSeek đã mở mã nguồn một phần công nghệ inference mà họ nói đang dùng cho dịch vụ quy mô lớn. Với đúng phần cứng, đây là cơ hội để developer kiểm tra cách DeepSeek-V4.1-Flash chạy trên một runtime có kernel tối ưu, song song hóa và structured outputs.
Dù vậy, đừng nhầm nó với một nền tảng serving khép kín. Bước phù hợp nhất hiện nay là build dự án, chạy offlineinference.py, xem các ví dụ đi kèm và đánh giá liệu những thành phần chưa được phát hành có phù hợp với nhu cầu triển khai của đội bạn hay không.