vLLM: Thư viện mã nguồn mở để triển khai LLM nhanh và tiết kiệm bộ nhớ
vLLM là thư viện mã nguồn mở giúp chạy và cung cấp dịch vụ cho các mô hình ngôn ngữ lớn (LLM) với thông lượng cao và sử dụng bộ nhớ hiệu quả. Ban đầu được phát triển tại UC Berkeley, dự án hiện được duy trì bởi hơn 2.000 người đóng góp từ các trường đại học và công ty trên toàn thế giới. Các tính năng tăng tốc chính gồm PagedAttention, cơ chế quản lý hiệu quả hơn bộ nhớ dùng cho phần attention của mô hình, continuous batching để gộp các yêu cầu đến, lưu bộ nhớ đệm cho tiền tố, lượng tử hóa, các kernel GPU tối ưu và speculative decoding. vLLM hỗ trợ hơn 200 kiến trúc mô hình, gồm Llama, Qwen, Gemma, Mixtral, DeepSeek-V3, Mamba, LLaVA, các mô hình embedding, cùng các mô hình đánh giá hoặc phân loại. Thư viện có thể chạy trên GPU NVIDIA, AMD, Intel, nhiều bộ tăng tốc khác và CPU, đồng thời cung cấp API tương thích với OpenAI bên cạnh API Anthropic Messages và gRPC. Nhà phát triển có thể cài đặt vLLM bằng uv hoặc pip, sử dụng đầu ra dạng streaming và có cấu trúc, cũng như mở rộng suy luận bằng cách song song hóa tensor, pipeline, dữ liệu, expert hoặc context. Trên thực tế, vLLM giúp các nhóm triển khai nhiều mô hình mở thông qua một API quen thuộc, giảm lãng phí phần cứng và tăng số lượng yêu cầu mà máy chủ có thể xử lý.
Nhà phát triển và doanh nghiệp có thể dùng vLLM để triển khai hơn 200 kiến trúc mô hình trên nhiều loại GPU, CPU và bộ tăng tốc, đồng thời cung cấp API tương thích với OpenAI. Có thể cài đặt bằng uv hoặc pip để thử nghiệm hoặc xây dựng hệ thống phục vụ mô hình với thông lượng cao hơn.
Đọc bài gốc