Ubicloud dùng constrained decoding để nâng độ chính xác tool call trong vLLM
Các kỹ sư của Ubicloud mô tả cách khắc phục tình trạng mô hình ngôn ngữ mã nguồn mở gọi công cụ không chính xác khi được phục vụ bằng vLLM. Trong thử nghiệm của họ, Kimi K2.6 chạy trên vLLM 0.28 chỉ tạo đúng schema của tool call trong 92% trường hợp, tức khoảng 2 trên 25 lần gọi bị lỗi. Những lỗi này có thể khiến agent AI xây dựng ngữ cảnh sai và hoạt động kém trong các tác vụ nhiều lượt. Cách khắc phục là constrained decoding, một phương pháp giới hạn đầu ra của mô hình để nó phải tuân thủ định dạng JSON và schema đã định trước. vLLM đã bổ sung tính năng này dưới dạng tùy chọn phía máy chủ trong phiên bản 0.31; các tác giả cho biết nó có thể nâng độ chính xác schema lên 100% với những phiên bản Kimi và DeepSeek mới hơn. Điều này quan trọng với các nhà phát triển xây dựng agent vì tool call có cấu trúc đáng tin cậy là nền tảng cho các tác vụ như duyệt web, chạy mã và tự động hóa quy trình.
Các nhà phát triển đang tự triển khai Kimi hoặc DeepSeek với vLLM nên chú ý đến constrained decoding trong vLLM 0.31 để buộc lệnh gọi công cụ tuân thủ đúng schema JSON. Điều này đặc biệt hữu ích cho các agent nhiều bước, nơi chỉ vài lần gọi công cụ sai cũng có thể làm hỏng toàn bộ ngữ cảnh xử lý.
Đọc bài gốc