VocabX chuyên biệt hóa vocabulary của mô hình ngôn ngữ nhỏ, cắt 77% chi phí suy luận trong ứng dụng thực tế
Các nhà nghiên cứu của Hugging Face cho biết việc chuyên biệt hóa vocabulary cho một tác vụ hẹp đã giảm 77% chi phí suy luận đo được trong hệ thống chấm bài luận tiếng Bồ Đào Nha đang vận hành thực tế, mà không thay đổi mô hình Qwen3-4B nền tảng. Phương pháp có tên VocabX thay thế vocabulary của tokenizer đa dụng bằng một vocabulary phù hợp với văn bản và định dạng đầu ra của tác vụ; bài báo vẫn đang được phản biện nên các con số có thể thay đổi. Hệ thống chấm bài dùng Qwen3-4B với vocabulary gồm 151,669 mục, được thiết kế cho nhiều ngôn ngữ và lĩnh vực, dù phần lớn chỉ xử lý bài luận tiếng Bồ Đào Nha và tạo đánh giá JSON cố định. Điều này khiến các cụm từ lặp lại và cấu trúc JSON bị tách thành nhiều token hơn cần thiết, đồng thời mô hình vẫn phải chấm điểm cho rất nhiều token gần như không được sử dụng. Nhóm nghiên cứu cho biết trong thiết lập đo của họ, một token được sinh ra tốn gấp 7,4 lần một token đầu vào, vì quá trình sinh phải liên tục đọc trọng số mô hình và toàn bộ vocabulary đầu ra từ bộ nhớ. Kết quả cho thấy thiết kế tokenizer và vocabulary có thể là đòn bẩy lớn để giảm chi phí cho các mô hình nhỏ, chuyên biệt theo lĩnh vực, đặc biệt khi chúng thường xuyên tạo ra câu trả lời có cấu trúc. Về thực tế, các nhà phát triển có thể giảm chi phí phục vụ bằng cách tối ưu nội dung mô hình phải sinh và vocabulary mà nó phải chấm điểm, thay vì chỉ tìm cách giảm số token đầu vào.
Các nhóm phát triển mô hình chuyên biệt nên theo dõi VocabX và những nghiên cứu tương tự: tối ưu tokenizer cùng vocabulary cho ngôn ngữ, lĩnh vực và định dạng đầu ra cụ thể có thể giảm đáng kể chi phí suy luận. Kết quả hiện vẫn đến từ một bài báo đang được phản biện, nên chưa nên xem mức giảm 77% là con số cố định.
Đọc bài gốc