Dự án GitHub Headroom tuyên bố giảm token cho AI agent bằng cách nén dữ liệu cục bộ
Headroom là một công cụ dành cho nhà phát triển, nén những nội dung mà AI agent đọc—như kết quả gọi công cụ, log, file, dữ liệu truy xuất và lịch sử hội thoại—trước khi gửi chúng đến mô hình ngôn ngữ lớn (LLM). Kho mã này tuyên bố một thử nghiệm đã giảm từ 10.144 xuống 1.260 token mà vẫn giữ nguyên kết quả, đồng thời ghi nhận mức tiết kiệm 21–57% trong bốn kịch bản kiểm thử. Công cụ cung cấp thư viện Python và TypeScript, proxy có thể tích hợp mà không cần sửa mã, bộ bọc cho các coding agent và một MCP server có thể lấy lại nội dung gốc khi cần. Quá trình nén chạy trên máy người dùng, với các phương pháp riêng cho JSON, mã nguồn và văn bản; dự án cũng cho biết các mảng JSON và dòng log lặp lại có thể giảm hơn 90%. Các bài kiểm thử cố định do dự án cung cấp ghi nhận không có thay đổi đo được trên GSM8K, đạt 97% trên SQuAD v2 ở mức nén 19% và 97% trên BFCL ở mức nén 32%, dù đây vẫn là các benchmark do chính dự án thực hiện. Với các nhà phát triển đang xây dựng hoặc sử dụng AI agent, Headroom có thể giúp giảm lượng dữ liệu đưa vào cửa sổ ngữ cảnh và chi phí API, nhưng hiệu quả thực tế phụ thuộc vào mức độ lặp lại của dữ liệu nên cần được đo trên chính workload trước khi áp dụng rộng rãi.
Lập trình viên và nhóm xây dựng AI agent có thể thử Headroom dưới dạng thư viện, proxy hoặc MCP server để giảm lượng token của log, JSON, file và kết quả truy xuất; dữ liệu được xử lý cục bộ theo mô tả của dự án. Nên chạy benchmark trên chính luồng dữ liệu của mình vì mức tiết kiệm phụ thuộc vào độ lặp lại của nội dung.
Đọc bài gốc