TokenEconomizer: giảm chi phí coding agent cho repo CI/CD và IaC

TokenEconomizer học từ các phiên coding agent trong cùng repository để nhớ quy ước, bỏ tool ít dùng và can thiệp khi agent lặp lỗi. Nhóm phát triển báo cáo chi phí SWE-Bench giảm 18,4–30,9%, trong khi Pass@1 tăng ở 4/5 tổ hợp.

Một coding agent có thể vừa sửa Terraform, vừa chạy test, rồi lặp lại một lệnh sai vì thiếu biến môi trường. Sang phiên kế tiếp, agent lại tốn context để tìm thư mục file sinh tự động, lệnh build hay cách gọi test runner phù hợp.

Với đội platform làm việc lặp lại trên nhiều repository, đây là chi phí quen thuộc. TokenEconomizer nhắm vào phần lãng phí đó: không thay model hay sửa mã nguồn của agent, mà học từ các phiên làm việc trước trong cùng repository.

Với DevOps/SRE, giá trị đáng chú ý không chỉ là “viết code rẻ hơn”. Công cụ có thể giúp agent bớt học lại quy ước repo khi hỗ trợ pipeline, IaC, kiểm thử và các tác vụ lặp lại.

TokenEconomizer làm gì?

TokenEconomizer là plugin cho Claude Code, Codex, GitHub Copilot CLI và Pi; opencode cùng Cursor Agent được hỗ trợ ở trạng thái thử nghiệm. Công cụ yêu cầu Python 3.10 trở lên, không cần API key riêng và sử dụng cách đăng nhập hoặc gói dịch vụ mà agent hỗ trợ.

Theo README, plugin kiểm soát chi phí bằng ba cơ chế.

1. Micro-skills: ghi nhớ cách repository vận hành

Micro-skills lưu các “fact” nhỏ về repository, chẳng hạn:

Cần chạy build trước khi test. pytest không có trên PATH, nhưng python -m pytest hoạt động. Một lệnh cần biến môi trường cụ thể. File sinh tự động nằm ở vị trí nào.

Fact có thể đến từ các lỗi lặp lại giữa phiên làm việc hoặc từ model rà soát các phiên gần đây. Một fact chỉ được thêm vào context ở đầu phiên sau khi có xác nhận từ ba phiên; nếu các phiên sau mâu thuẫn, fact đó sẽ bị loại bỏ.

Điều này phù hợp với repository mà agent ghé lại thường xuyên: agent có thể bớt mất token để khám phá lại lệnh test, thứ tự build hoặc quy ước nội bộ.

2. Tool pruning: không nạp tool không dùng

Định nghĩa của mọi tool đang được nạp được gửi cùng mỗi yêu cầu của agent. Vì vậy, tool không bao giờ được gọi vẫn làm tăng context và chi phí.

Theo cấu hình mặc định, một tool có thể bị loại khỏi các phiên sau nếu:

Không được dùng trong 10 prompt, trải trên ít nhất 2 phiên; hoặc Không được dùng trong 5 phiên, bất kể độ dài phiên.

Tool có thể được đưa trở lại bằng một lệnh. Đây là phần đáng theo dõi nếu đội cấp cho agent nhiều công cụ như đọc/sửa file, shell, browser, notebook hoặc tích hợp khác, trong khi workflow hằng ngày chỉ dùng một nhóm nhỏ.

3. Loop guard: can thiệp khi agent mắc vòng lặp lỗi

Cơ chế failure-loop intervention, hay loop guard, theo dõi khi agent liên tục gặp các thất bại tương tự trong một lượt xử lý. Một judge model đánh giá liệu agent có đang bị mắc kẹt hay không.

Nếu mức chắc chắn đạt ngưỡng mặc định 0.7, agent nhận một ghi chú ngắn để thử hướng khác. Việc này diễn ra tối đa một lần cho mỗi lượt. Nếu agent vẫn không thoát vòng lặp, plugin chỉ thông báo cho người dùng; nó không tự dừng phiên làm việc.

Với incident response hoặc xử lý lỗi pipeline gấp, đây là một ranh giới quan trọng: plugin có thể gợi ý chuyển hướng, nhưng quyết định dừng, rollback hoặc thay đổi phương án vẫn thuộc về engineer.

Kết quả công bố: tiết kiệm bao nhiêu?

Nhóm phát triển đánh giá năm tổ hợp agent–model trên 277 tác vụ SWE-Bench thuộc sáu repository. Mỗi tác vụ là một phiên riêng; các tác vụ trong cùng repository được chạy tuần tự từ trạng thái chưa có kinh nghiệm tích lũy.

Kết quả được công bố gồm:

Chi phí trung bình thấp hơn 18,4–30,9% trên năm tổ hợp. Rẻ hơn cấu hình mặc định ở toàn bộ 30/30 ô repository × tổ hợp. Pass@1 tăng ở 4/5 tổ hợp. Trong từng repository và tổ hợp, chi phí giảm 5–40%. Trên Web-Bench, chi phí giảm 16–21%. Trên hai benchmark kiểm toán bảo mật, nơi mỗi tác vụ dùng repository mới, chi phí giảm 6–20%.

Các chi phí này đã tính cả model call do TokenEconomizer thực hiện, bao gồm model đề xuất fact và model đánh giá loop guard.

Tuy nhiên, đây là kết quả do nhóm phát triển công bố, không phải đánh giá độc lập trên Kubernetes repository, Terraform module hay pipeline nội bộ. Lợi ích từ micro-skills cũng hợp lý nhất khi agent quay lại cùng một repo nhiều lần; với repository hoàn toàn mới, README vẫn báo cáo mức giảm trên benchmark bảo mật nhưng thấp hơn.

Thử trên repository quen thuộc

README mô tả cách cài plugin và dùng trong coding agent. Tài liệu chưa nêu ví dụ chạy non-interactive trực tiếp trong CI runner, vì vậy chưa nên mặc định xem đây là một bước CI/CD có thể đưa ngay vào pipeline production.

Một cách thử nghiệm phù hợp là dùng bản sao repository staging hoặc repo có test suite quen thuộc, bắt đầu với Claude Code:

sh git clone https://github.com/microsoft/TokenEconomizer.git claude plugin marketplace add "$PWD/TokenEconomizer" claude plugin install tokeneconomizer@tokeneconomizer

Sau đó, khởi động claude trong repository cần thử nghiệm và xác nhận tin cậy thư mục khi được hỏi. Trong Claude Code, chạy:

text /tokeneconomizer:status

Nếu agent yêu cầu cho phép chạy script, hãy xem kỹ nội dung yêu cầu trước khi chấp thuận. README cũng yêu cầu làm mới catalog tool một lần trên mỗi máy, và thực hiện lại sau khi Claude Code cập nhật:

text /tokeneconomizer:toolprune refresh-catalog

Plugin được mô tả là sẽ thông báo mỗi hành động bằng một dòng. README chưa nêu rõ định dạng màn hình status, cấu trúc báo cáo chi phí hoặc cách xuất dữ liệu sang hệ thống observability. Nếu cần dashboard chargeback theo team, repo hoặc pipeline, đây là điểm cần kiểm tra trước khi triển khai rộng.

Giao việc cho agent với ranh giới rõ ràng

Khi thử nghiệm, hãy bắt đầu bằng nhiệm vụ nhỏ có tiêu chí xác minh cụ thể. Ví dụ, yêu cầu agent rà soát lệnh test trong pipeline nhưng không tự áp dụng thay đổi:

text Bạn đang làm việc trong repository <repository>.

Hãy rà soát cấu hình CI/CD tại <đườngdẫnpipeline> để tìm nguyên nhân tác vụ kiểm thử có thể chạy sai môi trường.

Yêu cầu: Chỉ đề xuất thay đổi, không tự áp dụng. Nêu rõ lệnh kiểm thử hiện tại và phụ thuộc môi trường liên quan. Ưu tiên các quy ước đã có trong repository. Đưa ra diff đề xuất tối thiểu. Nêu cách xác minh bằng dry-run, linter, scanner và review của người phụ trách. Không yêu cầu hoặc hiển thị secret, token, kubeconfig hay thông tin đăng nhập.

Sau nhiều phiên tương tự, TokenEconomizer có thể lưu những fact như lệnh test phù hợp. Nhưng fact của plugin không nên được xem là nguồn chân lý vận hành: đó là context hỗ trợ agent, không thay thế runbook, policy hoặc quy trình kiểm soát thay đổi.

Với Terraform, Kubernetes hay cấu hình IaC khác, nên buộc agent giữ kết quả ở dạng đề xuất:

text Hãy review thay đổi IaC hoặc Kubernetes tại <đườngdẫnthayđổi>.

Không áp dụng thay đổi. Hãy: Kiểm tra tác động tới <môitrường>. Chỉ ra tài nguyên có nguy cơ bị thay thế, xóa hoặc mở rộng quyền. Đề xuất kế hoạch xác minh bằng plan/dry-run, linter, policy check, security scan và human review. Liệt kê giả định cần người vận hành xác nhận. Không đưa secret, khóa truy cập hoặc giá trị từ biến môi trường nhạy cảm vào phản hồi.

Đo hiệu quả trước khi rollout

Đừng chỉ đánh giá bằng cảm giác agent phản hồi nhanh hơn. Với DevOps/SRE, có thể theo dõi ba nhóm tín hiệu:

Chi phí: Chi phí theo phiên và theo repository, gồm cả model call của plugin. Chất lượng: Tỷ lệ task qua test, review và tiêu chí hoàn thành; không chỉ số token tiết kiệm. Độ an toàn: Tool nào bị prune, fact nào được thêm và loop guard đã can thiệp trong tình huống nào.

README nêu rằng các hành động đều có thể đảo ngược: fact mâu thuẫn sẽ bị loại, tool bị bỏ có thể đưa trở lại, còn loop guard chỉ redirect. Dù vậy, khả năng đảo ngược không đồng nghĩa không có rủi ro. Một tool ít dùng vẫn có thể cần cho workflow hiếm nhưng quan trọng, như khôi phục sự cố hoặc kiểm toán bảo mật.

Checklist trước khi mở rộng phạm vi dùng:

Chạy thử trên repository không chứa dữ liệu nhạy cảm. Không đưa secret, token, kubeconfig, log chứa credential hoặc dữ liệu khách hàng vào agent. Duy trì plan/dry-run, lint, scan và code review ngoài agent. Kiểm tra tác động của tool pruning đến các workflow hiếm nhưng quan trọng. So sánh cả chi phí lẫn tỷ lệ task qua kiểm thử trước khi rollout.

TokenEconomizer đáng thử khi đội sử dụng coding agent lặp lại trên cùng repository và bắt đầu thấy context, tool dư thừa hoặc vòng lặp lỗi trở thành chi phí đáng kể. Giá trị thực tế không nằm ở việc cắt token bằng mọi giá, mà ở khả năng biến kinh nghiệm lặp lại theo repo thành context có kiểm soát — trong khi quyền quyết định triển khai vẫn ở trong tay đội kỹ thuật.