Cloudflare giảm 68% chi phí suy luận cho AI code reviewer nhờ tối ưu caching và định tuyến model
Cloudflare đã giảm chi phí trung bình cho công cụ AI rà soát mã nguồn nội bộ từ khoảng 2,43 USD xuống 0,77 USD, tương đương 68%, đồng thời rút thời gian rà soát trung vị từ 4 phút 9 giây xuống còn 1 phút 32 giây. Khoản tiết kiệm đến từ việc tối ưu mã nguồn, dùng prompt caching và định tuyến từng tác vụ tới các model tiết kiệm hơn; khoảng 40% đến từ thay đổi trong chính công cụ rà soát, phần còn lại đến từ lựa chọn model và mức độ xử lý. Chi phí tăng mạnh sau khi Cloudflare chuyển các reviewer sang model của Anthropic, phải xử lý những thay đổi mã lớn và phức tạp hơn, đồng thời số token dùng cho mỗi lượt rà soát tăng từ 0,91 triệu lên 2,99 triệu. Dù tỷ lệ cache hit đã tăng lên 97%, phần lớn chi phí vẫn nằm ở việc ghi và đọc cache vì mỗi lượt rà soát trung bình thực hiện 16,6 lần gọi model và liên tục gửi lại những ngữ cảnh hội thoại lớn. Cloudflare cũng chuyển sang OpenCode v2, bản viết lại của công cụ reviewer; phiên bản này cho kết quả phê duyệt trùng với bản cũ trong 98% merge request dùng để kiểm thử và hoàn thành các lượt rà soát toàn diện nhanh hơn khoảng 13% khi dùng cùng model. Bài học chính là chi phí AI không chỉ phụ thuộc vào model, mà còn phụ thuộc vào cách xây dựng prompt, tái sử dụng ngữ cảnh, giảm số lần gọi và lựa chọn model cho từng việc. Các nhà phát triển xây dựng AI agent có thể tiết kiệm đáng kể bằng cách dùng lại phần đầu prompt chung giữa các phiên và chỉ dành model đắt tiền hoặc mức xử lý cao cho những tác vụ thực sự cần chúng.
Các nhóm phát triển AI agent có thể học theo Cloudflare bằng cách đo token theo từng cuộc gọi, tái sử dụng phần prompt chung qua prompt caching và định tuyến tác vụ sang model phù hợp với mức độ khó. Đây là ví dụ cho thấy tối ưu kiến trúc và cách gọi model có thể giảm mạnh chi phí mà vẫn cải thiện tốc độ.
Đọc bài gốc