Thoughtworks cảnh báo chi phí token tăng vọt khi doanh nghiệp mở rộng AI tác nhân
Phát triển phần mềm doanh nghiệp đang chuyển từ mô hình chi phí nhân sự tương đối dễ dự đoán sang chi phí tính toán AI biến động theo mức sử dụng. Dù giá mỗi token đã giảm tới 98% kể từ năm 2024, ngân sách AI của doanh nghiệp được cho là đã tăng từ 1,2 triệu USD lên hơn 7 triệu USD, trong khi lượng token mỗi lập trình viên sử dụng tăng 18,6 lần trong chưa đầy một năm do các công cụ lập trình tác nhân và quy trình tự động liên tục gọi model. Giải pháp được đề xuất là “Agentic Engineering” — một kiến trúc đặt ngân sách token, quy định rõ ai chịu trách nhiệm cho chi tiêu AI, điều phối công việc giữa các model và công cụ, lưu bộ nhớ đệm cho những prompt lặp lại và tự động dừng các tác vụ chạy quá mức. Một tổ chức tài chính được cho là đã giảm 40% token lãng phí mà không giảm sản lượng tính năng sau khi chuyển từ các dự án thử nghiệm rời rạc sang một hệ thống điều phối tập trung. Các ví dụ liên quan đến Uber, Meta, Amazon và Salesforce cho thấy rủi ro của việc sử dụng không kiểm soát, từ tiêu hết ngân sách đến việc khiến kỹ sư chạy theo lượng tiêu thụ thay vì kết quả. Thay đổi quan trọng là chuyển từ đo lường mức độ sử dụng AI sang đo lường giá trị kinh doanh tạo ra trên mỗi đơn vị tính toán. Những công ty tích hợp AI tạo sinh vào sản phẩm sẽ cần tính chi phí model liên tục và biến động vào tổng chi phí sở hữu, đồng thời quản lý khoản này chặt chẽ như hạ tầng đám mây hoặc nhân sự.
Các doanh nghiệp và đội ngũ phát triển nên coi token như một chi phí vận hành thực tế, không chỉ là chỉ số sử dụng. Có thể bắt đầu bằng cách đặt ngân sách cho từng tác vụ hoặc tác nhân, theo dõi chi phí theo thời gian thực, dùng bộ nhớ đệm cho prompt lặp lại và tính chi phí model vào tổng chi phí sở hữu của sản phẩm AI.
Đọc bài gốc