Đừng chỉ đếm token: Hãy đo lượng phần mềm được đưa vào sử dụng
Các agent AI hỗ trợ lập trình có thể dùng nhiều token gấp 10 đến 50 lần một prompt trò chuyện cơ bản vì chúng phải lập kế hoạch, viết code, chạy kiểm thử và lặp lại khi phát hiện lỗi. Bài viết cho rằng chỉ theo dõi số token không phản ánh đúng giá trị: một số lần gọi model tạo ra phần mềm hữu ích, trong khi số khác đến từ việc làm lại hoặc vòng lặp không kiểm soát. Thay vào đó, doanh nghiệp nên theo dõi chi phí đầy đủ trên mỗi pull request được merge—tức chi phí phát triển có AI hỗ trợ chia cho số thay đổi vượt qua kiểm duyệt và được đưa vào codebase—đồng thời theo dõi lỗi và phần việc phải làm lại. Mô hình được đề xuất kết hợp các model cao cấp cho việc lập kế hoạch khó với các model open-weight cho công việc thường lệ như sinh code, tạo kiểm thử và refactor. Một gateway có thể định tuyến yêu cầu dựa trên độ phức tạp, độ nhạy cảm của dữ liệu, chi phí và độ trễ; còn doanh nghiệp lựa chọn giữa thuê năng lực suy luận từ bên ngoài và vận hành hạ tầng tại chỗ tùy theo mức độ sử dụng. Bài viết dẫn dự báo của Gartner rằng đến năm 2028, chi phí token cho lập trình bằng AI có thể vượt mức lương trung bình của lập trình viên, đồng thời cho biết HPE đã ghi nhận chi phí token giảm 30% đến 50% với các workload được chuyển sang model open-weight chạy tại chỗ, dù đây là các dự báo và tuyên bố từ doanh nghiệp. Thông điệp thực tế dành cho lãnh đạo kỹ thuật là hãy đo lượng phần mềm đã được kiểm duyệt và đưa vào sử dụng so với số tiền bỏ ra, thay vì chỉ đơn giản hạn chế token; hạ tầng kết hợp có thể giảm chi phí và giữ code nhạy cảm trong doanh nghiệp khi nhu cầu sử dụng cao, ổn định.
Các đội ngũ phát triển phần mềm nên theo dõi chi phí trên mỗi pull request được merge, cùng với tỷ lệ lỗi và làm lại, thay vì chỉ đặt hạn mức token. Doanh nghiệp có lượng sử dụng AI coding ổn định có thể đánh giá mô hình kết hợp: dùng model cao cấp cho tác vụ khó và model open-weight chạy nội bộ cho công việc lặp lại, nhưng cần thử trên chính codebase và quy trình của mình.
Đọc bài gốc