ALTK-Evolve: Quy tắc học được nâng độ ổn định agent CSKH
IBM Research cho thấy các hướng dẫn rút ra từ lần chạy trước có thể giúp agent GPT-4.1 đạt 67,5% Pass^4 trên τ²-bench bán lẻ mà không huấn luyện lại mô hình. Đổi lại, chi phí token tăng đáng kể.
Một agent xử lý đúng ba lần nhưng sai ở lần thứ tư vẫn chưa tạo được sự yên tâm cho vận hành chăm sóc khách hàng. Đó là lý do chỉ số đo tính lặp lại đáng chú ý không kém tỷ lệ thành công trung bình.
IBM Research báo cáo rằng ALTK-Evolve có thể giúp một agent CSKH cơ bản dùng GPT-4.1 đạt 67,5% Pass^4 trên phần bán lẻ của benchmark τ²-bench. Theo ảnh chụp bảng xếp hạng ngày 12/10/2026 của nhóm nghiên cứu, kết quả này cao hơn mọi mục retail được ghi nhận khi đó.
Điểm chính không nằm ở việc thay mô hình hay huấn luyện lại trọng số. Hệ thống rút ra các quy tắc ngắn từ những lần agent xử lý thành công và thất bại, rồi thêm chúng vào system prompt.
“Bộ nhớ học được” hoạt động như thế nào?
ALTK-Evolve phân tích các lần chạy của agent trên các tác vụ huấn luyện, dùng chính GPT-4.1 để chắt lọc thành một playbook gồm các hướng dẫn hành vi. Các hướng dẫn này sau đó được áp dụng nguyên vẹn cho tập kiểm tra giữ lại.
Ví dụ trong miền bán lẻ, playbook có thể nhắc agent:
Xác thực khách hàng trước khi thực hiện thao tác liên quan đến đơn hàng.
Tóm tắt thay đổi dự kiến và yêu cầu khách xác nhận rõ ràng trước khi cập nhật dữ liệu.
Khi xử lý đổi trả, thông báo chi tiết khoản hoàn và thời điểm hoàn tiền.
Mỗi bước chỉ thực hiện một hành động công cụ, chờ kết quả rồi mới phản hồi.
Các quy tắc được thêm vào prompt dưới dạng danh sách Markdown, sau chính sách nghiệp vụ của agent. Theo IBM Research, cách làm này không cập nhật trọng số mô hình và không cần gán nhãn bởi con người.
Với lãnh đạo doanh nghiệp, đây là một gợi ý đáng chú ý: chất lượng của agent không chỉ phụ thuộc vào mô hình nền tảng, mà còn phụ thuộc vào mức độ rõ ràng và nhất quán của hướng dẫn vận hành được đưa vào ngữ cảnh.
τ²-bench đo điều gì?
τ²-bench là benchmark của Sierra dành cho agent chăm sóc khách hàng trong các quy trình bị ràng buộc bởi chính sách. Agent phải hội thoại với khách hàng mô phỏng bằng LLM, tuân thủ tài liệu chính sách và dùng công cụ nghiệp vụ, chẳng hạn tra cứu đơn hàng, hoàn tiền hoặc đổi chuyến bay.
Một tác vụ chỉ được tính là thành công khi trạng thái cuối cùng trong cơ sở dữ liệu khớp với kết quả kỳ vọng. IBM Research đánh giá trên hai miền: bán lẻ và hàng không.
Thiết lập sử dụng scaffold ReAct chuẩn của τ²-bench với vòng lặp THINK → ACT:
Mô hình agent: GPT-4.1
Mô hình mô phỏng khách hàng: GPT-5.5
Số lần chạy: 4 lần cho mỗi tác vụ
Nhóm nghiên cứu so sánh ba cấu hình:
| Cấu hình | Cách dùng hướng dẫn |
|---|---|
| Baseline | Không có hướng dẫn học được |
| Sup3 | Chỉ giữ hướng dẫn được rút ra từ ít nhất 3 tác vụ huấn luyện |
| Lossless | Giữ toàn bộ hướng dẫn còn lại sau khi hợp nhất |
Ở retail, cấu hình sup3 có 31 hướng dẫn, trong khi lossless có 292. Ở airline, hai con số này lần lượt là 14 và 101.
Kết quả: độ ổn định tăng rõ nhất ở retail
IBM Research dùng hai chỉ số:
Mean Accuracy: tỷ lệ thành công trung bình qua bốn lần thử, phản ánh năng lực xử lý.
Pass^4: tỷ lệ tác vụ thành công ở cả bốn lần thử độc lập, phản ánh tính lặp lại.
Kết quả trên tập kiểm tra như sau:
| Miền | Cấu hình | Mean Accuracy | Pass^4 |
|---|---|---:|---:|
| Retail | Baseline | 78,1% | 57,5% |
| Retail | Sup3 | 78,8% | 60,0% |
| Retail | Lossless | 82,5% | 67,5% |
| Airline | Baseline | 57,5% | 35,0% |
| Airline | Sup3 | 60,0% | 45,0% |
| Airline | Lossless | 65,0% | 40,0% |
Ở retail, bộ hướng dẫn đầy đủ nâng Pass^4 từ 57,5% lên 67,5%, tức tăng 10 điểm phần trăm. Mean Accuracy cũng tăng từ 78,1% lên 82,5%.
Ở airline, bức tranh khác hơn: bộ hướng dẫn đầy đủ đạt Mean Accuracy cao nhất, 65%, nhưng bộ sup3 gọn hơn lại có Pass^4 cao hơn, đạt 45% so với 40% của lossless.
Bài học: nhiều quy tắc hơn chưa chắc đáng tin cậy hơn
Kết quả airline là lời nhắc quan trọng cho doanh nghiệp đang xây agent theo chính sách. Không nên mặc định rằng cứ đưa thêm hướng dẫn vào prompt thì agent sẽ ổn định hơn.
Trong thử nghiệm này:
Retail hưởng lợi lớn nhất từ bộ hướng dẫn đầy đủ.
Airline có độ ổn định cao hơn với bộ hướng dẫn ngắn, có mức “hỗ trợ” cao hơn.
Nói cách khác, số lượng và cách chọn quy tắc cần được kiểm thử theo từng nghiệp vụ, thay vì áp dụng một cấu hình cố định cho mọi luồng chăm sóc khách hàng.
Chi phí tăng ở token đầu vào, không phải ở số lượt hội thoại
Hướng dẫn bổ sung không miễn phí: chúng làm prompt dài hơn và tăng chi phí LLM. Các số liệu dưới đây là tổng chi phí LLM cho agent và bộ mô phỏng khách hàng trong thử nghiệm.
| Miền | Cấu hình | Chi phí mỗi hội thoại | So với baseline |
|---|---|---:|---:|
| Retail | Baseline | 0,084 USD | — |
| Retail | Sup3 | 0,095 USD | +12% |
| Retail | Lossless | 0,139 USD | +65% |
| Airline | Baseline | 0,081 USD | — |
| Airline | Sup3 | 0,097 USD | +19% |
| Airline | Lossless | 0,107 USD | +32% |
Tuy nhiên, nhóm nghiên cứu không thấy agent phải hội thoại dài hơn để đạt kết quả tốt hơn. Trên các lần chạy mà cả baseline lẫn cấu hình có hướng dẫn đều giải đúng cùng một tác vụ, số lượt phản hồi của agent giảm nhẹ:
Retail lossless: từ 10,59 xuống 10,16 lượt.
Airline lossless: từ 9,15 xuống 8,82 lượt.
Diễn giải thận trọng là: các quy tắc có thể giúp agent đi đúng quy trình sớm hơn, nhưng chi phí prompt vẫn là phần đánh đổi cần được theo dõi.
5 câu hỏi dành cho người mua giải pháp agent CSKH
Quy tắc nào được thêm vào prompt, và chúng đến từ đâu?
Cần phân biệt rõ chính sách do doanh nghiệp ban hành với hướng dẫn được rút ra từ nhật ký xử lý.
Nhà cung cấp đo độ ổn định bằng cách nào?
Không chỉ hỏi tỷ lệ thành công trung bình. Hãy hỏi liệu cùng một tình huống có được chạy lặp lại hay không, và tỷ lệ thành công nhất quán là bao nhiêu.
Bao nhiêu hướng dẫn là phù hợp cho từng luồng nghiệp vụ?
Kết quả retail và airline trong nghiên cứu cho thấy bộ quy tắc lớn hơn không luôn tạo ra Pass^4 cao hơn.
Chi phí prompt tăng bao nhiêu khi thêm chính sách và playbook?
Chi phí cần được báo cáo theo từng luồng nghiệp vụ và từng phiên bản hướng dẫn, thay vì chỉ theo giá của mô hình.
Những hành động nào agent được phép thực hiện?
Với các thao tác có tác động đến dữ liệu hoặc giao dịch, doanh nghiệp cần xác định rõ điều kiện xác thực, bước xác nhận và phạm vi tự động hóa.
Benchmark là tín hiệu, không phải bảo chứng triển khai
Kết quả của IBM Research cho thấy một hướng tiếp cận đáng quan tâm: có thể cải thiện năng lực và độ ổn định của agent bằng các quy tắc học được, ngay cả khi không thay mô hình hoặc huấn luyện lại trọng số.
Nhưng đây vẫn là kết quả trên benchmark với khách hàng mô phỏng, chính sách và công cụ xác định trước. Nó chưa tự chứng minh agent sẽ xử lý tốt mọi ngoại lệ, dữ liệu thiếu hoặc quy trình đặc thù trong môi trường doanh nghiệp.
Thông điệp thực tế cho lãnh đạo là: trước khi nâng cấp lên mô hình đắt hơn, hãy xem xét chất lượng của playbook nghiệp vụ, cách kiểm thử tính lặp lại và chi phí của ngữ cảnh. Với agent CSKH, đó có thể là các biến số quyết định độ tin cậy trong vận hành.