ALTK-Evolve đưa agent GPT-4.1 lên đầu bảng τ²-bench nhờ bộ nhớ học được, không cần mô hình frontier
IBM Research cho biết ALTK-Evolve đã giúp một agent chăm sóc khách hàng cơ bản chạy bằng GPT-4.1 đạt Pass^4 67,5% trên phần bán lẻ của benchmark τ²-bench, đứng trên mọi bài dự thi bán lẻ trong ảnh chụp bảng xếp hạng ngày 12/10/2026 của nhóm. Pass^4 có nghĩa agent giải quyết thành công cả bốn lần thử độc lập của một tác vụ, nên chỉ số này đo độ ổn định chứ không chỉ khả năng làm đúng một lần. ALTK-Evolve phân tích các lần agent thực hiện tác vụ huấn luyện, sau đó biến những điểm thành công và thất bại lặp lại thành các hướng dẫn hành vi ngắn, chẳng hạn xác thực khách hàng, xác nhận yêu cầu hoàn tiền trước khi thực hiện và chỉ gọi một công cụ mỗi bước. Các quy tắc này được thêm vào system prompt; trọng số mô hình không thay đổi và cũng không cần con người gắn nhãn dữ liệu. Nhóm nghiên cứu sử dụng thiết lập ReAct tiêu chuẩn của τ²-bench, trong đó agent phải tuân thủ chính sách bằng văn bản, trò chuyện với khách hàng mô phỏng và dùng các công cụ như tra cứu đơn hàng hoặc hoàn tiền; kết quả cuối trong cơ sở dữ liệu quyết định tác vụ có thành công hay không. Họ so sánh cấu hình cơ sở không có hướng dẫn, một bộ 31 quy tắc bán lẻ có độ tin cậy cao được rút ra từ ít nhất ba tác vụ và một bộ đầy đủ gồm 292 hướng dẫn bán lẻ được giữ lại. Kết quả cho thấy các chỉ dẫn được học có thể giúp một mô hình cũ, không chuyên suy luận, làm tốt và ổn định hơn trong quy trình dịch vụ chịu ràng buộc chính sách mà không cần huấn luyện lại. Tuy vậy, thành tích trên benchmark chưa đủ để chứng minh agent đã sẵn sàng vận hành trong môi trường chăm sóc khách hàng thực tế.
Các nhóm phát triển agent chăm sóc khách hàng có thể thử cách học “bộ quy tắc” từ những lần chạy trước rồi chèn vào system prompt, thay vì cập nhật trọng số mô hình. Kết quả đáng chú ý vì cho thấy việc cải thiện quy trình, xác thực và thao tác công cụ có thể nâng độ tin cậy của agent trong các tác vụ tuân thủ chính sách.
Đọc bài gốc