Microsoft và Hugging Face dùng trạng thái cơ sở dữ liệu làm phần thưởng RL để huấn luyện agent
Microsoft và Hugging Face cho biết hệ thống ThinkingBox có thể biến các phép kiểm tra cơ sở dữ liệu có thể thực thi thành phần thưởng học tăng cường để huấn luyện agent AI. ThinkingBox-Bench gồm 507 nhiệm vụ, trong đó agent thao tác với backend thực thông qua các công cụ; sau đó hệ thống kiểm tra các bản ghi cuối cùng trong cơ sở dữ liệu có khớp với kết quả cần đạt hay không, thay vì chỉ đánh giá lời nói hoặc đúng chuỗi gọi công cụ của agent. Bằng cách chọn các nhiệm vụ theo tiêu chí “độ khó tương đối với chính sách ngoại tuyến”—những nhiệm vụ mà mô hình hiện tại đôi khi làm được nhưng chưa thành thạo—nhóm nghiên cứu đã tinh chỉnh Qwen3.8-27B bằng 50 bước GRPO. Trên benchmark chưa dùng để huấn luyện, tỷ lệ thành công trung bình qua 10.140 lượt thử tăng từ 51.70% lên 60.78%, còn số nhiệm vụ được hoàn thành đúng trong cả 20 lần thử tăng từ 38 lên 107; số nhiệm vụ được giải ít nhất một lần giảm nhẹ từ 453 xuống 446. Kết quả cho thấy các phép kiểm tra có thể thực thi có thể cải thiện độ tin cậy lặp lại của agent khi xử lý quy trình nghiệp vụ có dữ liệu cấu trúc, dù việc tối ưu tính nhất quán có thể làm giảm độ bao phủ. ThinkingBox-Training đã có trên GitHub để các nhà phát triển tái hiện quy trình huấn luyện hoặc dùng trạng thái cuối của cơ sở dữ liệu làm tín hiệu phần thưởng thực tế.
Các nhóm phát triển agent có thể xem ThinkingBox-Training trên GitHub để thử cách dùng trạng thái cuối của cơ sở dữ liệu làm phần thưởng huấn luyện, thay vì chỉ chấm câu trả lời hoặc chuỗi thao tác. Kết quả cho thấy phương pháp này có thể làm agent đáng tin cậy hơn qua nhiều lần chạy, nhưng có thể đánh đổi một phần độ bao phủ nhiệm vụ.
Đọc bài gốc