RuleTrek: Benchmark đánh giá khả năng suy luận theo quy tắc của AI agent trong kịch bản phức tạp
RuleTrek là một benchmark mới nhằm kiểm tra khả năng xác định và áp dụng các quy tắc chuyên ngành của agent AI trong những kịch bản phức tạp, nơi thông tin liên quan nằm rải rác trong nhiều tệp. Khác với nhiều bài kiểm tra suy luận theo quy tắc hiện có vốn chỉ dùng một số ít mệnh đề thực tế, RuleTrek bao phủ nhiều lĩnh vực và được thiết kế sát hơn với các nhiệm vụ thực tế. Quy trình xây dựng benchmark trích xuất các đồ thị quy tắc có cấu trúc, sau đó tạo và ghép dần các kịch bản nhỏ dựa trên quy tắc, đồng thời kiểm tra để chúng vẫn nhất quán và có thể giải được. Benchmark đánh giá 11 mô hình ngôn ngữ lớn hàng đầu qua ba năng lực: Nhận diện quy tắc, Suy diễn quy tắc và Suy luận theo quy tắc từ đầu đến cuối trong các không gian làm việc tương tác. Mục tiêu là chỉ ra những điểm mô hình hiện nay gặp khó khi phải tìm đúng quy tắc rồi áp dụng chúng chính xác trong một trường hợp phức tạp.
Các nhà nghiên cứu và nhóm phát triển AI có thể theo dõi RuleTrek như một bài kiểm tra thực tế hơn về khả năng tìm và áp dụng quy tắc của agent. Benchmark này đặc biệt hữu ích khi đánh giá các hệ thống phải làm việc với nhiều tệp và quy trình chuyên ngành.
Đọc bài gốc