TraceTrial-Bench: Đánh giá độ tin cậy và nguyên nhân thất bại của hệ thống vận hành agent AI
Các nhà nghiên cứu giới thiệu TraceTrial-Bench, một bộ benchmark đánh giá độ tin cậy của “harness” cho agent AI—lớp phần mềm bao quanh để quản lý ngữ cảnh, công cụ, quá trình thực thi và cơ chế giám sát, thay vì chỉ đánh giá bản thân mô hình ngôn ngữ. Bộ benchmark bao phủ 7 khía cạnh: ngữ cảnh, thực thi, quản trị, vòng đời, khả năng quan sát, công cụ và kiểm chứng; đồng thời sử dụng 95 tác vụ cấp chuyên gia với đáp án chuẩn có thể thực thi hoặc được xác định theo trạng thái. Nghiên cứu cũng đưa vào mô-đun Trajectory Tracing để ghi lại quá trình agent hoạt động và một hệ thống đánh giá hai lớp, tách riêng hiệu năng giải quyết nhiệm vụ của agent khỏi độ tin cậy của harness. Cách tiếp cận này giúp xác định liệu lỗi xuất phát từ mô hình, phần mềm hỗ trợ hay sự tương tác giữa hai bên.
Các nhóm phát triển agent AI có thể theo dõi TraceTrial-Bench như một cách đánh giá cả mô hình lẫn lớp phần mềm vận hành agent, thay vì chỉ nhìn vào kết quả cuối cùng. Khung này đặc biệt hữu ích khi cần tìm nguyên nhân agent thất bại để cải thiện công cụ, quy trình và cơ chế kiểm soát.
Đọc bài gốc