CLASHarness: Benchmark đánh giá xung đột giữa các agent trong tác vụ sử dụng máy tính
CLASHarness giới thiệu một benchmark để kiểm tra cách các mô hình ngôn ngữ-thị giác xử lý xung đột giữa nhiều agent khi thực hiện các tác vụ trên máy tính. Bộ benchmark gồm 600 tác vụ qua nhiều vòng, mô phỏng những tình huống agent cung cấp thông tin lỗi thời, đưa ra chỉ dẫn mâu thuẫn hoặc tranh chấp tệp và quyền dùng chung, buộc chúng phải đối chiếu các tuyên bố với môi trường thực tế. Framework này sử dụng quy trình lập kế hoạch kịch bản phân cấp và pipeline xác minh gồm tám bước để tạo ra các xung đột có thể kiểm soát và đáp án có thể kiểm tra, khắc phục hạn chế của việc xây dựng bài kiểm thử thủ công và sinh nội dung tự do bằng mô hình ngôn ngữ. Đây là một cách thực tế hơn để các nhà nghiên cứu và phát triển đo lường khả năng phát hiện, giải quyết xung đột và hành động an toàn của agent dùng máy tính.
Đây là một bộ benchmark nghiên cứu dành cho nhóm phát triển agent AI, giúp kiểm tra khả năng xử lý thông tin mâu thuẫn trong các tác vụ máy tính thay vì chỉ đánh giá môi trường hợp tác lý tưởng. Các nhà phát triển có thể theo dõi CLASHarness để thiết kế phép thử thực tế hơn cho agent đa tác vụ.
Đọc bài gốc