Deep Search trong môi trường Web thực tế
Các nhà nghiên cứu giới thiệu OpenDS, một nhiệm vụ đánh giá liệu các agent AI có thể thực hiện nghiên cứu nhiều bước trên Web mở đang hoạt động hay không, thay vì chỉ dựa vào các bộ dữ liệu truy xuất tĩnh. Agent phải tìm kiếm trên nhiều website và định dạng khác nhau, tương tác với trình duyệt, xử lý bằng chứng, kết nối thông tin từ nhiều nguồn độc lập và đưa ra một câu trả lời thực tế duy nhất. Bộ benchmark OpenDS-World đi kèm gồm 200 nhiệm vụ khó, bao phủ nhiều tình huống nghiên cứu trong thế giới thực. Benchmark này có thể cho thấy các hệ thống deep search hoạt động đáng tin cậy đến đâu trong môi trường trực tuyến lộn xộn, nơi thông tin hữu ích bị phân tán và việc tiếp cận thường cần nhiều dạng tương tác.
Các nhà phát triển hệ thống AI tìm kiếm và tác nhân trình duyệt nên theo dõi OpenDS-World như một bài kiểm tra thực tế hơn cho khả năng nghiên cứu nhiều bước trên Web. Benchmark này có thể giúp đánh giá liệu một agent có thực sự biết tìm, kiểm chứng và kết nối thông tin từ nhiều nguồn hay chỉ truy xuất văn bản đơn giản.
Đọc bài gốc