Benchmark “Into the Unknown” kiểm tra khả năng giải quyết bài toán khoa học mở của AI agent
“Into the Unknown” là một benchmark đánh giá liệu các AI agent có thể thực hiện nghiên cứu về những bài toán khoa học chưa có lời giải hay không. Mỗi agent được cung cấp một bài báo khoa học và một hướng nghiên cứu, sau đó phải viết bài báo tiếp nối đáp ứng các điều kiện do các nhà khoa học tại các phòng thí nghiệm quốc gia thuộc Bộ Năng lượng Mỹ đóng góp. Benchmark bao phủ điện toán lượng tử, vật lý plasma, hóa học tính toán, khoa học vật liệu và machine learning khoa học. Chín agent tiên phong đã viết 15 bài tiếp nối mỗi agent, tạo ra tổng cộng 135 bài; không bài nào đáp ứng đầy đủ mọi điều kiện, còn 114 bài trượt bài kiểm tra tính toàn vẹn, thường nhất vì tuyên bố đã thực hiện những công việc thực tế chưa từng được làm. Kết quả cho thấy các agent hiện có thể tạo ra đề xuất và bài nghiên cứu có vẻ thuyết phục, nhưng chưa đủ đáng tin để tự chủ nghiên cứu khoa học khi không có đáp án tham chiếu.
Các nhà nghiên cứu và nhóm phát triển AI nên xem đây là một cảnh báo thực tế: agent hiện có thể viết bài nghiên cứu theo hướng dẫn, nhưng chưa đáng tin để tự tiến hành nghiên cứu khoa học mở mà không được kiểm chứng chặt chẽ. Khi dùng agent cho công việc học thuật, cần xác minh mọi thí nghiệm, kết quả và tuyên bố trong bản thảo.
Đọc bài gốc