Nghiên cứu của Ai2 cho thấy LLM chưa đáng tin để đánh giá ý tưởng khoa học có mới hay không
Ai2 phát hành “Old Ideas, Novel Problems”, một nghiên cứu kèm benchmark, dữ liệu và mã nguồn nhằm kiểm tra mức độ đáng tin cậy của các mô hình ngôn ngữ lớn khi đánh giá một ý tưởng nghiên cứu khoa học có thực sự mới hay không. Nhóm nghiên cứu thử nghiệm sáu bộ đánh giá LLM—GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 và Claude Opus 4.6—và phát hiện rằng những thay đổi nhỏ trong cách thiết lập đánh giá có thể dẫn đến các kết luận rất khác nhau. Trong một thí nghiệm, chỉ cần sửa vài từ trong prompt đã khiến độ chính xác của một mô hình khi chọn ý tưởng mới hơn trong hai ý tưởng thay đổi hơn 50 điểm phần trăm. Để xây dựng benchmark, nhóm nghiên cứu khai thác các nhận xét tại ICLR 2026 nhằm tìm những đánh giá trực tiếp về tính nguyên bản, tạo ra nhóm 154 ý tưởng có độ mới cao từ các bài được chấp nhận và xếp hạng hàng đầu, cùng nhóm 145 ý tưởng có độ mới thấp từ các bài bị từ chối mà người phản biện đặt vấn đề về tính nguyên bản. Họ cũng ghép 154 ý tưởng của con người với 154 ý tưởng do một LLM đơn giản tạo ra, đồng thời lưu ý rằng đây chỉ là các nhãn gần đúng; trong 30 cặp được chuyên gia xem xét, ý tưởng của con người luôn được đánh giá cao hơn và không ý tưởng nào do AI tạo ra được xem là mới. Việc cho mô hình truy xuất tài liệu liên quan hoặc suy luận thêm không giúp cải thiện kết quả một cách ổn định, còn hai hệ thống được thiết kế riêng để đánh giá độ mới lại kém hơn một prompt đơn giản trên Claude Opus 4.6. Kết quả cho thấy các “bộ đánh giá độ mới” bằng LLM—những mô hình được dùng để xác định một ý tưởng có đóng góp mới so với nghiên cứu trước đó hay không—chưa đủ đáng tin để tự mình quyết định trong quy trình khám phá khoa học có AI hỗ trợ. Benchmark và pipeline đánh giá được công bố sẽ giúp các nhóm nghiên cứu đo lường sự bất ổn này và cải thiện các hệ thống tương lai.
Các nhà nghiên cứu và nhóm xây dựng AI khoa học nên thận trọng khi dùng LLM để kết luận một ý tưởng có mới hay không: chỉ thay đổi nhỏ trong prompt cũng có thể đảo ngược kết quả. Benchmark và mã nguồn mới có thể được dùng để kiểm thử hệ thống đánh giá ý tưởng trước khi đưa chúng vào quy trình nghiên cứu thực tế.
Đọc bài gốc