IdeaTaste: LLM vẫn kém con người trong việc chọn hướng nghiên cứu cụ thể
IdeaTaste là một benchmark đo lường liệu các mô hình ngôn ngữ lớn (LLM) có “khẩu vị nghiên cứu” tương đồng với các nhà nghiên cứu AI hay không—tức khả năng chọn bài báo, bài toán, phương pháp và kế hoạch nghiên cứu cụ thể đáng theo đuổi. Benchmark này cung cấp cho sáu mô hình ngôn ngữ một ảnh chụp văn liệu được cố định ở năm 2025, sau đó so sánh các đề xuất do chúng tạo ra với những gì các cộng đồng nghiên cứu thực sự công bố vào năm 2026 trong bốn lĩnh vực, với tổng cộng hơn 90.000 đề xuất. Các mô hình chỉ đạt khoảng 26% mức độ tương đồng với con người khi đối chiếu các bài báo được trích dẫn, và 18% khi đối chiếu những ý tưởng được theo đuổi. Dù các nhóm tác nhân LLM có thể trích dẫn tài liệu đa dạng tương tự một cộng đồng và xác định đúng các nhiệm vụ, phương pháp liên quan, chúng hiếm khi đưa ra được những cách tiếp cận và kế hoạch nghiên cứu cụ thể mà con người sau đó phát triển. Kết quả cho thấy LLM hiện có thể hỗ trợ khám phá rộng một lĩnh vực, nhưng vẫn chưa đáng tin cậy trong việc lựa chọn các hướng nghiên cứu mới và cụ thể phản ánh đánh giá của chuyên gia.
Các nhà nghiên cứu có thể dùng LLM để mở rộng danh sách tài liệu, bài toán và phương pháp cần xem xét, nhưng không nên coi đề xuất của chúng là sự thay thế cho trực giác và đánh giá của chuyên gia. Kết quả IdeaTaste cho thấy LLM vẫn yếu ở việc chọn ra hướng nghiên cứu cụ thể mà cộng đồng thực sự theo đuổi.
Đọc bài gốc