PremiseCheck kiểm tra tính chính xác của phản biện người và AI với chi phí thấp hơn
Các nhà nghiên cứu giới thiệu PremiseCheck, một khung phát hiện lỗi thực tế trong nhận xét phản biện do con người hoặc AI viết. Bộ đánh giá ReviewFact đi kèm bao phủ xử lý ngôn ngữ tự nhiên, học máy và các ngành khoa học tự nhiên, đồng thời đo cả độ chính xác, chi phí và độ trễ kiểm tra. PremiseCheck dùng một LLM để viết lại mỗi nhận xét thành các mệnh đề rõ ràng, sau đó dùng một mô hình quyết định rẻ hơn để đối chiếu từng mệnh đề với bài báo; cách này không cần mô hình đắt tiền đọc lại toàn bộ bài báo cho mỗi lần kiểm tra. Khi kiểm tra từng nhận xét riêng lẻ, hệ thống được báo cáo là đạt độ chính xác tương đương GPT-5.5 trên cả ba lĩnh vực với chi phí khoảng một nửa, còn trên các bài phản biện NLP thì chi phí chỉ bằng một phần tư và độ trễ chưa đến một nửa, mở ra hướng kiểm soát chất lượng phản biện ở quy mô lớn hơn.
Các nhóm nghiên cứu và ban biên tập có thể theo dõi PremiseCheck như một hướng tự động kiểm tra nhận định sai trong phản biện, với chi phí và độ trễ thấp hơn so với để một mô hình lớn đọc lại toàn bộ bài báo cho từng bình luận. Đây vẫn là kết quả nghiên cứu, nên cần chờ thêm đánh giá trước khi dùng như bộ lọc duy nhất cho phản biện khoa học.
Đọc bài gốc