Nghiên cứu cho thấy benchmark AI đo một phân phối thực nghiệm về độ khó
Một nghiên cứu mới cho rằng benchmark AI không chỉ là tập hợp các câu hỏi kiểm tra, mà còn là một phân phối thực nghiệm về độ khó của các câu hỏi — từ dễ đến khó — được đưa vào bài đánh giá. Nghiên cứu chỉ ra hai vấn đề có thể làm sai lệch kết quả: lệch phân phối, khi mức độ khó trong benchmark khác với phân phối mà nhà nghiên cứu thực sự quan tâm, và khoảng trống bao phủ, khi những vùng độ khó quan trọng bị bỏ ngỏ. Nhóm tác giả đề xuất hai chỉ số chẩn đoán có các bảo đảm lý thuyết, đồng thời phân tích 25 benchmark phổ biến thuộc 7 lĩnh vực dựa trên độ khó ước tính của từng câu hỏi. Kết quả cho thấy nhiều benchmark tập trung quá nhiều vào một số vùng độ khó, trong khi một số khác bỏ sót phần lớn thang độ khó; vì vậy, thứ hạng trên bảng xếp hạng có thể không phản ánh các cải thiện cục bộ hoặc bức tranh đầy đủ về tiến bộ của mô hình. Trong thực tế, những người xây dựng và phát triển AI nên kiểm tra độ bao phủ cũng như phân phối độ khó trước khi xem điểm benchmark là bằng chứng tổng quát về năng lực mô hình.
Các nhóm xây dựng hoặc đánh giá mô hình nên kiểm tra xem benchmark có bao phủ đầy đủ các mức độ khó hay đang thiên về một vùng nhất định, thay vì chỉ nhìn vào điểm số trên bảng xếp hạng. Điều này giúp tránh kết luận sai về năng lực hoặc mức tiến bộ của mô hình.
Đọc bài gốc