Hugging Face cảnh báo các đánh giá AI tích hợp sẽ không phải là lời giải đơn giản
Irene Solaiman, giám đốc chính sách của Hugging Face, cho rằng các bài kiểm chuẩn AI hiện vẫn thiếu nhất quán để trở thành cơ sở hoàn toàn đáng tin cậy khi so sánh các mô hình. Theo bà, một phép đánh giá đáng tin cần cho ra kết quả có thể tái lập và người kiểm thử phải có đủ quyền truy cập vào mô hình, trong đó quyền truy cập trọng số mở có thể đóng vai trò quan trọng. Solaiman cũng đặt câu hỏi liệu các bài kiểm tra hiện nay có thể được so sánh một cách có ý nghĩa hay không, vì benchmark có thể nhanh chóng trở nên kém hiệu quả và ngành này chưa có các tiêu chuẩn chung. Phạm vi đánh giá đang mở rộng từ riêng mô hình sang toàn bộ hệ thống AI, bao gồm “harness” — các công cụ và giao diện giúp người dùng truy cập mô hình — cùng các tác nhân tự động, vốn khó và tốn kém hơn để kiểm tra. Một mô hình yếu hơn nhưng có harness tốt hơn vẫn có thể hoạt động hiệu quả hơn một mô hình mạnh hơn trong thực tế. Bà cho rằng việc đưa các bên đánh giá độc lập được xem là trung lập vào bên trong các công ty AI sẽ không phải giải pháp dễ dàng, đặc biệt khi chưa có tiêu chuẩn chung về năng lực và phương pháp. Ngành AI có thể cần một hệ thống đánh giá thống nhất hơn để kết quả benchmark phản ánh sát hơn cách sản phẩm thực sự hoạt động với người dùng.
Các nhà phát triển và doanh nghiệp không nên chỉ nhìn vào một bảng xếp hạng để chọn mô hình AI; hãy kiểm tra khả năng tái lập kết quả và đánh giá cả công cụ, giao diện hoặc tác nhân bao quanh mô hình. Người dùng nên hiểu rằng mô hình mạnh hơn trên benchmark chưa chắc cho trải nghiệm tốt hơn trong một ứng dụng cụ thể.
Đọc bài gốc