Cộng đồng Hacker News chia sẻ nghiên cứu: Benchmark AI chưa bao phủ tốt 90% giờ làm việc tại Mỹ
Một “Bản đồ Benchmark” mới cho rằng các bài đánh giá AI hiện nay chỉ bao phủ một phần nhỏ công việc được thực hiện trong nền kinh tế Mỹ. Nhóm nghiên cứu đã đối chiếu 29 benchmark với 923 nghề và 18.797 nhiệm vụ trong cơ sở dữ liệu ONET của Bộ Lao động Mỹ, đồng thời nhận thấy chỉ 208 nghề có ít nhất một nhiệm vụ được đại diện bởi từ 5 prompt benchmark trở lên. Theo ước tính của họ, khoảng 90% số giờ làm việc của người Mỹ liên quan đến những nhiệm vụ có rất ít hoặc không có dữ liệu đánh giá từ các benchmark hiện tại. Mức độ bao phủ cũng không đồng đều: các benchmark thường tập trung vào những thị trường lao động lớn và các vị trí được xem là dễ chịu tác động của AI, trong khi nhiều công việc tri thức quy mô nhỏ và thu nhập trung bình lại bị bỏ qua. Chẳng hạn, nhiệm vụ của luật sư được bao phủ khá tốt, nhưng những nhiệm vụ tương tự do thư ký pháp lý và thư ký tòa án thực hiện lại hầu như chưa được đánh giá. Bản đồ sử dụng một mô hình ngôn ngữ để ghép prompt benchmark với các nhiệm vụ ONET, có kiểm chứng một phần bằng đánh giá của chuyên gia, rồi kết hợp kết quả đó với ước tính thời gian người lao động dành cho từng nhiệm vụ. Điều này cho thấy điểm benchmark cao có thể chưa phản ánh AI xử lý tốt đến đâu đối với phần lớn công việc thực tế, vì vậy các nhà phát triển, doanh nghiệp và nhà hoạch định chính sách cần những phương pháp đánh giá chi tiết theo từng nhiệm vụ hơn.
Các nhà phát triển và doanh nghiệp không nên xem điểm benchmark hiện tại là đại diện đầy đủ cho năng lực AI trong công việc thực tế, đặc biệt ở các nghề hành chính, pháp lý và tri thức quy mô vừa hoặc nhỏ. Bản đồ này cho thấy cần theo dõi thêm các đánh giá theo từng nhiệm vụ trước khi dùng điểm benchmark để quyết định tự động hóa.
Đọc bài gốc