90% giờ làm tại Mỹ ít được benchmark AI bao phủ: bài học cho doanh nghiệp
Benchmark Map của Mercor ước tính 90% giờ làm tại Mỹ thuộc các tác vụ ít hoặc chưa được benchmark AI hiện có bao phủ. Thông điệp cho lãnh đạo: điểm benchmark chỉ là bộ lọc; hãy thử AI trên tác vụ, dữ liệu và điểm nghẽn thật của doanh nghiệp.
Một mô hình AI đứng đầu bảng xếp hạng chưa đồng nghĩa nó sẽ giải quyết được điểm nghẽn trong doanh nghiệp.
Nghiên cứu Benchmark Map của Mercor nêu một khoảng trống đáng chú ý: họ ước tính 90% giờ làm tại Mỹ nằm trong các tác vụ có rất ít hoặc không có độ bao phủ từ những benchmark AI hiện có. Đây không phải kết luận rằng AI không làm được 90% công việc. Đó là lời cảnh báo rằng chúng ta vẫn thiếu cách đo đáng tin cậy để biết AI thực sự làm tốt đến đâu ở phần lớn công việc đang được trả lương.
Với lãnh đạo doanh nghiệp, câu hỏi cần đổi từ “mô hình nào đứng đầu?” sang “tác vụ nào của chúng ta có đầu vào, đầu ra và cách kiểm tra đủ rõ để AI tạo giá trị?”
Benchmark AI đang đo gì — và bỏ sót gì?
Benchmark là bài kiểm tra chuẩn để so sánh năng lực mô hình AI. Một benchmark có thể yêu cầu mô hình thực hiện một chuỗi tác vụ như lập trình, phân tích hay xử lý hồ sơ. Chúng hữu ích để theo dõi tiến bộ kỹ thuật, nhưng không tự động phản ánh hiệu quả khi triển khai trong một quy trình cụ thể.
Mercor sử dụng hệ phân loại nghề nghiệp ONET của Bộ Lao động Mỹ. Theo nghiên cứu:
ONET bao gồm 923 nghề, 18.797 tác vụ và 22 nhóm nghề.
Nhóm nghiên cứu lập chỉ mục ban đầu gồm 29 benchmark.
Chỉ 208 trong 923 nghề có ít nhất một tác vụ được ánh xạ với từ 5 prompt benchmark trở lên.
Các tác vụ được gắn nhãn có mức độ “phơi nhiễm AI” cao có khả năng xuất hiện trong benchmark cao hơn khoảng 6 lần so với các tác vụ không được gắn nhãn này.
Ngay cả khi đã kiểm soát yếu tố phơi nhiễm AI, tác vụ thuộc những nghề có tổng quỹ lương lớn hơn vẫn được đại diện nhiều hơn trong benchmark.
Nói cách khác, benchmark hiện có xu hướng bao phủ sâu một số vùng công việc nhất định, thay vì phản ánh đều toàn bộ nền kinh tế. Nghiên cứu nêu ví dụ: tác vụ của luật sư được bao phủ nhiều hơn đáng kể so với tác vụ của thư ký pháp lý hoặc thư ký tòa án, dù các công việc này cũng có thể chịu tác động của AI.
Con số 90% không nói AI “bó tay”
Điểm quan trọng nhất của nghiên cứu nằm ở cách diễn giải.
Mercor không kết luận rằng 90% giờ làm không thể tự động hóa. Họ nói phần lớn giờ làm đang gắn với các tác vụ ít hoặc chưa được benchmark hiện có bao phủ. Vì vậy, điểm số benchmark không đủ để trả lời một câu hỏi kinh doanh thiết thực: mô hình có làm tốt công việc thực tế của doanh nghiệp hay không?
Chính tác giả cũng nêu nhiều giới hạn:
Chỉ mục mới gồm 29 benchmark ban đầu, chưa thể đại diện hoàn hảo cho toàn bộ benchmark công khai.
Tiêu chí lựa chọn như “tính thực tế về kinh tế” khó chuẩn hóa hoàn toàn và có yếu tố chủ quan.
Việc giới hạn số benchmark theo từng nhóm nghề nhằm tăng độ rộng bao phủ, nhưng có thể làm giảm ước tính độ bao phủ ở các lĩnh vực đã được benchmark nhiều, như kỹ thuật phần mềm.
Việc ưu tiên benchmark chưa bị các mô hình tiên phong giải gần hết cũng có thể làm giảm ước tính độ bao phủ với những tác vụ dễ hơn.
Do đó, đây là một ước tính tạm thời, không phải phán quyết cuối cùng về năng lực AI hay tương lai việc làm.
Bài học cho doanh nghiệp: đừng biến leaderboard thành kế hoạch AI
Một chatbot viết email tốt có thể gây ấn tượng. Nhưng nó không nhất thiết giảm được thời gian xử lý đơn hàng, tỷ lệ sai chứng từ hay thời gian chờ phê duyệt.
Trong nhiều quy trình, nút thắt không nằm ở việc tạo câu chữ. Nó có thể là:
Dữ liệu đầu vào thiếu, sai hoặc nằm rải rác giữa nhiều hệ thống.
Nhiều bộ phận phải phối hợp nhưng quyền quyết định không rõ.
Ngoại lệ phát sinh thường xuyên.
Người kiểm tra vẫn phải đọc lại gần như toàn bộ đầu ra của AI.
Rủi ro sai sót cao hơn phần thời gian có thể tiết kiệm.
Vì vậy, benchmark nên được dùng như một tín hiệu sàng lọc ban đầu, không phải bằng chứng đủ để phê duyệt đầu tư.
Bắt đầu từ bản đồ công việc, không phải bản demo
Trước khi chọn công cụ, lãnh đạo nên yêu cầu các bộ phận lập bản đồ cho một số quy trình có khối lượng lớn, chậm hoặc thường xảy ra lỗi.
Đơn vị phân tích không nên là chức danh như “nhân viên kinh doanh” hay “kế toán”, mà là tác vụ cụ thể. Với mỗi tác vụ, cần làm rõ:
Ai thực hiện và mất bao nhiêu thời gian?
Dữ liệu đầu vào đến từ đâu?
Đầu ra cần đạt tiêu chuẩn nào?
Ai kiểm tra hoặc phê duyệt?
Những ngoại lệ phổ biến là gì?
Sai sót gây hậu quả ở mức nào?
AI có thể hỗ trợ phần nào: tìm kiếm, tóm tắt, trích xuất, phân loại, đối chiếu hay tạo bản nháp?
Cách tiếp cận này giúp phân biệt hai loại cơ hội rất khác nhau:
Tác vụ phù hợp để thử AI sớm: đầu vào tương đối rõ, đầu ra có thể kiểm tra, quy tắc xử lý ổn định và có người chịu trách nhiệm cuối cùng.
Tác vụ cần sửa quy trình trước: dữ liệu lộn xộn, quyền hạn chồng chéo, ngoại lệ nhiều hoặc không có tiêu chí rõ về kết quả đúng.
Nếu rơi vào nhóm thứ hai, mua thêm một mô hình có điểm benchmark cao hơn thường chưa giải quyết được vấn đề gốc.
Thử AI ở nơi dễ kiểm tra giá trị
Những tác vụ như tóm tắt hồ sơ, trích xuất trường dữ liệu, phân loại yêu cầu, tạo bản nháp hoặc đối chiếu theo quy tắc có sẵn thường dễ đánh giá hơn các quyết định có tác động lớn.
Khi thử nghiệm, doanh nghiệp nên xác định trước:
Mục tiêu vận hành cần cải thiện, chẳng hạn thời gian xử lý hoặc tỷ lệ làm lại.
Người sở hữu quy trình và người chịu trách nhiệm kiểm tra đầu ra.
Dữ liệu nào được phép sử dụng.
Trường hợp nào AI phải chuyển lại cho con người.
Tiêu chí dừng thử nghiệm nếu chất lượng hoặc rủi ro không đạt yêu cầu.
Một thử nghiệm thành công không chỉ tạo ra câu trả lời trôi chảy. Nó phải giúp công việc được xử lý nhanh hơn, ít phải làm lại hơn hoặc nhất quán hơn — mà không tạo thêm tải kiểm tra lớn hơn lợi ích thu được.
Quản trị dữ liệu phải đi cùng triển khai
Khoảng cách giữa benchmark và công việc thật cũng là khoảng cách về dữ liệu, quy trình và trách nhiệm.
Doanh nghiệp cần quy định rõ công cụ nào được phê duyệt, loại dữ liệu nào được phép đưa vào, ai được quyền truy cập và ai chịu trách nhiệm với quyết định cuối cùng. Đặc biệt thận trọng với dữ liệu khách hàng, hợp đồng, hồ sơ nhân sự, thông tin tài chính và bí mật kinh doanh.
AI có thể hỗ trợ chuẩn bị thông tin hoặc tạo bản nháp. Nhưng trách nhiệm đối với quyết định kinh doanh, pháp lý, nhân sự hay tài chính vẫn cần được gắn với người và bộ phận có thẩm quyền.
Năm câu hỏi trước khi mua công cụ AI
Trước khi ký hợp đồng, lãnh đạo nên yêu cầu nhà cung cấp và đội nội bộ trả lời rõ:
Công cụ đã được đánh giá trên tác vụ nào gần với quy trình của doanh nghiệp?
Tiêu chí thành công trong thử nghiệm là gì: thời gian, chất lượng, tỷ lệ lỗi hay chi phí?
Dữ liệu của doanh nghiệp được xử lý, lưu trữ và phân quyền ra sao?
Khi AI sai, thiếu dữ liệu hoặc không chắc chắn, quy trình chuyển việc cho con người thế nào?
Sau khi tính cả thời gian kiểm tra, chỉnh sửa và quản trị, hiệu quả kinh tế còn lại là bao nhiêu?
Benchmark vẫn cần thiết. Nó giúp thị trường theo dõi tiến bộ của mô hình và sàng lọc lựa chọn ban đầu. Nhưng nghiên cứu của Mercor nhắc một điều quan trọng: phần lớn công việc thực tế chưa được các bài kiểm tra hiện có phản ánh đầy đủ.
ROI của AI vì thế không bắt đầu từ bảng xếp hạng. Nó bắt đầu từ việc doanh nghiệp hiểu chính xác mình đang trả tiền cho những tác vụ nào — và điểm nghẽn nào thật sự đáng để thay đổi.