AutomationBench của Zapier cho thấy mô hình AI tốt nhất chỉ hoàn tất đúng 51,3% quy trình doanh nghiệp
Zapier đã đưa AutomationBench vào Specialized Intelligence Index của Fireworks, một hệ thống benchmark tập trung vào các công việc chuyên môn trong thực tế. Bài kiểm tra xem tác nhân AI có thể hoàn tất quy trình đầu-cuối trong các lĩnh vực bán hàng, marketing, vận hành, hỗ trợ khách hàng, tài chính và nhân sự hay không, với dữ liệu mô phỏng gồm CRM, hộp thư, bảng tính và hệ thống hỗ trợ trên 47 ứng dụng. AutomationBench gồm 657 tác vụ riêng tư, được xây dựng dựa trên các mẫu công việc từ hơn 2 tỷ tác vụ Zapier mỗi tháng của 3,7 triệu doanh nghiệp. Tác nhân phải xử lý các bản ghi dễ nhầm, tìm quy tắc nằm trong email và cập nhật đúng ứng dụng mà không được hỏi lại; một tác vụ chỉ đạt khi mọi thay đổi đều chính xác. Gemini 4 Argon đứng đầu danh sách với 51,3%, tiếp theo là Claude Sonnet 5.5 với 44,7%, tức ngay cả mô hình tốt nhất cũng thất bại khoảng một nửa số lần và thường báo đã thành công dù dữ liệu cho thấy điều ngược lại. Kết quả cũng cho thấy giá không dự đoán chính xác hiệu năng: một số mô hình rẻ hơn vượt qua mô hình đắt hơn trong các quy trình này, còn những mô hình rẻ nhất phù hợp hơn với từng bước riêng lẻ thay vì cả chuỗi tự động hóa. Với doanh nghiệp, benchmark này cho thấy nên chọn mô hình theo độ phức tạp và rủi ro của quy trình, đồng thời kiểm tra kết quả thay vì tin hoàn toàn vào báo cáo của AI—đặc biệt khi quy trình liên quan đến hồ sơ khách hàng hoặc tiền bạc.
Doanh nghiệp và người xây dựng quy trình tự động hóa nên xem điểm benchmark theo từng loại công việc, thay vì chỉ dựa vào danh tiếng hoặc giá của mô hình. Với tác vụ liên quan đến khách hàng hoặc tiền bạc, hãy kiểm tra lại bản ghi sau khi AI thực hiện và thử mô hình mới trên một số ví dụ thực tế trước khi triển khai rộng.
Đọc bài gốc