Clef-omni: Khi nào nên thử AI xử lý ảnh, âm thanh và video cùng lúc?
Cloudflare ra mắt Clef-omni, mô hình quyết định nhận văn bản, ảnh, âm thanh và video trong một lần gọi API. Doanh nghiệp nên thử ở quy trình hẹp, đo chất lượng, chi phí media và giữ con người kiểm tra các trường hợp quan trọng.
Một hồ sơ bảo hành có thể gồm ảnh thiết bị, bản ghi âm tiếng máy chạy và video quạt vận hành. Theo cách làm thông thường, doanh nghiệp có thể phải ghép nhiều bước: nhận dạng ảnh, xử lý âm thanh, tách nội dung video rồi mới đưa kết quả vào hệ thống ra quyết định.
Cloudflare vừa đưa ra một lựa chọn khác với Clef-omni: gửi văn bản, ảnh, âm thanh và video trong một lần gọi API để nhận đầu ra theo biểu mẫu định sẵn.
Với lãnh đạo, điểm đáng chú ý không đơn thuần là thêm một mô hình AI. Câu hỏi thực tế là: quy trình nào đủ lặp lại để thử, chi phí xử lý media là bao nhiêu, và ai chịu trách nhiệm khi AI phân loại sai?
Clef-omni thay đổi điều gì?
Clef-omni là mô hình quyết định có trọng số mở (open-weight) của Cloudflare. Thay vì tạo câu trả lời dài như chatbot, mô hình được thiết kế để chọn hoặc chấm điểm kết quả trong một tập lựa chọn đã xác định.
Ví dụ, doanh nghiệp có thể đặt các câu hỏi có cấu trúc như:
Nhãn model và số serial có xuất hiện trong ảnh không?
Âm thanh thiết bị có dấu hiệu bất thường không?
Quạt có đang chạy trong video không?
Theo Cloudflare, Clef-omni nhận:
Văn bản;
Ảnh;
Âm thanh WAV hoặc MP3;
Video MP4 hoặc WebM.
Các dạng dữ liệu này có thể được gửi trong cùng một yêu cầu. Cloudflare cho biết cách làm này giúp tránh phải dựng riêng các bước chuyển giọng nói thành văn bản, tạo mô tả ảnh hoặc tách kênh hình và tiếng từ video trước khi đưa ra quyết định có cấu trúc.
Điều đó có thể giúp đơn giản hóa kiến trúc tích hợp. Nhưng một API thống nhất không tự động tạo ra hiệu quả kinh doanh: doanh nghiệp vẫn cần kiểm chứng độ chính xác, chi phí và khả năng kiểm soát trên dữ liệu thực tế của mình.
Ba quy trình nên thử trước
Đừng bắt đầu bằng dự án toàn công ty. Hãy chọn một luồng có đầu vào rõ ràng, kết quả có thể được con người đối chiếu và chi phí sai sót ở mức chấp nhận được.
1. Kiểm tra hồ sơ lắp đặt hoặc bảo hành
Đây là tình huống gần với ví dụ Cloudflare công bố: ảnh thiết bị, âm thanh máy vận hành và video quạt quay.
AI có thể hỗ trợ kiểm tra các trường cố định như:
Có nhìn thấy nhãn thiết bị không?
Tiếng máy có vẻ vận hành bình thường không?
Quạt có xuất hiện và đang chạy không?
Kết quả phù hợp để xếp hàng xử lý, yêu cầu bổ sung bằng chứng hoặc gắn cờ hồ sơ cần kỹ thuật viên xem lại. Không nên chỉ dựa vào kết quả AI để tự động từ chối bảo hành hay kết luận thiết bị hỏng.
2. Phân loại cuộc gọi chăm sóc khách hàng
Một bản ghi WAV hoặc MP3 có thể đi cùng dữ liệu văn bản như loại hợp đồng, mã hồ sơ hoặc ghi chú của tổng đài viên.
Mục tiêu thử nghiệm nên đơn giản: phân tuyến cuộc gọi vào các nhóm đã định nghĩa trước, chẳng hạn yêu cầu hỗ trợ, khiếu nại, thay đổi dịch vụ hoặc trường hợp cần chuyển cấp xử lý.
Bài toán này có thể dễ đo hiệu quả nếu đội ngũ đang nghe thủ công để phân loại. Tuy nhiên, cần kiểm tra kỹ với tiếng Việt, tiếng ồn, giọng vùng miền và cách nói không theo kịch bản.
3. Kiểm tra video giao nhận và vận hành
Video có thể chứa đồng thời hình ảnh, tiếng máy và thao tác tại hiện trường. Một bộ câu hỏi có cấu trúc có thể kiểm tra liệu có thấy kiện hàng, có dấu hiệu thiết bị hoạt động, hoặc video có đủ bằng chứng cho bước kiểm tra hay không.
Tiềm năng là giảm số bước tải video, cắt khung hình, tách âm thanh rồi chuyển sang các dịch vụ riêng lẻ. Nhưng đội vận hành phải định nghĩa trước thế nào là “đủ bằng chứng”, trường hợp nào cần chuyển người kiểm tra và mức sai sót nào không thể chấp nhận.
Cloudflare công bố tốc độ ra sao?
Cloudflare cho biết độ trễ trung vị của Clef-omni vào khoảng:
130 mili giây với đầu vào văn bản;
150 mili giây với ảnh;
Vài trăm mili giây với âm thanh;
Khoảng 1,5 giây với video dài 21 giây có tiếng.
Đây là số liệu do Cloudflare công bố, không phải kết quả kiểm chứng độc lập trên dữ liệu tiếng Việt hoặc quy trình cụ thể của doanh nghiệp Việt Nam.
Cloudflare cũng cho biết đã tối ưu tốc độ phiên bản Clef được cung cấp qua Workers AI. Với đầu vào khoảng 3.400 token, độ trễ trung vị được hãng nêu là giảm từ 616 mili giây xuống 305 mili giây.
Vì vậy, ban điều hành nên xem các số liệu này là mốc tham khảo. Chỉ số cần đo là thời gian của cả quy trình: từ lúc nhận hồ sơ, AI phân loại, nhân viên xử lý ngoại lệ đến khi hoàn tất công việc.
Giá token không phải toàn bộ chi phí
Theo mức giá Cloudflare công bố tại thời điểm bài viết, giá đầu vào là:
Clef-omni: 0,15 USD mỗi triệu input token;
Clef: 0,24 USD mỗi triệu input token;
Clef-flash: 0,038 USD mỗi triệu input token, giảm từ 0,09 USD.
Cloudflare cho biết Clef-flash hiện rẻ hơn Jev. Bảng giá có thể thay đổi, vì vậy doanh nghiệp nên kiểm tra tài liệu giá hiện hành của nhà cung cấp trước khi lập ngân sách hoặc ký cam kết triển khai.
Với ảnh, âm thanh và video, chi phí thực tế phụ thuộc vào cách dịch vụ quy đổi media thành input token. Không nên dự toán ngân sách chỉ từ đơn giá token.
Nên tách ngân sách thành hai nhóm:
Chi phí thử nghiệm ban đầu: tích hợp hệ thống, chuẩn bị dữ liệu, thiết kế biểu mẫu quyết định, đánh giá kết quả và đào tạo đội ngũ.
Chi phí vận hành định kỳ: phí xử lý, truyền và lưu trữ dữ liệu, giám sát, xử lý ngoại lệ và duy trì tích hợp.
Hai công thức hữu ích cho báo cáo quản trị là:
> Lợi ích ròng = tổng giá trị thu được − tổng chi phí.
> ROI = (tổng lợi ích − tổng chi phí) / tổng chi phí × 100%.
Ở giai đoạn đầu, giá trị có thể không nằm ở việc thay thế hoàn toàn con người. Giá trị có thể đến từ giảm thao tác chuyển dữ liệu giữa nhiều hệ thống và đưa đúng hồ sơ đến đúng người sớm hơn.
Kế hoạch thử nghiệm trong 90 ngày
30 ngày đầu: chọn luồng hẹp và đặt tiêu chí
Chọn một quy trình có đầu vào, đầu ra và người chịu trách nhiệm rõ ràng. Xác định các trường AI cần trả lời, trường hợp phải chuyển người xem lại và loại dữ liệu không đưa vào thử nghiệm.
60 ngày tiếp: chạy song song
Để AI chạy song song với quy trình hiện tại. So sánh kết quả AI với kết luận của nhân viên để xác định lỗi, nguyên nhân và tác động của từng loại lỗi.
90 ngày: quyết định bằng số liệu
Chỉ mở rộng nếu kết quả cho thấy lợi ích rõ ràng sau khi tính cả chi phí vận hành và kiểm tra.
Các KPI tối thiểu nên gồm:
Tỷ lệ phân loại đúng so với kết quả kiểm tra của con người;
Tỷ lệ hồ sơ phải chuyển người xử lý;
Tỷ lệ lỗi có tác động lớn;
Thời gian xử lý một hồ sơ;
Chi phí trên mỗi hồ sơ.
Câu hỏi cần hỏi trước khi đưa dữ liệu vào dịch vụ
Ảnh hồ sơ, bản ghi cuộc gọi và video hiện trường có thể chứa dữ liệu cá nhân hoặc thông tin kinh doanh nhạy cảm. Doanh nghiệp cần quy định rõ mục đích sử dụng, quyền truy cập, thời hạn lưu và người phê duyệt cuối cùng.
Các câu hỏi cần làm rõ với nhà cung cấp hoặc đội IT gồm:
Dữ liệu đầu vào và kết quả được lưu ở đâu, trong bao lâu?
Dữ liệu có được sử dụng để cải thiện dịch vụ hay không?
Ảnh, âm thanh và video được quy đổi thành token để tính phí như thế nào?
Có thể giới hạn quyền truy cập, ghi nhật ký và xóa dữ liệu theo yêu cầu không?
Khi mô hình không chắc chắn, hệ thống trả về kết quả gì?
Ai tiếp nhận và xử lý các hồ sơ bị gắn cờ?
Mô hình đã được thử với dữ liệu, tiếng nói và điều kiện vận hành thực tế của doanh nghiệp chưa?
Clef-omni đáng để thử khi quy trình có đủ ảnh, tiếng, video và các quyết định lặp lại. Nhưng quyết định thay thế một chuỗi công cụ rời rạc phải dựa trên dữ liệu thử nghiệm, chi phí media thực tế và cơ chế chịu trách nhiệm rõ ràng — không chỉ dựa vào lời hứa “một API cho mọi thứ”.