Mistral ra mắt Voxtral 3, SDK xây dựng trợ lý thoại thời gian thực bằng hơn 50 ngôn ngữ
Mistral đã giới thiệu Voxtral 3, một SDK xây dựng tác nhân thoại cùng bộ mô hình giọng nói dành cho các cuộc hội thoại thời gian thực bằng hơn 50 ngôn ngữ. Hệ thống kết hợp nhận dạng giọng nói, suy luận, gọi công cụ và tổng hợp giọng nói để tác nhân có thể hiểu người gọi, tra cứu thông tin và hoàn tất các tác vụ nhiều bước như đặt lịch. Bản phát hành gồm Voxtral Small Transcribe 3, hỗ trợ chép lời đa ngôn ngữ, nhận diện người nói, ưu tiên các thuật ngữ quan trọng và phát hiện thời điểm người dùng nói xong; cùng Voxtral Mini TTS 3, có thể điều chỉnh cảm xúc, tốc độ và trọng âm ở hơn 35 ngôn ngữ và 50+ phương ngữ. Mistral cho biết phiên bản Mini 4B tham số có giá $0.0035 mỗi phút, còn tính năng Pro Voice có thể tái tạo đặc trưng, sắc thái cảm xúc và phong cách nói của một người bằng 30 phút âm thanh. Doanh nghiệp có thể dùng API lưu trữ tại EU hoặc tự triển khai trên hạ tầng riêng để kiểm soát nơi xử lý âm thanh và việc có lưu âm thanh hay không. Voxtral 3 hướng đến tổng đài chăm sóc khách hàng, bộ phận hỗ trợ, trợ lý ảo và các trợ lý rảnh tay. Về thực tế, sản phẩm nhắm vào khoảng cách khó giải quyết giữa việc nhận dạng giọng nói và một hệ thống thoại đáng tin cậy có thể hiểu ngữ cảnh, thao tác trên phần mềm doanh nghiệp, đồng thời giúp tổ chức kiểm soát tốt hơn dữ liệu âm thanh nhạy cảm.
Lập trình viên và doanh nghiệp có thể dùng Voxtral 3 để xây trợ lý thoại biết nghe, hiểu, gọi công cụ và hoàn tất quy trình nhiều bước, chẳng hạn đặt lịch qua điện thoại. Các tổ chức xử lý dữ liệu nhạy cảm có thể cân nhắc API đặt tại EU hoặc tự triển khai để kiểm soát nơi xử lý và lưu âm thanh.
Đọc bài gốc