Cộng đồng Hacker News chia sẻ: Block tuyên bố mô hình giọng nói Dessa có thể hội thoại hai chiều theo thời gian thực
Nhóm nghiên cứu AI nhỏ của Block cho biết họ đã xây dựng Dessa, một mô hình chuyển giọng nói trực tiếp thành giọng nói có thể vừa lắng nghe vừa lên tiếng, thay vì trước hết chuyển lời nói thành văn bản. Nhóm tuyên bố Dessa được huấn luyện từ đầu chỉ bằng dữ liệu hội thoại của con người, không dùng dữ liệu văn bản hay mô hình đã huấn luyện sẵn, và có thể trò chuyện theo thời gian thực với nhịp ngắt, lượt chen lời, tiếng cười, cảm xúc và cách lên xuống giọng tự nhiên. Theo nhóm phát triển, Dessa chạy nhanh hơn thời gian thực trên MacBook Pro dùng M4 Max trở lên và được huấn luyện bằng một hệ thống NVIDIA GB200 NVL72 duy nhất. Các bản ghi trình diễn cho thấy mô hình nhớ thông tin, hoàn thành câu nói của người dùng, phản ứng giàu cảm xúc, điều chỉnh âm lượng và trò chuyện với một mô hình AI khác; nhóm cho biết kiến thức của Dessa đến từ âm thanh thô và mô hình học từ số lượng từ ít hơn nhiều so với các mô hình ngôn ngữ lớn thông thường. Dự án hiện mới được giới thiệu qua các bản ghi âm và danh sách chờ, đồng thời dự kiến cấp quyền truy cập sớm cho một nhóm nhỏ các nhà nghiên cứu an toàn AI. Nếu các tuyên bố này được kiểm chứng, Dessa có thể mở đường cho trợ lý giọng nói hiểu giọng điệu và nhịp hội thoại tự nhiên hơn, đồng thời đặt ra những câu hỏi mới về cách mô hình chỉ dùng âm thanh học hỏi và phản hồi trong các tình huống giàu cảm xúc hoặc có rủi ro cao.
Nhà phát triển và nhà nghiên cứu có thể theo dõi waitlist của Dessa; nhóm phát triển cũng đang tìm các nhà nghiên cứu an toàn AI để cấp quyền truy cập sớm. Bản hiện được giới thiệu chạy cục bộ trên MacBook Pro M4 Max trở lên, nên người dùng phổ thông chưa có thông tin về khả năng dùng rộng rãi.
Đọc bài gốc