Chuyển giọng nói tiếng Việt thành văn bản: Whisper, PhoWhisper và các dịch vụ, dùng thực tế cho biên bản họp
Team nội dung bên mình phải gỡ băng rất nhiều: phỏng vấn chuyên gia, họp nội bộ, podcast. Mình đã thử nhiều công cụ chuyển giọng nói thành văn bản cho tiếng Việt, chia sẻ cảm nhận thực tế. 1. WHISPER (OPENAI, MÃ NGUỒN MỞ) - Model nhận dạng giọng nói đa ngôn ngữ, có nhiều kích cỡ từ tiny tới large. Bản large (ví dụ large-v3) cho tiếng Việt tốt nhất. - Chạy local được. Mình dùng bản faster-whisper (tối ưu bằng CTranslate2) chạy nhanh hơn đáng kể so với bản gốc, ít tốn bộ nhớ hơn. - Ưu điểm: miễn phí, dữ liệu không ra ngoài, nhận dạng khá tốt giọng miền Bắc và miền Nam rõ ràng. - Nhược điểm: bản nhỏ sai nhiều với tiếng Việt; đôi khi "ảo giác" sinh ra câu không có khi gặp đoạn im lặng hoặc nhạc nền; không tự phân biệt người nói. 2. PHOWHISPER (VINAI) - Là Whisper được huấn luyện thêm trên dữ liệu tiếng Việt, đa dạng giọng vùng miền. - Trải nghiệm của mình: với giọng địa phương và từ ngữ thuần Việt, PhoWhisper thường tốt hơn Whisper gốc cùng kích cỡ. Với đoạn lẫn nhiều thuật ngữ tiếng Anh thì hai bên ngang nhau. 3. DỊCH VỤ ĐÁM MÂY - Các nhà cung cấp lớn và một số công ty Việt Nam có API nhận dạng tiếng Việt, thường kèm phân biệt người nói và dấu câu tự động. - Ưu điểm: không cần GPU, tiện. Nhược điểm: tốn phí theo phút, dữ liệu gửi ra ngoài, cần cân nhắc với họp nội bộ. QUY TRÌNH LÀM BIÊN BẢN HỌP CỦA MÌNH 1. Ghi âm bằng micro đặt giữa bàn họp, chất lượng ghi âm quyết định một nửa kết quả. 2. Tách người nói (diarization) bằng pyannote, rồi nhận dạng từng đoạn bằng Whisper hoặc PhoWhisper. 3. Đưa bản gỡ băng cho LLM với yêu cầu: sửa lỗi chính tả rõ ràng, thêm dấu câu, nhưng không thay đổi ý; sau đó tóm tắt thành biên bản gồm: các quyết định, việc cần làm (ai, hạn chót), vấn đề còn mở. 4. Người chủ trì đọc lại biên bản trước khi gửi. MẸO - Cung cấp danh sách tên người, tên sản phẩm, thuật ngữ nội bộ trong prompt ban đầu (initial prompt) của Whisper giúp nhận dạng đúng tên riêng hơn. - Cắt bỏ đoạn im lặng dài trước khi nhận dạng để giảm "ảo giác". - Họp online thì ghi riêng từng kênh âm thanh nếu phần mềm hỗ trợ, đỡ phải tách người nói. - Đừng để LLM "sửa" bản gỡ băng quá tay, nó có thể làm mượt câu nói thành ý khác. Với phỏng vấn cần trích dẫn nguyên văn, luôn nghe lại đoạn gốc. TỔNG KẾT - Họp nội bộ, dữ liệu nhạy cảm: Whisper large hoặc PhoWhisper chạy local. - Cần nhanh, không có GPU, nội dung không nhạy cảm: dịch vụ đám mây. Mọi người dùng công cụ nào cho tiếng Việt? Có ai xử lý tốt trường hợp nhiều người nói chen nhau không?