Nemotron 3.5 Transcribe: một model cho chép lời, dịch và gắn người nói
Nemotron 3.5 Transcribe của NVIDIA gộp chép lời, gắn người nói, dịch và hỏi–đáp audio trong một checkpoint open-weight. Đây là những điểm cần thử và kiểm tra trước khi áp dụng cho bản ghi tiếng Việt.
Một bản ghi họp có thể đã được chuyển thành chữ, nhưng phần khó thường mới bắt đầu: ai nói câu nào, quyết định nào đã được đưa ra, thuật ngữ chuyên ngành có bị nghe sai không, và bản dịch có giữ đúng ý hay không?
Nemotron 3.5 Transcribe là model speech open-weight mới của NVIDIA, kết hợp chép lời, gắn người nói, dịch và hỏi–đáp trên audio trong cùng một checkpoint. Điểm đáng chú ý là nhà phát triển có thể hướng dẫn đầu ra bằng prompt ngôn ngữ tự nhiên, thay vì chỉ nhận một transcript cố định.
Một checkpoint, nhiều tác vụ audio
Theo NVIDIA, Nemotron 3.5 Transcribe hỗ trợ:
Chép lời cho 40 ngôn ngữ.
Dịch sang hoặc từ tiếng Anh cho 31 ngôn ngữ.
Gắn người nói (speaker attribution) cho 13 ngôn ngữ.
Bản ghi dài tối đa một giờ, với tối đa tám người nói.
Timestamp đến cấp độ từ.
Hỏi–đáp trên audio, chẳng hạn: “Những quyết định nào đã được đưa ra trong cuộc họp?”
Model có thể nhận chỉ dẫn về định dạng đầu ra, nhãn người nói, dịch thuật hoặc thuật ngữ cần lưu ý. NVIDIA đưa ví dụ cho bối cảnh y tế: cung cấp một danh sách thuật ngữ có thể xuất hiện, đồng thời yêu cầu model chỉ dùng các thuật ngữ đó khi audio thực sự hỗ trợ.
Cách làm này phù hợp để thử nghiệm trước khi nghĩ đến fine-tune, nhất là khi nhóm cần xử lý tên sản phẩm, từ viết tắt hay jargon chuyên ngành.
> Một model không đồng nghĩa đầu ra tự động chính xác. NVIDIA cũng khuyến nghị kiểm tra lại tên riêng, điểm chuyển người nói và câu trả lời được tạo ra với bản ghi gốc.
Nếu muốn thử với audio tiếng Việt
Phạm vi hỗ trợ ngôn ngữ của model khác nhau theo từng tác vụ. Vì vậy, đừng suy ra rằng một ngôn ngữ được hỗ trợ chép lời thì cũng được hỗ trợ gắn người nói, dịch hoặc hỏi–đáp.
Trước khi đưa bản ghi tiếng Việt vào quy trình, hãy kiểm tra ma trận tác vụ–ngôn ngữ trong model card:
Tiếng Việt có nằm trong phạm vi chép lời không?
Có hỗ trợ gắn người nói cho audio tiếng Việt không?
Có thể dịch giữa tiếng Việt và tiếng Anh không?
Tính năng hỏi–đáp audio có phù hợp không? NVIDIA cho biết phần này được huấn luyện bằng tiếng Anh.
Checkpoint hiện có thể được phục vụ qua vLLM. NVIDIA cũng cho biết các bản quantized và khả năng chạy cục bộ qua NeMo-Speech.cpp sẽ có sau. Model được thiết kế cho audio đã ghi sẵn, không phải streaming trực tiếp.
Quy trình pilot cho họp, phỏng vấn và video
Cách an toàn nhất là lấy một audio mà bạn có quyền xử lý, chạy nhiều yêu cầu trên cùng file rồi nghe đối chiếu.
1. Bắt đầu bằng chép lời cơ bản
text
Transcribe this recording in the original language.
Đừng đánh giá chỉ bằng vài câu đầu. Hãy ưu tiên kiểm tra các đoạn có tên riêng, tên công ty, con số, địa danh, giọng nói chồng lên nhau và âm thanh nền.
2. Thử gắn người nói khi tác vụ được hỗ trợ
text
Transcribe this recording and label each speaker.
Kết quả cần được kiểm tra kỹ tại các điểm đổi lượt phát biểu. Gắn người nói không chỉ là phát hiện có nhiều giọng, mà còn là gán đúng phần lời cho đúng người.
3. Thêm ngữ cảnh thuật ngữ
text
Transcribe this discussion in the original language. Possible terms: <thuậtngữ1>, <thuậtngữ2>. Use these terms only when supported by the audio. Preserve standard spelling and write numbers in conventional written form.
Điểm quan trọng nằm ở điều kiện “chỉ dùng khi được audio hỗ trợ”. Danh sách thuật ngữ nên là ngữ cảnh tham chiếu, không phải danh sách từ bắt buộc model phải chèn vào transcript.
4. Giữ bản gốc khi cần dịch
text
Translate this audio into English.
Với nội dung cần kiểm duyệt, nên lưu cả transcript ngôn ngữ gốc và bản dịch. Người hiểu ngôn ngữ nguồn sẽ dễ đối chiếu hơn khi có câu mơ hồ hoặc thuật ngữ quan trọng.
5. Xem Q&A như lớp tra cứu
text
What decisions were made in this meeting?
Câu trả lời có thể hữu ích để tạo bản nháp danh sách việc cần làm. Tuy nhiên, không nên dùng nó làm biên bản hoặc kết luận cuối cùng nếu chưa đối chiếu lại transcript và audio.
Ba tình huống có thể áp dụng
Họp dự án. Nhãn người nói và timestamp cấp từ có thể giúp tìm lại đoạn thảo luận nhanh hơn. Câu hỏi về quyết định cuộc họp có thể hỗ trợ tạo bản nháp, nhưng người điều phối vẫn cần xác nhận người phụ trách và thời hạn.
Phỏng vấn người dùng. Transcript có nhãn người nói giúp phân biệt câu hỏi của người phỏng vấn với phản hồi của khách hàng. Prompt kèm thuật ngữ có thể hữu ích với tên tính năng, tên sản phẩm hoặc từ chuyên ngành.
Video đào tạo và lớp học ghi hình. Timestamp cấp từ có thể được dùng để đồng bộ transcript với video. NVIDIA nêu ví dụ Agora dùng tính năng này trong một bản demo lớp học ghi hình.
Với dữ liệu khách hàng hoặc nội dung nhạy cảm, cần xem kỹ nơi audio được xử lý, chính sách lưu trữ và quyền sử dụng dữ liệu trước khi tải lên bất kỳ hạ tầng nào.
Benchmark là tín hiệu, không phải cam kết cho dữ liệu của bạn
NVIDIA cho biết Nemotron 3.5 Transcribe đứng đầu nhóm model open-weight trên Hugging Face Open ASR Leaderboard tiếng Anh, với WER trung bình 5,33%. WER là tỷ lệ khác biệt giữa transcript và lời nói tham chiếu; mức thấp hơn nghĩa là ít lỗi từ hơn trong bài đo đó.
Trong so sánh đa ngôn ngữ được nêu trong model card, model đạt WER trung bình 4,62% trên bảy ngôn ngữ.
Về gắn người nói, NVIDIA báo cáo DER 18,26% trên bảng DAI-ASR-I18N của David AI. DER đo lỗi liên quan đến việc xác định ai nói khi nào, nên không tương đương với độ chính xác của từng từ.
Những số liệu này hữu ích để đặt model vào bối cảnh benchmark. Tuy nhiên, chúng không thay thế việc thử trên audio thực tế của bạn: tiếng ồn, chất lượng micro, giọng vùng miền, cuộc họp nhiều người nói chồng lên nhau và thuật ngữ nội bộ đều có thể làm thay đổi kết quả.
NVIDIA cũng cho biết kiến trúc model có khoảng 30 tỷ tham số, nhưng chỉ khoảng 4 tỷ tham số hoạt động trên mỗi token. Các kết quả tốc độ mà hãng công bố được đo trong cấu hình benchmark cụ thể, vì vậy không nên suy diễn trực tiếp sang laptop hay hạ tầng sẵn có.
Khi prompt chưa đủ, mới tính đến fine-tune
Cùng với model, NVIDIA phát hành Granary v2 — dữ liệu đa ngôn ngữ và pipeline tuyển chọn dữ liệu — cùng công cụ fine-tune NeMo Speech.
Trong một case study y tế, NVIDIA cho biết fine-tuning giúp giảm WER tương đối 45,8% trên các người nói chưa xuất hiện trong tập huấn luyện, so với prompt tốt nhất. Đây là tín hiệu đáng chú ý với tổ chức có dữ liệu hợp lệ và yêu cầu rõ ràng về thuật ngữ hoặc quy ước chép lời.
Nhưng với phần lớn nhóm mới bắt đầu, prompt và kiểm thử có kiểm soát nên là bước đầu tiên.
Checklist trước khi đưa vào workflow
[ ] Xác nhận ngôn ngữ được hỗ trợ cho từng tác vụ cần dùng.
[ ] Có quyền xử lý và lưu trữ audio.
[ ] Đối chiếu transcript với audio tại tên riêng, số và đoạn chồng tiếng.
[ ] Kiểm tra lại nhãn người nói ở các điểm chuyển lượt.
[ ] Không dùng câu trả lời Q&A làm kết luận cuối cùng nếu chưa đối chiếu.
Nemotron 3.5 Transcribe đáng chú ý vì đưa nhiều tác vụ speech vào một checkpoint có thể điều khiển bằng prompt. Với nhóm làm sản phẩm tại Việt Nam, bước quan trọng nhất vẫn là thử trên audio thật, trong phạm vi được phép xử lý, và đánh giá riêng từng tác vụ thay vì chỉ nhìn vào leaderboard.