NVIDIA ra mắt Nemotron 3.5 Transcribe cho chép lời đa ngôn ngữ có thể điều khiển bằng prompt
NVIDIA đã phát hành Nemotron 3.5 Transcribe, một mô hình trọng số mở kết hợp chép lời đa ngôn ngữ, nhận diện người nói, dịch thuật và hỏi đáp về âm thanh trong cùng một checkpoint. Mô hình hỗ trợ chép lời 40 ngôn ngữ, dịch giữa 31 ngôn ngữ và tiếng Anh, gắn nhãn người nói trong 13 ngôn ngữ, xử lý bản ghi dài tối đa một giờ và nhận diện tối đa tám người nói. Nhà phát triển có thể điều khiển đầu ra bằng prompt ngôn ngữ tự nhiên, chẳng hạn yêu cầu định dạng, gắn nhãn người nói, dịch thuật, tóm tắt quyết định trong cuộc họp hoặc xử lý thuật ngữ chuyên ngành. Mô hình đứng đầu trong nhóm hệ thống trọng số mở ở một số bảng đánh giá được công bố, trong đó có tỷ lệ lỗi từ trung bình 5,33% trên Hugging Face Open ASR Leaderboard dành cho tiếng Anh và 4,62% trên bảy bộ kiểm thử đa ngôn ngữ. Kiến trúc khoảng 30 tỷ tham số của mô hình chỉ kích hoạt khoảng 4 tỷ tham số cho mỗi token, nên có thể chạy trên một GPU NVIDIA; tỷ lệ lỗi từ là thước đo mức độ khác biệt giữa bản chép lời và những gì được nói. NVIDIA cũng phát hành Granary v2, gồm dữ liệu đa ngôn ngữ và quy trình xây dựng dữ liệu, cùng các công cụ tinh chỉnh NeMo Speech; trong một nghiên cứu y tế, tinh chỉnh đã giảm tỷ lệ lỗi từ 45,8% trên những người nói chưa xuất hiện trong dữ liệu so với chỉ dùng prompt tốt nhất. Bản phát hành này giúp nhà phát triển xây dựng công cụ chép lời và phân tích cuộc họp với khả năng kiểm soát tốt hơn về thuật ngữ, giọng nói, người nói và định dạng đầu ra, nhưng vẫn cần kiểm tra tên riêng, thay đổi người nói và câu trả lời do mô hình tạo ra.
Nhà phát triển có thể thử Nemotron 3.5 Transcribe trên Hugging Face hoặc ModelScope để xây dựng công cụ chép lời, gắn nhãn người nói, dịch và hỏi đáp trên bản ghi âm; mô hình hỗ trợ cả tiếng Việt nếu tác vụ nằm trong phạm vi ngôn ngữ được công bố. Doanh nghiệp, trường học và đội ngũ làm dữ liệu giọng nói có thể dùng prompt để định dạng đầu ra hoặc tinh chỉnh bằng Granary v2 và NeMo Speech cho thuật ngữ chuyên ngành, nhưng vẫn nên kiểm tra lại tên riêng, lượt chuyển lời và câu trả lời.
Đọc bài gốc