[Showcase] Tự động làm phụ đề tiếng Việt cho video đào tạo nội bộ bằng Whisper + LLM
Phòng đào tạo công ty mình có khoảng 150 video hướng dẫn nội bộ (quy trình, sản phẩm, phần mềm), nhiều nhân viên xem ở nơi đông người nên rất cần phụ đề. Thuê làm phụ đề thủ công thì quá tốn kém, nên mình làm một quy trình tự động, người chỉ cần duyệt lại. QUY TRÌNH 1. Tách âm thanh từ video bằng ffmpeg. 2. Nhận dạng giọng nói bằng Whisper (bản large, chạy local), xuất file SRT có mốc thời gian theo từng câu. 3. Đưa nội dung SRT qua LLM để sửa lỗi chính tả, thêm dấu câu và sửa tên riêng theo một bảng thuật ngữ của công ty (tên sản phẩm, tên phần mềm, tên phòng ban). Yêu cầu bắt buộc: giữ nguyên số thứ tự và mốc thời gian từng dòng, không gộp hay tách dòng. 4. Code kiểm tra lại file sau khi LLM sửa: số dòng phụ đề bằng bản gốc, mốc thời gian không đổi, mỗi dòng không quá 2 hàng chữ. 5. Người phụ trách xem lướt video kèm phụ đề và sửa chỗ sai trực tiếp trong file SRT. 6. Gắn phụ đề vào video (dạng phụ đề có thể bật/tắt) và đưa lên hệ thống đào tạo. KHÓ KHĂN - Whisper đôi khi sinh ra câu không có thật ở đoạn nhạc nền mở đầu. Cắt bỏ đoạn nhạc trước khi nhận dạng giúp giảm hẳn. - LLM có lúc "làm mượt" câu nói thành ý khác. Vì vậy prompt chỉ cho sửa chính tả, dấu câu và thuật ngữ, cấm viết lại câu. - Thuật ngữ tiếng Anh trong lời nói ("deploy", "dashboard") được giữ nguyên, không dịch. KẾT QUẢ - Trung bình mỗi video 20 phút mất khoảng 10 phút người duyệt, thay vì gần 2 giờ gõ tay. - Sau khi duyệt 30 video đầu, tỉ lệ dòng phải sửa giảm dần nhờ bảng thuật ngữ ngày càng đầy đủ. - Bonus: có bản chữ của video nên đưa được vào chatbot hỏi đáp nội bộ, nhân viên hỏi là tìm ra đúng video và phút cần xem. Mọi người làm phụ đề tiếng Việt bằng công cụ gì? Có ai xử lý tốt video có nhiều người nói không?