Bảo tồn để mở rộng: Thích ứng nhận biết nguồn và hợp nhất mô hình cho ASR đa ngôn ngữ dựa trên LLM

Mở rộng các hệ thống ASR đa ngôn ngữ sang ngôn ngữ mới là một thách thức khi quá trình thích ứng phải bảo toàn các ngôn ngữ đã hỗ trợ mà không phát lại dữ liệu huấn luyện của ngôn ngữ nguồn. Công trình nghiên cứu vấn đề này trong các Speech LLM dựa trên connector, trong đó một connector có thể huấn luyện ánh xạ biểu diễn tiếng nói vào một thành phần bị đóng băng.