RealSSA và Falcon hướng tới tách giọng người nói theo thời gian thực trong môi trường âm thanh phức tạp
Các nhà nghiên cứu giới thiệu RealSSA, một benchmark được thiết kế để kiểm thử việc tách giọng người nói mục tiêu bằng cách kết hợp âm thanh và hình ảnh trong những môi trường âm thanh thực tế, cùng Falcon, một phương pháp nhân quả nhẹ hơn dành cho thiết bị biên. RealSSA-Sim bao phủ các cảnh có từ một đến năm người gây nhiễu ở cự ly gần thay đổi theo thời gian; những cảnh có nhiễu từ xa còn bổ sung 10–15 người gây nhiễu ở xa. RealSSA-Real là một tập đánh giá riêng được ghi âm trong môi trường thực. Công trình này nhắm tới hai điểm yếu thực tế của các hệ thống hiện có: benchmark thường chỉ giả định có hai người nói và bỏ qua tiếng vang hoặc nhiễu đột ngột, còn các mô hình nhẹ có thể phải chạy lặp lại một bộ tách nhỏ nên làm giảm lợi thế về tốc độ. Trong thực tế, benchmark và phương pháp này có thể giúp các nhà phát triển xây dựng hệ thống tách giọng có độ trễ thấp hơn trong môi trường ồn ào, phức tạp và chạy được trên phần cứng hạn chế.
Các nhà phát triển ứng dụng âm thanh, họp trực tuyến và thiết bị biên nên theo dõi RealSSA và Falcon vì chúng hướng tới việc tách giọng người nói trong môi trường nhiều nhiễu thực tế với độ trễ thấp. Benchmark này cũng có thể giúp đánh giá mô hình sát với điều kiện sử dụng thật hơn, thay vì chỉ thử với hai người nói và âm thanh sạch.
Đọc bài gốc