Nghe thế giới bằng âm thanh nổi: Học tương ứng không gian động cho tạo video-âm thanh đồng thời mang tính nhập vai
Bài báo giới thiệu StereoBind, một khung làm việc cho việc tạo video-âm thanh đồng thời, sinh ra âm thanh stereo có vị trí nguồn âm thay đổi theo chuyển động của nguồn hình ảnh, thuộc tính được gọi là Dynamic Spatial Correspondence. Mô hình dùng các quỹ đạo chuyển động thông qua ba cơ chế: Visual Motion Binding, Spatial Track Encoder để nắm bắt vị trí tuyệt đối của nguồn âm và Residual Track RoPE để mô hình hóa chuyển động tương đối. Nhóm tác giả cũng xây dựng StereoWorld-29K, một bộ dữ liệu video-âm thanh stereo quy mô lớn có kèm quỹ đạo chuyển động, phục vụ huấn luyện và đánh giá.
Đọc bài gốc