OmniShowcase: Tạo video nhất quán về cùng một vật thể từ ảnh đa góc nhìn
OmniShowcase là một hệ thống nghiên cứu tạo video về một chủ thể cụ thể từ một số lượng nhỏ ảnh tham chiếu ở nhiều góc nhìn, kể cả khi camera di chuyển đến những bề mặt không xuất hiện trong các ảnh đầu vào. Nhóm tác giả cho rằng các phương pháp tạo video từ chủ thể hiện nay либо chỉ dựa vào một ảnh nên phải phỏng đoán hình học chưa quan sát được, либо dùng nhiều góc nhìn nhưng không mô hình hóa rõ cấu trúc 3D liên kết chúng. OmniShowcase giới thiệu một quy trình tự động tạo dữ liệu, sinh các video huấn luyện với nhiều đường bay camera, bao gồm cả quỹ đạo xoay đủ 360 độ, đồng thời sử dụng hình học nền của chủ thể để duy trì tính nhất quán giữa các góc nhìn. Hệ thống cũng bổ sung một phương pháp điều kiện hóa theo hình học nhằm giúp video tạo ra tiếp tục thể hiện đúng cùng một chủ thể khi góc camera thay đổi.
Đây là nghiên cứu đáng chú ý cho các nhà phát triển video AI và đồ họa 3D: việc cung cấp nhiều ảnh tham chiếu từ các góc khác nhau có thể giúp tạo chuyển động camera quanh vật thể nhất quán hơn. Hiện chưa có thông tin trong bài về việc công cụ đã được phát hành để người dùng thử.
Đọc bài gốc