Video-Point Model dự đoán video tương lai và quỹ đạo 3D từ nhiều góc nhìn
Các nhà nghiên cứu giới thiệu Video-Point Model (VPM), một mô hình thế giới sử dụng video đồng bộ từ nhiều camera cùng chỉ dẫn bằng ngôn ngữ để dự đoán video tương lai từ những góc nhìn tùy ý và chuyển động 3D của các điểm cố định trong cảnh. Mô hình mở rộng một mô hình video thế giới được huấn luyện trước bằng cơ chế xử lý có điều kiện theo camera, nhờ đó kết hợp các góc quan sát bổ sung của cùng một cảnh đang thay đổi. Một nhánh dự đoán quỹ đạo theo dõi từng điểm vật lý qua nhiều camera và theo thời gian, liên kết những thay đổi về hình ảnh với một mô tả chung về chuyển động 3D. Nhóm nghiên cứu cũng giới thiệu VPM-Data, bộ dữ liệu mô phỏng ghép video đa góc đồng bộ với quỹ đạo điểm, cùng VP-WorldBench, benchmark để đánh giá dạng dự đoán này. Trong thực tế, hướng tiếp cận này có thể giúp robot và các hệ thống AI hiện thân dự đoán cảnh vật sẽ thay đổi thế nào từ những góc nhìn mà chúng chưa trực tiếp quan sát.
Các nhà nghiên cứu và đội ngũ robot có thể theo dõi VPM như một hướng kết hợp video đa camera với dự đoán chuyển động 3D, giúp hệ thống hình dung cảnh sẽ thay đổi ra sao từ góc nhìn chưa quan sát. Đây hiện là kết quả nghiên cứu và bộ dữ liệu/benchmark, chưa phải công cụ người dùng phổ thông có thể dùng ngay.
Đọc bài gốc