WorldCast tạo video nhân vật nhất quán với chuyển động camera góc lớn
Các nhà nghiên cứu giới thiệu WorldCast, một framework tạo video nhân vật vẫn nhất quán về hình ảnh và hình học khi camera di chuyển lớn quanh chủ thể. Hệ thống hướng đến các quỹ đạo kết hợp xoay, tịnh tiến và thay đổi khoảng cách camera, kể cả khi bắt đầu từ những góc nhìn bất kỳ. Công trình đi kèm bộ dữ liệu và benchmark CLACT, cung cấp nhiều quỹ đạo camera góc lớn, dữ liệu hình học camera chính xác và quan sát nhân vật từ nhiều góc để huấn luyện, đánh giá. WorldCast chiếu ngược khung hình đầu tiên thành một đám mây điểm 3D bằng độ sâu ước tính, điều chỉnh tỷ lệ của đám mây theo quỹ đạo camera mục tiêu rồi kết xuất cảnh dọc theo quỹ đạo đó. Cách làm này giúp tái hiện những vùng nhân vật không xuất hiện trong góc nhìn ban đầu mà hạn chế biến dạng, suy giảm ngoại hình và mất nhất quán danh tính. Công trình có thể giúp các công cụ tạo video AI theo phong cách điện ảnh kiểm soát góc nhìn tốt hơn và duy trì diện mạo nhân vật khi camera di chuyển xa khỏi góc ban đầu.
Đọc bài gốc