InfiniSplat v2 cải thiện dựng cảnh 3DGS từ ảnh ở các góc nhìn mới
InfiniSplat v2 là một phương pháp 3D Gaussian Splatting (3DGS) truyền thẳng, có thể dựng cảnh 3D trực tiếp từ các ảnh đầu vào để render cảnh từ những góc máy mới. Nghiên cứu phân tích lý do các thuộc tính Gaussian được dự đoán—như hình thức hiển thị và độ mờ—thường hoạt động kém khi góc nhìn thay đổi lớn, rồi đề xuất các thay đổi về kiến trúc và cách huấn luyện để khắc phục. Thiết kế này tách riêng việc dự đoán hình học và thuộc tính hiển thị, cố định nhánh hình học, dùng tư thế camera chuẩn để căn chỉnh các Gaussian trong quá trình huấn luyện, đồng thời bổ sung giám sát từ các góc nhìn đích có độ lệch lớn. Trên sáu bộ dữ liệu, cùng một mô hình đã huấn luyện đạt điểm LPIPS và DISTS trung bình tốt nhất trong số các phương pháp được đánh giá ở cả thiết lập có điều kiện về tư thế camera lẫn không có tư thế; ở thiết lập có điều kiện, hai chỉ số này lần lượt giảm 25,8% và 32,9% so với baseline mạnh nhất được thử nghiệm. Kết quả cho thấy việc căn chỉnh tốt hơn trong huấn luyện và bổ sung dữ liệu giám sát ở góc rộng có thể giúp các hệ thống chuyển ảnh thành 3D render ổn định hơn từ những góc nhìn khác xa ảnh đầu vào.
Các nhà nghiên cứu và nhà phát triển 3D nên theo dõi InfiniSplat v2 nếu quan tâm đến việc dựng cảnh 3D từ ảnh và render góc nhìn mới. Kết quả cho thấy việc tách dự đoán hình học khỏi thuộc tính hiển thị, cùng với huấn luyện ở các góc nhìn rộng, có thể cải thiện đáng kể chất lượng tái tạo.
Đọc bài gốc