EgoXperience xây dựng biểu diễn góc nhìn thứ nhất dựa trên thế giới từ trải nghiệm của con người
EgoXperience giới thiệu một phương pháp toàn diện để tái dựng hoạt động của con người từ video góc nhìn thứ nhất—loại video được quay từ góc nhìn của một người—đồng thời giữ cho chuyển động của camera, môi trường xung quanh, bàn tay và các vật thể được tương tác nhất quán trong cùng một thế giới 3D. Công cụ tự động EgoX-Engine kết hợp theo dõi vật thể đã được kiểm chứng về hình học với SLAM, kỹ thuật vừa ước tính chuyển động camera vừa xây dựng bản đồ, để tạo dữ liệu giám sát đồng bộ cho tất cả các thành phần này. Dự án cũng giới thiệu EgoX-Data-6M, một bộ dữ liệu dài 50 giờ bao quát các hoạt động thao tác với vật thể và di chuyển có mục đích trong môi trường trong nhà lẫn ngoài trời, kèm chú thích mô tả hoạt động ở khoảng thời gian một giây. Công trình bao gồm một mô hình thống nhất và các bộ benchmark để đánh giá khả năng hiểu video góc nhìn thứ nhất trong không gian thực. Về thực tế, đây có thể là nền tảng nhất quán hơn để xây dựng robot và hệ thống thị giác hiểu một người đang làm gì, họ đang ở đâu và bàn tay tương tác với thế giới xung quanh ra sao.
Các nhà nghiên cứu thị giác máy tính và robot nên theo dõi EgoXperience vì bộ dữ liệu và quy trình gán nhãn này có thể giúp huấn luyện hệ thống hiểu đồng thời chuyển động của người quan sát, không gian xung quanh và tương tác tay–vật thể. Đây là nền tảng nghiên cứu hơn là một tính năng người dùng phổ thông có thể dùng ngay.
Đọc bài gốc