Holi-World xây dựng năng lực hiểu thế giới từ trải nghiệm góc nhìn thứ nhất của con người
Holi-World đề xuất một hệ thống tích hợp nhằm dạy AI hiểu thế giới từ các video ghi lại hoạt động của con người dưới góc nhìn thứ nhất. Hệ thống kết nối việc thu thập trải nghiệm, biểu diễn cảnh vật và đồ vật, tự động tạo dữ liệu huấn luyện, học mô hình và đánh giá độc lập, qua đó giảm nhu cầu gắn nhãn thủ công tốn kém. Thành phần HOLIWORLD-Foundry kết hợp nhận thức tĩnh và động để tạo các bản ghi theo dõi cấu trúc cảnh vật ổn định, trạng thái thay đổi của đồ vật và lịch sử tương tác qua nhiều góc nhìn, thời điểm. HOLIWORLD-Data sắp xếp dữ liệu từ khoảng 100 cảnh do nhóm tự thu thập thành các tài nguyên học tập có cơ sở thực tế, trong đó có khoảng 80.000 cặp hỏi–đáp. Công trình này đáng chú ý vì hướng tới một dạng “trí tuệ thế giới” thực dụng hơn: AI có thể liên kết những gì nó nhìn thấy với cách đồ vật thay đổi và cách con người tương tác với chúng.
Các nhà nghiên cứu AI, thị giác máy tính và robot nên theo dõi Holi-World như một hướng xây dựng dữ liệu từ video góc nhìn thứ nhất để giúp mô hình hiểu cảnh vật và tương tác theo thời gian. Hiện chưa có thông tin trong bài về việc phát hành dữ liệu hay mô hình để dùng ngay.
Đọc bài gốc