Mô hình thị giác-ngôn ngữ học cách suy nghĩ và khám phá trong không gian 3D
Các nhà nghiên cứu giới thiệu một phương pháp để mô hình thị giác-ngôn ngữ suy luận và khám phá môi trường 3D chỉ bằng từng ảnh được kết xuất tại một thời điểm, thay vì nhận ảnh đa góc nhìn, video hoặc biểu diễn 3D trực tiếp. Bắt đầu từ góc nhìn thứ nhất và một câu hỏi trực quan, mô hình có thể di chuyển, quan sát các góc mới, định hướng lại rồi mới đưa ra câu trả lời. Sau giai đoạn huấn luyện có giám sát trên các quỹ đạo mẫu, nhóm nghiên cứu áp dụng học tăng cường, trong đó phần thưởng chủ yếu dựa trên việc trả lời đúng và không chỉ rõ mô hình nên chọn góc nhìn hay hành động nào. Cách tiếp cận này hướng tới việc giúp mô hình trả lời câu hỏi về không gian 3D giống con người hơn, khi khả năng hiểu không gian được hình thành qua việc chủ động thu thập quan sát.
Nghiên cứu này đáng chú ý với các nhóm phát triển AI thị giác, robot và tác nhân trong môi trường 3D: mô hình có thể học cách tự chọn góc nhìn để trả lời câu hỏi thay vì nhận sẵn toàn bộ dữ liệu 3D. Đây hiện chủ yếu là hướng nghiên cứu, nhưng có thể mở đường cho hệ thống robot hoặc trợ lý ảo biết quan sát và di chuyển chủ động hơn.
Đọc bài gốc