SpatialScout đánh giá khả năng tác nhân VLM tự khám phá và lập bản đồ cảnh 3D
SpatialScout là một bộ chuẩn đánh giá khả năng của các tác nhân mô hình ngôn ngữ-thị giác (VLM) trong việc chủ động khám phá môi trường 3D trong nhà và xây dựng bản đồ định lượng về các vật thể. Bộ dữ liệu gồm 80 cảnh đa dạng với 3.140 vật thể mục tiêu; tác nhân được cung cấp danh sách vật thể, ảnh RGB, thông số hiệu chuẩn camera và tư thế camera, sau đó điều khiển camera để ước tính tâm của từng vật thể trong cùng một hệ tọa độ 3D. Bài toán đồng thời đánh giá nhiều năng lực: chọn góc nhìn hữu ích, nhận diện cùng một vật thể qua các góc nhìn khác nhau, ước tính hình học và cập nhật bản đồ trong giới hạn số lần tương tác. Điểm số kết hợp độ chính xác định vị với độ bao phủ vật thể, sử dụng các phép đo mức độ chồng lấp theo kích thước vật thể và phạt những dự đoán bị bỏ sót. Bộ chuẩn này nhằm kiểm tra năng lực không gian thực tế vượt ra ngoài hỏi đáp hình ảnh thông thường, vốn chưa cho thấy rõ liệu mô hình có thể tự xây dựng bản đồ chính xác hay không.
Đọc bài gốc