RoTA-Bench đánh giá khả năng suy luận không gian 3D của mô hình thị giác-ngôn ngữ qua căn chỉnh hình chiếu tương tác
RoTA-Bench là một benchmark mới nhằm kiểm tra liệu các mô hình thị giác-ngôn ngữ có thể suy luận về vật thể 3D từ hình ảnh 2D và chọn các phép xoay chính xác để khớp với hình bóng mục tiêu hay không. Trong mỗi bài, mô hình quan sát một vật thể ở một góc nhất định rồi thực hiện một chuỗi phép xoay có giới hạn cho đến khi hình chiếu 2D khớp với mục tiêu; benchmark gồm 674 bài, trong đó có bộ kiểm tra phân tầng 100 bài. Benchmark được xây dựng bằng cách chuyển các biểu tượng 2D thành vật thể 3D vẫn giữ nguyên hình bóng, đồng thời dùng cách khởi tạo có thể đảo ngược để bảo đảm mọi bài đều có lời giải. GPT-5.6-Sol chỉ hoàn thành đúng 17% số bài, trong khi 20 sinh viên đại học cùng thực hiện bộ kiểm tra bốn lần và đạt tỷ lệ thành công 100%. Kết quả cho thấy các mô hình hiện nay vẫn kém con người đáng kể trong suy luận không gian 3D có tính tương tác, một năng lực quan trọng với những hệ thống phải hành động dựa trên phản hồi hình ảnh thay vì chỉ mô tả hình ảnh.
Đây là một benchmark nghiên cứu cho thấy các mô hình thị giác-ngôn ngữ hiện vẫn yếu hơn nhiều so với con người khi phải suy luận không gian 3D và điều khiển vật thể qua nhiều bước. Nhà nghiên cứu và nhóm phát triển AI có thể theo dõi RoTA-Bench như một phép thử bổ sung cho các hệ thống cần tương tác với môi trường, thay vì chỉ nhận diện hoặc mô tả hình ảnh.
Đọc bài gốc