PDRVLA: Mô hình thị giác-ngôn ngữ-hành động với biểu diễn động lực học vật lý
PDRVLA là một mô hình thị giác-ngôn ngữ-hành động được thiết kế để giúp robot tính đến động lực học vật lý khi chuyển hình ảnh từ camera và chỉ dẫn bằng ngôn ngữ thành hành động. Thay vì tạo video tương lai trong vòng điều khiển, vốn có thể gây độ trễ, mô hình sử dụng một Mô-đun Động lực học Vật lý gọn nhẹ để trích xuất các “token vật lý” từ đặc trưng thị giác-ngôn ngữ và dùng chúng định hướng việc sinh hành động. Mô-đun này được huấn luyện để dự đoán các đặc trưng RGB, độ sâu và luồng quang học trong tương lai, đồng thời nhận giám sát bổ sung từ một mô hình thế giới video được huấn luyện sẵn và cố định. Chỉ sử dụng dữ liệu công khai, được mở rộng bằng dữ liệu chuyển từ người sang robot, chú thích nhiệm vụ con và chú thích chuỗi suy luận hiện thân, PDRVLA đạt tỷ lệ thành công 99,3% trên LIBERO, 89,9% trên LIBERO-Plus, 93,6% trên RoboTwin 2.0 và 81,5% trên SimplerEnv. Kết quả cho thấy robot có thể hiểu tốt hơn về chuyển động và tương tác vật lý mà không phải tạo video trực tuyến với độ trễ cao, dù các kết quả được báo cáo mới chỉ giới hạn ở các bộ đánh giá mô phỏng.
PDRVLA đáng chú ý với các nhà phát triển robot và AI embodied vì nó bổ sung hiểu biết về chuyển động vật lý mà không phải liên tục tạo video tương lai trong vòng điều khiển. Hiện kết quả được báo cáo trên các bộ đánh giá mô phỏng, nên có thể theo dõi nghiên cứu này nhưng chưa nên mặc định rằng hiệu năng sẽ giữ nguyên trên robot thực.
Đọc bài gốc