HexaShell dùng VLM làm tác nhân lập trình cho robot hai tay
HexaShell là một lớp phần mềm mỏng dùng để kiểm tra xem một tác nhân lập trình dựa trên mô hình ngôn ngữ-thị giác (VLM) có thể điều khiển robot tốt đến đâu, thay vì chỉ điều khiển máy tính. Tác nhân vận hành một robot hai tay qua dòng lệnh, sử dụng hình ảnh từ ba camera RGB đã được hiệu chỉnh để quan sát môi trường và chuyển lệnh thành chuyển động. Sau mỗi lần thử thất bại, tác nhân đọc nhật ký, tìm nguyên nhân rồi viết hoặc sửa các chương trình nhỏ gọi là tool, qua đó lưu lại những gì đã học dưới dạng mã nguồn. Các tool này chỉ được dùng thông tin robot quan sát được và sử dụng phép tam giác đạc—xác định vị trí tại nơi hai tia nhìn từ camera giao nhau—hoặc các bề mặt đã biết như mặt bàn hay đỉnh khối hộp để ước tính vị trí vật thể so với tay gắp. Công trình đáng chú ý vì thăm dò khả năng các tác nhân lập trình đa dụng có thể cải thiện thao tác robot thông qua việc gỡ lỗi và tái sử dụng mã, thay vì chỉ dựa vào các chính sách được huấn luyện riêng cho từng nhiệm vụ.
Nghiên cứu này đáng chú ý với các nhà phát triển robot và AI vì nó cho thấy một tác nhân VLM có thể điều khiển robot, tự gỡ lỗi và lưu kỹ năng dưới dạng mã. Đây vẫn là kết quả nghiên cứu để theo dõi, chưa phải công cụ sẵn sàng cho người dùng phổ thông.
Đọc bài gốc