ScaleNav kết hợp tiền huấn luyện video Internet với điều hướng robot theo ngôn ngữ
ScaleNav là một khung huấn luyện ba giai đoạn dành cho robot phải làm theo chỉ dẫn bằng ngôn ngữ tự nhiên để đi tới một mục tiêu đang nhìn thấy và dừng tại vị trí được mô tả. Phương pháp này sử dụng lượng lớn video góc nhìn thứ nhất trên Internet để học cách cảnh vật thay đổi khi camera tiến về các mục tiêu được chỉ dẫn, sau đó dùng dữ liệu mô phỏng có gắn nhãn hành động để liên kết những động lực hình ảnh đã học với các chuỗi hành động mà robot có thể thực thi. Phương pháp này nhằm giải quyết hai vấn đề dữ liệu phổ biến: việc thu thập bản ghi từ robot thật tốn kém, còn huấn luyện trong mô phỏng thường không chuyển hoàn toàn sang môi trường vật lý. Nếu hoạt động hiệu quả, ScaleNav có thể giúp các nhà nghiên cứu xây dựng hệ thống điều hướng theo ngôn ngữ có khả năng khái quát tốt hơn giữa nhiều môi trường thực tế mà ít phụ thuộc hơn vào dữ liệu robot đắt đỏ.
Nghiên cứu này đáng chú ý với các nhóm robot và AI đa phương thức: video góc nhìn thứ nhất trên Internet có thể trở thành nguồn dữ liệu quy mô lớn để huấn luyện robot làm theo chỉ dẫn bằng ngôn ngữ. Đây vẫn là hướng nghiên cứu, nên nhà phát triển chưa có sản phẩm cụ thể để dùng ngay nhưng có thể theo dõi cách ScaleNav kết hợp video thực tế với dữ liệu mô phỏng.
Đọc bài gốc