LaLa-World dùng ngôn ngữ để mở rộng world model tiềm ẩn cho robot và nhiều lĩnh vực
LaLa-World là một world model tiềm ẩn có điều kiện ngôn ngữ, học cách dự đoán môi trường sẽ thay đổi như thế nào từ dữ liệu mô phỏng, quỹ đạo robot, ảnh và video. Thay vì dùng các mô hình riêng cho từng tác vụ hoặc lĩnh vực, hệ thống mô tả cả hành động—chẳng hạn như đi về phía trước—và thay đổi hình ảnh bằng ngôn ngữ tự nhiên, cho phép một bộ dự đoán tương lai duy nhất học từ các tập dữ liệu không đồng nhất. Bộ dự đoán được xây dựng trên một mô hình ngôn ngữ và dự báo các trạng thái tiềm ẩn trong tương lai, tức những biểu diễn nội bộ cô đọng về diện mạo tiếp theo của thế giới. Trong các thử nghiệm, hệ thống đạt hiệu suất lập kế hoạch MPC trung bình cao hơn các latent world model hiện có vốn được huấn luyện riêng cho từng lĩnh vực, đồng thời việc bổ sung dữ liệu ảnh và video còn cải thiện kết quả. Nghiên cứu này cho thấy ngôn ngữ có thể trở thành giao diện chung để huấn luyện các mô hình tổng quát hơn, có khả năng hình dung những kết quả có thể xảy ra trước khi chọn hành động.
Các nhà nghiên cứu robot và AI có thể quan tâm đến hướng dùng ngôn ngữ làm giao diện chung để huấn luyện world model từ dữ liệu mô phỏng, robot, ảnh và video. Kết quả này gợi ý rằng việc bổ sung dữ liệu thị giác đa dạng có thể cải thiện khả năng lập kế hoạch, nhưng đây vẫn là kết quả nghiên cứu hơn là một công cụ sẵn sàng cho người dùng phổ thông.
Đọc bài gốc