InteractiveWorld tạo môi trường kiểm chứng trợ lý MLLM hướng dẫn con người trong thế giới thực
Các nhà nghiên cứu giới thiệu InteractiveWorld, một môi trường có thể kiểm chứng để thử nghiệm các trợ lý mô hình ngôn ngữ lớn đa phương thức (MLLM) hướng dẫn con người thực hiện công việc trong thế giới vật lý. Thay vì trực tiếp điều khiển robot, trợ lý quan sát khung cảnh, đưa ra chỉ dẫn và đánh giá cách một tác nhân giống con người hiểu rồi thực hiện chúng trong một vòng lặp khép kín, nghĩa là mỗi hành động có thể ảnh hưởng đến diễn biến tiếp theo. Hệ thống này nhằm giải quyết tình trạng thiếu dữ liệu tương tác thực tế nhưng dễ thu thập, qua đó giúp xác định liệu các MLLM hiện nay có thực sự hỗ trợ con người trong những hoạt động vật lý hằng ngày hay không.
Các nhà nghiên cứu AI và phát triển trợ lý đeo trên người nên theo dõi InteractiveWorld như một cách mới để đánh giá khả năng hướng dẫn con người trong môi trường vật lý. Công cụ này chưa được nêu là đã mở cho người dùng phổ thông, nhưng có thể mở đường cho các bài kiểm thử thực tế hơn thay vì chỉ đánh giá mô hình qua văn bản hoặc robot.
Đọc bài gốc