HiSTEVE 1.0: Kết hợp tác tử VLA điều khiển giao diện người dùng cho game thế giới mở
HiSTEVE là một tác tử thị giác–ngôn ngữ–hành động (VLA) phân cấp, được thiết kế để chơi các game thế giới mở như Minecraft bằng những giao diện hình ảnh và thao tác đầu vào tự nhiên giống con người. Hệ thống kết hợp khả năng lập kế hoạch dài hạn — chia mục tiêu lớn thành các nhiệm vụ nhỏ — với điều khiển trực tiếp dựa trên hình ảnh và hành động, nhằm khắc phục hạn chế của các tác tử trước đây vốn thường chỉ có một trong hai khả năng này. Bộ điều phối của tác tử sử dụng bộ nhớ có cấu trúc để theo dõi tiến độ và một mô hình thị giác–ngôn ngữ (VLM) để chọn các nhiệm vụ phù hợp với năng lực của VLA. Một bộ phát hiện hoàn thành nhiệm vụ gắn với chính sách, có xét đến ngữ cảnh quyết định của VLA, giúp xác định liệu một nhiệm vụ nhỏ đã thực sự hoàn tất hay chưa. Công trình sử dụng Minecraft làm môi trường thử nghiệm để nghiên cứu các tác tử tự chủ hơn, có thể hoạt động ổn định trong những thế giới được tạo thủ tục và luôn thay đổi.
Đọc bài gốc