R^2Orch: Tự cải thiện đệ quy cho điều phối tác tử bằng tự chơi và vòng lặp nội hóa kỹ năng
R^2Orch giới thiệu một phương pháp tự chơi đệ quy để huấn luyện các tác tử AI phối hợp nhiều kỹ năng nhằm giải quyết những nhiệm vụ phức tạp. Vòng lặp bên trong cho phép bộ điều phối tự chọn nhiệm vụ để luyện tập, còn vòng lặp bên ngoài cải thiện cách các nhiệm vụ luyện tập được lựa chọn và cách quá trình học diễn ra. Phương pháp này sử dụng “Recursive Learnability” để thưởng cho Proposer khi chọn những nhiệm vụ tạo ra các kết quả khác nhau ngay cả khi lần lượt rút bớt các kỹ năng, qua đó cung cấp tín hiệu huấn luyện giàu thông tin hơn. Nó cũng sử dụng “Skill Withdrawal”, tạm thời loại bỏ từng kỹ năng sau khi đánh giá có kiểm soát cho thấy bộ điều phối vẫn hoạt động tốt mà không cần kỹ năng đó. Cách tiếp cận này nhằm giảm phụ thuộc vào chương trình huấn luyện được thiết kế thủ công, tránh tình trạng mọi lần chạy đều cho cùng một kết quả và hạn chế việc đánh giá kỹ năng chỉ dựa trên một điểm số nhiễu.
Đọc bài gốc