MPO tối ưu hóa chính sách đa cấp cho các agent LLM thực hiện tác vụ dài hạn
Các nhà nghiên cứu đề xuất Multiscale Policy Optimization (MPO), một phương pháp huấn luyện agent LLM phải hoàn thành nhiều lượt tương tác trong khi vẫn lựa chọn hành động theo từng token. Phương pháp này kết hợp Multiscale Advantage Estimation, cơ chế phân bổ tín dụng học tập ở cả cấp lượt tương tác và cấp token, với lấy mẫu quan trọng ở cấp lượt để các cập nhật chính sách phù hợp hơn với cách agent thực sự tương tác với môi trường. Thử nghiệm trên các tác vụ tìm kiếm, sử dụng công cụ và tự động hóa bằng các mô hình 4B và 30B-A3B cho thấy MPO cải thiện nhất quán so với những phương pháp học tăng cường mạnh. Kết quả gợi ý rằng việc xem toàn bộ một lượt trả lời của trợ lý là đơn vị học tập quan trọng, thay vì tối ưu từng token một cách tách biệt, có thể giúp agent đáng tin cậy hơn trong các tác vụ nhiều bước kéo dài.
Các nhà nghiên cứu và nhóm phát triển AI nên theo dõi MPO nếu đang huấn luyện agent LLM cho tác vụ nhiều bước, tìm kiếm hoặc gọi công cụ. Đây là phương pháp nghiên cứu chứ chưa phải sản phẩm người dùng có thể triển khai ngay, nhưng ý tưởng phân bổ tín dụng theo từng lượt tương tác có thể hữu ích khi thiết kế quy trình huấn luyện agent.
Đọc bài gốc