Self-HPO: Khung tự cải thiện agent lập trình bằng cách tối ưu mô hình và bộ điều phối
Các nhà nghiên cứu đề xuất Self-HPO, một khung xây dựng agent lập trình có thể đồng thời cải thiện chính sách của mô hình ngôn ngữ và “harness” — tập hợp công cụ, quy trình kết nối agent với môi trường lập trình. Phương pháp này luân phiên hai giai đoạn: agent hiện tại phân tích các lỗi của mình và đề xuất thiết kế harness mới, sau đó mô hình được cập nhật bằng học tăng cường dưới harness được chọn. Những nhiệm vụ khó phát hiện trong quá trình huấn luyện sẽ được đưa vào vòng tìm kiếm harness tiếp theo, tạo thành một chu trình cải thiện đệ quy. Bài nghiên cứu cho rằng chỉ tối ưu một phía sẽ kém hiệu quả: harness được tinh chỉnh cho mô hình cũ có thể bỏ sót điểm yếu của mô hình mới, còn harness cố định sẽ hạn chế loại trải nghiệm mà mô hình có thể dùng để học. Nếu hoạt động hiệu quả, Self-HPO có thể giúp agent lập trình thích nghi tốt hơn bằng cách cải thiện đồng thời cách chúng suy luận và cách chúng tương tác với các công cụ phần mềm, thay vì xử lý hai thành phần này tách biệt.
Các nhà phát triển agent lập trình và nhóm nghiên cứu có thể theo dõi Self-HPO như một hướng tối ưu đồng thời mô hình và bộ công cụ điều phối agent, thay vì chỉ huấn luyện một phía. Đây chưa phải là sản phẩm để người dùng cuối dùng ngay, nhưng có thể gợi ý cách xây dựng agent tự tìm lỗi và cải thiện quy trình làm việc.
Đọc bài gốc