SWE-Trail: Thu thập trajectory có định hướng lịch sử để huấn luyện coding agent
SWE-Trail giới thiệu một phương pháp thu thập dữ liệu huấn luyện cho coding agent, trong đó các lần thử giải quyết trước đó được dùng để định hướng việc thu thập những lần thử tiếp theo. Phương pháp này nhắm tới các vấn đề trong kho mã nguồn, vốn yêu cầu agent phải khám phá code, chỉnh sửa tệp, chạy kiểm thử và xác nhận bản sửa qua nhiều bước. Thay vì đưa trajectory trước đó cho agent làm lời khuyên—cách có thể tạo ra độ lệch giữa huấn luyện và kiểm thử vì lời khuyên ấy có thể không tồn tại khi triển khai—SWE-Trail chỉ dùng lịch sử để quyết định nên dành thêm công sức thu thập dữ liệu ở đâu. Mục tiêu là giảm các trajectory trùng lặp và tạo ra dữ liệu hậu huấn luyện hữu ích hơn, qua đó có thể cải thiện khả năng học cách xử lý các tác vụ kỹ thuật phần mềm của coding agent.
Các nhóm nghiên cứu và phát triển coding agent nên chú ý đến cách thu thập trajectory, không chỉ số lượng mẫu: dùng các lần thử trước để chọn hướng thu thập tiếp theo có thể tạo dữ liệu đa dạng hơn mà không khiến mô hình phụ thuộc vào thông tin không có lúc triển khai. Đây là phương pháp nghiên cứu, chưa phải tính năng người dùng cuối có thể áp dụng ngay.
Đọc bài gốc