AgentSWE: benchmark kiểm tra liệu agent lập trình có xây được agent đúng ý người dùng
Các nhà nghiên cứu vừa giới thiệu AgentSWE, một benchmark đánh giá liệu các coding agent (hệ thống AI viết phần mềm) có thể xây dựng những agent AI khác thực sự đáp ứng yêu cầu của người dùng, chứ không chỉ trông có vẻ đáp ứng. Nhóm tác giả cho biết hiện chưa có benchmark nào kiểm tra điều này. AgentSWE gồm 25 tác vụ, trải trên ba giai đoạn xây dựng agent: Creation (tạo một agent hoàn chỉnh từ yêu cầu bằng ngôn ngữ tự nhiên), Editing (chỉnh sửa codebase agent đang chạy thực tế) và Optimization (tối ưu hướng tới một mục tiêu đo được). Mỗi tác vụ được đặt như một đơn đặt hàng chứ không phải bài thi: bên xây dựng lặp lại trên một vài ví dụ minh hoạ, sau đó sản phẩm đã đóng băng được chạy trên các ca kiểm tra được giữ kín, thiết kế để bao phủ toàn bộ yêu cầu. Kết quả được chấm theo các rubric rút ra từ yêu cầu, với ngưỡng đạt/không đạt cứng (riêng Optimization được chấm theo mục tiêu của nó). Khi ngày càng nhiều doanh nghiệp giao việc xây agent cho AI, kiểu kiểm tra này cho thấy agent được giao có hoạt động tốt ngoài những ví dụ đã thấy hay không.
Đây chủ yếu là nghiên cứu, nhưng đáng chú ý với lập trình viên và doanh nghiệp định giao cho AI viết agent riêng: cần kiểm thử trên các tình huống ngoài ví dụ mẫu thay vì chỉ tin vào demo.
Đọc bài gốc