LangChain báo cáo đưa agent lập trình từ Top 30 lên Top 5 trên Terminal Bench 2.0 nhờ cải tiến harness
LangChain cho biết họ đã nâng điểm của agent lập trình deepagents-cli từ 52.8 lên 66.5 trên Terminal Bench 2.0, đưa hệ thống từ khoảng Top 30 lên Top 5, trong khi giữ nguyên model GPT-5.2-Codex. Công ty quy kết kết quả này cho việc thay đổi “harness” — tập hợp prompt, công cụ, middleware và các bước thực thi bao quanh model — thay vì sử dụng một model mới. Nhóm đã phân tích các trace trong LangSmith, nơi ghi lại hành động và kết quả của agent, để tìm những lỗi như bỏ qua kiểm thử, không làm đúng hướng dẫn, sai sót trong suy luận và hết thời gian. Sau đó, họ bổ sung quy trình phân tích trace có thể lặp lại, hướng dẫn chặt chẽ hơn về lập kế hoạch và kiểm thử, checklist trước khi hoàn tất để buộc agent xác minh lần cuối, cơ chế tự phát hiện môi trường làm việc, cùng các nhắc nhở tuân thủ chính xác đường dẫn tệp và các trường hợp biên. Terminal Bench 2.0 gồm 89 nhiệm vụ lập trình thuộc các lĩnh vực như machine learning, gỡ lỗi và sinh học; các lượt chạy được điều phối trong môi trường sandbox thông qua Harbor và Daytona. Kết quả cho thấy cải thiện cách agent làm việc có thể nâng đáng kể độ tin cậy khi lập trình mà không cần thay đổi model, mang đến cho nhà phát triển một cách thực tế để khai thác tốt hơn các hệ thống hiện có thông qua kiểm thử, khả năng quan sát và quy trình thực thi tốt hơn.
Các nhà phát triển agent có thể áp dụng ngay cách làm này: ghi lại trace, phân tích lỗi, buộc agent chạy kiểm thử và xác minh yêu cầu trước khi kết thúc. Kết quả cho thấy việc cải thiện prompt, công cụ và luồng thực thi có thể nâng độ tin cậy của agent mà không cần đổi model.
Đọc bài gốc