Doc2Harness đo khả năng xây dựng harness cho coding agent trong các tác vụ dài
Doc2Harness là một benchmark được thiết kế để đo khả năng coding agent xây dựng và vận hành “harness” — lớp phần mềm kết nối LLM với công cụ và không gian làm việc thực — thay vì chỉ đánh giá bản thân mô hình. Ở Giai đoạn 1, một model xây dựng nhận contract chỉ mô tả giao diện cùng tài liệu phát triển tổng hợp hành vi của 12 harness tiên phong, sau đó tạo ra một harness hoàn chỉnh trong container biệt lập. Sang Giai đoạn 2, harness ứng viên được đóng băng và kiểm thử đầu cuối trong các container riêng, với một mock model chạy theo kịch bản; mỗi trường hợp được chấm qua bốn kênh quan sát được. Benchmark này nhấn mạnh rằng hiệu quả của agent trong các tác vụ kéo dài không chỉ phụ thuộc vào LLM nền tảng mà còn vào khả năng điều phối công cụ, kiểm soát không gian làm việc và các thành phần kỹ thuật xung quanh mô hình.
Các nhóm phát triển coding agent nên đánh giá riêng cả lớp “harness” — phần kết nối mô hình với công cụ và môi trường làm việc — thay vì chỉ nhìn vào chất lượng LLM. Doc2Harness gợi ý một cách kiểm thử các tác vụ dài và khả năng phối hợp công cụ trong điều kiện gần với sử dụng thực tế.
Đọc bài gốc