CWE-bench v2 mở rộng phạm vi và tăng tính minh bạch cho benchmark đánh giá AI tìm lỗi bảo mật
Hugging Face và Collinear AI đã phát hành CWE-bench v2, một benchmark mở gồm 100 nhiệm vụ bảo mật lấy từ các kho mã nguồn mở thực tế. Mỗi nhiệm vụ yêu cầu một agent AI tìm và sửa một điểm yếu bảo mật mà không làm hỏng chức năng hiện có; kết quả được chấm tự động, xác định và có thể tái lập mà không phát sinh thêm chi phí. Các nhiệm vụ bao phủ 91 nhóm thuộc Common Weakness Enumeration (CWE), một hệ thống phân loại tiêu chuẩn cho các lỗi bảo mật phần mềm, đồng thời được kiểm tra thủ công về chỉ dẫn, bộ xác minh và bản sửa mẫu. Benchmark cũng duy trì một tập dữ liệu giữ kín để đánh giá mô hình trên các lỗ hổng mà chúng chưa từng thấy, trong khi bộ dữ liệu công khai, grader và môi trường chạy Harbor đều được mở. Trong 11 mô hình được đánh giá, Gemini 4 Argon dẫn đầu với 67,8% pass@1 và 81,0% pass@4, nhỉnh hơn Claude Opus 5.5; có 95 trên 100 nhiệm vụ được ít nhất một mô hình giải thành công. Kết quả cho thấy các mô hình đã tiến bộ nhưng vẫn còn khoảng cách đáng kể: ngay cả mô hình đứng đầu cũng thất bại ở 19% số nhiệm vụ trong mọi lượt thử. DeepSeek V4.1 Flash có hiệu quả chi phí tốt nhất trong số được báo cáo, đạt 57,0% pass@1 với 0,04 USD mỗi lượt chạy, so với 1,83 USD của Claude Opus 5.5 và 3,92 USD của Gemini 4 Argon. Trên thực tế, CWE-bench v2 cung cấp cho nhà phát triển và nhà nghiên cứu một cách tái lập để đo xem agent AI có thể thực hiện công việc bảo mật phòng thủ trên nhiều loại lỗi hay chỉ nhận ra các mẫu lỗi quen thuộc.
Các nhóm phát triển AI và bảo mật có thể dùng CWE-bench v2 để tự đánh giá agent tìm và sửa lỗ hổng trong mã nguồn mở bằng quy trình có thể tái lập. Bộ dữ liệu công khai, grader và môi trường Harbor đã mở, nhưng người dùng cần chấp nhận điều kiện truy cập trên Hugging Face trước khi chạy.
Đọc bài gốc