AWS ra mắt Deception Benchmark: đo khả năng AI phân biệt lỗ hổng thật với cảnh báo giả
AWS công bố Deception Benchmark, bộ dữ liệu kiểm tra xem mô hình AI có phân biệt được lỗ hổng phần mềm thật với đoạn mã trông có vẻ nguy hiểm nhưng thực chất an toàn hay không. Bộ dữ liệu gồm 14.822 mẫu, 16 ngôn ngữ lập trình và hơn 70 nhóm điểm yếu (CWE). AWS đã đánh giá 12 mô hình của năm nhà cung cấp và thấy rằng với cách nhắc (prompt) thông thường, độ chính xác chỉ ở mức khoảng giữa những năm 50%, tức một cảnh báo lỗ hổng có khả năng sai ngang với đúng. Các mẫu an toàn được thiết kế để đánh lừa: dùng framework và cách viết thực tế nhưng có một biện pháp khắc phục kín đáo, ví dụ truy vấn cơ sở dữ liệu có tham số hoá đã chặn SQL injection. Bộ dữ liệu có 6.988 thử thách cấp mã (biến thể có lỗi và biến thể an toàn chỉ khác nhau một chỗ nhỏ) và 2.707 thử thách phụ thuộc môi trường, trong đó cùng một đoạn mã có thể khai thác được hoặc không tuỳ bối cảnh triển khai, chẳng hạn chính sách mạng Kubernetes chặn tấn công SSRF. Mỗi mẫu được tôi luyện bằng cách liên tục thử với các mô hình hàng đầu và loại bỏ mẫu quá dễ, tiêu tốn hàng chục tỷ token theo AWS. Nhãn được nhiều người đánh giá độc lập kiểm tra chéo cùng khâu duyệt của con người, và mẫu bị tranh cãi sẽ bị loại chứ không bị gán lại nhãn. Điều này quan trọng vì cảnh báo giả làm tốn thời gian kỹ sư và làm giảm niềm tin vào công cụ bảo mật AI, trong khi các benchmark hiện có chủ yếu đo khả năng tấn công thay vì độ chính xác khi phòng thủ.
Đội ngũ bảo mật và lập trình viên đang cân nhắc dùng AI để rà soát mã nên thận trọng: mô hình hay báo nhầm lỗ hổng, nên cần con người kiểm chứng. Nhà nghiên cứu có thể dùng bộ dữ liệu và whitepaper AWS công bố để tự đánh giá công cụ của mình.
Đọc bài gốc