AWS Continuum đạt 89,0% trên CyberGym-E2E, tự động tìm, chứng minh và vá lỗ hổng mã nguồn
AWS vừa giới thiệu Continuum for code vulnerabilities, một hệ thống AI đa tác tử có khả năng tìm lỗ hổng bảo mật trong phần mềm, chứng minh lỗ hổng là có thật và viết bản vá đã được kiểm thử. Trên CyberGym-E2E, bộ đánh giá công khai gồm 920 tác vụ lấy từ các lỗi OSS-Fuzz trong lịch sử của 139 dự án mã nguồn mở, Continuum vượt qua 819 tác vụ trong giới hạn 90 phút. Đó là tỷ lệ thành công đầu-cuối 89,0%, cao hơn 23,1 điểm phần trăm so với mức cao nhất công khai trước đó là 65,9%. Bộ đánh giá không đưa cho tác tử bất kỳ gợi ý nào như mô tả lỗi, nhật ký crash hay bản vá gốc, và chấm điểm theo bốn giai đoạn: làm chương trình bị crash, vá để hết crash, giữ cho các bài kiểm thử hiện có vẫn đạt, và sửa đúng lỗi lịch sử mà bộ đánh giá chọn. Continuum đạt lần lượt 92,5%, 89,6%, 89,0% và 37,8% ở các giai đoạn này, đều cao hơn kết quả trước đó. Con số cuối thấp hơn một phần vì một dự án có thể còn những lỗ hổng thật khác ngoài lỗi mà bộ đánh giá chọn. Khi không giới hạn thời gian, tỷ lệ đạt tăng lên 93,7%. Continuum chia công việc thành khám phá, xác thực (dựng mã khai thác chứng minh khái niệm chạy được) và khắc phục, với bằng chứng được chuyển tiếp giữa các giai đoạn. AWS cho biết truy cập mạng bị chặn và việc rà soát quỹ đạo cho thấy kết quả đến từ phân tích chứ không phải tra cứu bản vá công khai. Đây là số liệu do chính AWS công bố, nhưng nó cho thấy AI có thể giúp các đội bảo mật xử lý lượng lỗ hổng ngày càng nhiều, vượt quá khả năng điều tra và sửa thủ công.
Các đội bảo mật và lập trình viên nên theo dõi vì công cụ tự động tìm, chứng minh và vá lỗ hổng đang tiến bộ nhanh, có thể giảm tải khối lượng lỗi tồn đọng. Kết quả do chính AWS công bố nên cần chờ đánh giá độc lập trước khi kỳ vọng vào thực tế.
Đọc bài gốc