Thử nghiệm trên 50 sự cố Kubernetes: cung cấp thêm ngữ cảnh giúp coding agent chẩn đoán nhanh hơn
Một bài viết trên CNCF Blog cho biết việc cung cấp thêm ngữ cảnh Kubernetes có thể giúp coding agent hiện có chẩn đoán sự cố nhanh hơn đáng kể mà không cần thay đổi mô hình AI. Trong thử nghiệm với 50 cụm bị lỗi, Claude Code dùng các công cụ MCP chỉ-đọc đưa ra 46 chẩn đoán đúng, so với 45 khi chỉ dùng shell và kubectl thô; điểm đánh giá trung bình tăng từ 0,905 lên 0,936. Khác biệt lớn hơn nằm ở tốc độ: tỷ lệ chẩn đoán đúng trong vòng hai phút tăng từ 60% lên 86%, thời gian gửi chẩn đoán trung bình giảm từ 191 giây xuống 64 giây, còn số lần gọi công cụ giảm từ 16,3 xuống 9,8 cho mỗi sự cố. Thử nghiệm chạy trên một cụm Amazon EKS gồm ba nút, sử dụng các lỗi trong SREGym, Claude Sonnet 5 qua Amazon Bedrock và Claude Opus 5 làm bộ chấm điểm. Công cụ Radar chỉ-đọc cung cấp các lỗi hiện tại, lịch sử thay đổi, mối quan hệ giữa tài nguyên và log tập trung vào lỗi; trong một ví dụ, agent tìm ra biến môi trường CARTADDR bị thiếu trong 35 giây với bảy lần gọi công cụ, so với gần 12 phút và 58 lần gọi khi dùng kubectl. Hai cách tiếp cận vẫn mắc cùng ba lỗi, và bài viết lưu ý rằng phép so sánh chưa tách riêng được tác động của ngữ cảnh khỏi khác biệt về quyền ghi. Bài học thực tế là các đội vận hành nên đo thử coding agent hiện có với ngữ cảnh Kubernetes có cấu trúc trước khi mua một sản phẩm AI SRE chuyên dụng, vì cải thiện khả năng chẩn đoán có thể đến từ dữ liệu quan sát tốt hơn thay vì một mô hình mạnh hơn.
Các đội vận hành Kubernetes nên thử cung cấp cho coding agent hiện có thông tin về lỗi đang xảy ra, lịch sử thay đổi, quan hệ giữa tài nguyên và log đã lọc trước khi mua một sản phẩm AI SRE riêng. Bài kiểm thử cho thấy cách này có thể rút ngắn đáng kể thời gian chẩn đoán, nhưng vẫn cần tự đo trên hệ thống của mình vì thử nghiệm có giới hạn và do nhà cung cấp công cụ thực hiện.
Đọc bài gốc