Cloudflare Logpush ra mắt Transformers: lọc, che và định dạng lại log bằng SQL trước khi xuất
Cloudflare đã đưa Transformers vào Logpush, dịch vụ xuất log tới các hệ thống SIEM (giám sát an ninh), nền tảng phân tích và kho lưu trữ đối tượng. Mỗi Transformer là một câu truy vấn SQL viết cho một bộ dữ liệu log cụ thể: mệnh đề WHERE loại bỏ các bản ghi không cần, như health check, còn SELECT định hình lại phần còn lại bằng cách thêm, đổi tên, xoá, lồng ghép hoặc che (redact) các trường. Kết quả được xuất ở định dạng NDJSON (mỗi dòng một bản ghi JSON), và khách hàng có thể tạo, xem trước truy vấn trong Transformer Studio trên dashboard hoặc qua API, mỗi lần sửa sẽ tạo một phiên bản mới. Các truy vấn chạy ngay trong dịch vụ phân phối của Cloudflare tên Bufstream, nơi gửi hơn 110 triệu bản ghi Logpush mỗi giây trên hàng trăm pod Kubernetes. Bản thử nghiệm đầu tiên chạy mã WebAssembly trong Cloudflare Workers đã bị bỏ vì lệnh gọi mạng thêm vào có thể gây timeout, thử lại và làm chậm việc phân phối. Thay vào đó, Cloudflare nhúng Apache DataFusion, một công cụ truy vấn viết bằng Rust xây trên Apache Arrow; trong bài đo, một Transformer đã chuẩn bị xử lý lô 5.000 dòng trong khoảng 3 ms, tương đương khoảng 1,6 triệu dòng mỗi giây trên một goroutine Go. Việc lọc và che log trước khi xuất giúp giảm chi phí nhập và lưu trữ phía sau, đồng thời không cần chạy một dịch vụ xử lý riêng. Logpush cũng đã được mở cho mọi gói self-serve trong Birthday Week.
Các nhóm DevOps, bảo mật và quản trị hệ thống dùng Cloudflare có thể lọc bỏ log không cần thiết và che dữ liệu nhạy cảm ngay trước khi gửi đi, thay vì tự dựng dịch vụ xử lý riêng. Tính năng này không trực tiếp liên quan đến AI, nên chỉ đáng chú ý nếu bạn đang vận hành hệ thống log trên Cloudflare.
Đọc bài gốc