Antirion: gateway LLM tập trung cho quan sát và kiểm soát của SOC

Antirion là AI gateway mã nguồn mở, đặt giữa ứng dụng và các nhà cung cấp LLM để định tuyến, áp guardrail, quản lý ngân sách và xem nhật ký request. SOC cần đánh giá kỹ quyền quản trị, dữ liệu log và hiệu năng khi bật chính sách thực tế.

Khi mỗi nhóm dùng một API key và một nhà cung cấp LLM riêng, đội SOC khó trả lời các câu hỏi cơ bản: request đi qua đâu, dùng model nào, tiêu tốn bao nhiêu và có tuân theo chính sách không?

Antirion là một AI gateway mã nguồn mở, đặt giữa ứng dụng và các nhà cung cấp LLM. Dự án hướng tới việc gom định tuyến, guardrail, ngân sách và quan sát request vào một điểm kiểm soát chung.

Với an toàn thông tin, giá trị chính không chỉ là đổi model thuận tiện hơn. Đây có thể là một lớp kiểm soát để quan sát và quản trị lưu lượng LLM — với điều kiện ứng dụng thực sự đi qua gateway.

> Gateway không nhìn thấy các request gọi thẳng tới nhà cung cấp. API key của provider vẫn bị dùng bên ngoài Antirion sẽ tạo ra điểm mù.

Antirion là gì?

Theo README, Antirion được viết bằng Rust và đóng gói gateway, Admin API cùng web console trong một binary hoặc image.

Gateway tách hai mặt phẳng:

Data plane: API dành cho ứng dụng gửi request LLM, mặc định ở cổng 8080. Admin plane: Admin API và console quản trị, mặc định ở cổng 8081.

Dự án cho biết hỗ trợ các nhà cung cấp như OpenAI, Azure OpenAI, Anthropic, Amazon Bedrock, Google Vertex AI, Gemini, Mistral, Cohere, Groq, Together, Fireworks, DeepSeek, xAI, Cerebras, DeepInfra và Perplexity. Antirion cũng nêu khả năng nhận API theo định dạng OpenAI, Anthropic, Gemini hoặc Bedrock và dịch giữa các định dạng này.

Những điểm SOC nên chú ý

README của dự án nêu các khả năng sau, đáng để kiểm chứng trong môi trường thử nghiệm:

Request log: hiển thị trạng thái, model, API key, token, độ trễ và chi phí; phần chi tiết có route xử lý và cost ledger. Audit log và change request: phục vụ theo dõi thay đổi quản trị. Guardrail ở biên: gồm PII, secret, từ khóa, biểu thức chính quy, JSON schema, quyền dùng tool, chủ đề, moderation và model-based judge. Redaction: dự án cho biết có thể che dữ liệu nhạy cảm mà vẫn giữ định dạng. Rate limit và budget: áp dụng theo organization, team, project hoặc key; theo USD hoặc token. Routing: fallback chain, weighted split, least cost, least latency, least busy, tier, retry, hedging và circuit breaker. Cảnh báo chi phí: README nêu khả năng cảnh báo trước khi cạn ngân sách.

Về mặt vận hành, các tính năng này có thể giúp đội platform và SOC có thêm ngữ cảnh khi xem một request LLM: key nào được dùng, model nào được yêu cầu, tuyến nào được chọn, độ trễ ra sao và chi phí bao nhiêu.

Dựng thử gateway trong lab

README cung cấp lệnh Docker để khởi động nhanh:

bash docker run -p 8080:8080 -p 8081:8081 -v antirion-data:/var/lib/antirion eliasbiondo/antirion

Lần chạy đầu, Antirion hiển thị địa chỉ console, admin token và địa chỉ data plane:

text Console http://localhost:8081/ui/ Admin token ak-antirion-… Data plane http://localhost:8080/v1

Token bootstrap chỉ được hiển thị một lần và được lưu trong volume dữ liệu tại đường dẫn mà README nêu.

Lưu ý cho đội an toàn thông tin

Admin plane là khu vực quản trị nhạy cảm. Trước khi triển khai ngoài môi trường lab, nên đánh giá cách giới hạn truy cập mạng, quản lý token bootstrap, phân quyền người dùng và bảo vệ volume lưu dữ liệu.

README cho biết Antirion hỗ trợ SSO với OIDC, SAML và SCIM, đồng thời có thể chạy node độc lập hoặc cluster dùng PostgreSQL và Valkey. Tuy nhiên, phạm vi cấu hình và mức độ phù hợp cần được kiểm tra theo kiến trúc triển khai thực tế.

Kết nối provider và tạo model alias

Trong console, README hướng dẫn quy trình cơ bản:

Vào Providers → Add provider. Chọn OpenAI hoặc Anthropic, sau đó nhập API key. Chọn Test để gateway lấy danh sách model từ provider. Khi kiểm tra thành công, thêm provider. Vào Models → Add model, chọn provider và model. Đặt tên cho model, chẳng hạn chat.

Tên chat là alias mà ứng dụng sẽ gửi tới gateway. Đây là một điểm hữu ích cho quản trị: ứng dụng có thể gọi alias thống nhất, trong khi nhóm quản trị quyết định model và provider phía sau.

Một cách triển khai thận trọng là chỉ công bố các alias đã được tổ chức đánh giá, thay vì để từng ứng dụng tự dùng mọi model mà provider cung cấp.

Tạo key và gửi request

README hướng dẫn tạo API key tại API keys → Create key. Sau đó, ứng dụng có thể gọi endpoint OpenAI-compatible của gateway:

bash export ANTIRIONAPIKEY=sk-antirion-… # key vừa tạo curl -s http://localhost:8080/v1/chat/completions \ -H "Authorization: Bearer $ANTIRIONAPIKEY" -H 'Content-Type: application/json' \ -d '{"model": "chat", "messages": [{"role": "user", "content": "Hello"}]}'

Theo tài liệu, SDK tương thích OpenAI có thể trỏ base URL tới:

text http://localhost:8080/v1

SDK Anthropic có thể trỏ tới:

text http://localhost:8080

Sau khi gửi request, có thể vào Request log để xem trạng thái, model, key, token, latency và cost. Phần chi tiết được README mô tả là có route xử lý cùng cost ledger.

Ba tình huống nên kiểm thử

1. Kiểm tra dữ liệu nhạy cảm trước khi gửi provider

Antirion công bố guardrail cho PII, secret, keyword, regex và JSON schema; các kiểm tra này có thể áp dụng cho request, response và stream.

Trong lab, đội SOC nên thử các tình huống phù hợp với chính sách nội bộ:

Request chứa chuỗi có đặc điểm của secret. Prompt có dữ liệu định danh cá nhân. Response chứa nội dung không nên trả về ứng dụng. Request không đúng JSON schema mà ứng dụng yêu cầu.

Mục tiêu không phải tin rằng guardrail sẽ chặn đúng mọi trường hợp, mà là đo tỷ lệ bỏ lọt, chặn nhầm, độ trễ bổ sung và tác động tới nghiệp vụ.

2. Kiểm soát định tuyến và quyền dùng tool

README nêu các cơ chế định tuyến như fallback, weighted split, least cost, least latency, retry, hedging và circuit breaker. Dự án cũng liệt kê quyền dùng tool trong nhóm guardrail.

Với workload agent, nên kiểm tra riêng:

Key nào được phép gọi model nào. Điều gì xảy ra khi provider lỗi hoặc bị giới hạn. Route được ghi nhận như thế nào trong Request log. Quyền dùng tool có được giới hạn theo use case hay không.

Đây là các điểm cần được xác thực bằng cấu hình và kịch bản thử nghiệm cụ thể, thay vì chỉ dựa vào danh sách tính năng.

3. Theo dõi chi phí và lưu lượng bất thường

Budget và rate limit có thể đặt theo organization, team, project hoặc key. Cost ledger và cảnh báo ngân sách có thể hữu ích cho cả vận hành lẫn phát hiện sự cố.

Ví dụ, mức dùng token tăng đột biến ở một key có thể xuất phát từ lỗi vòng lặp ứng dụng, prompt dài bất thường hoặc việc sử dụng key ngoài dự kiến. Gateway không tự kết luận nguyên nhân, nhưng có thể cung cấp dữ liệu để điều tra.

Checklist trước khi triển khai

[ ] Xác định workload nào bắt buộc đi qua gateway. [ ] Tách và bảo vệ admin plane phù hợp với mô hình mạng nội bộ. [ ] Cấp API key riêng cho từng ứng dụng hoặc phạm vi sử dụng cần quản trị. [ ] Chỉ công bố các model alias đã được phê duyệt. [ ] Kiểm thử guardrail cho PII, secret, regex, JSON schema và quyền dùng tool. [ ] Xác định request/response nào được lưu log và ai có quyền xem log. [ ] Đánh giá thời gian lưu giữ log để tránh biến hệ thống quan sát thành nơi tập trung dữ liệu nhạy cảm không cần thiết. [ ] Đặt rate limit và budget theo phạm vi phù hợp: team, project hoặc key. [ ] Kiểm thử các tình huống provider lỗi, fallback và retry. [ ] Xác minh khả năng lấy dữ liệu từ Admin API hoặc log theo nhu cầu tích hợp của tổ chức trước khi coi đây là nguồn telemetry cho SOC.

Đọc đúng số liệu hiệu năng

README công bố benchmark do chính dự án thực hiện trên máy AWS c7i. Trong bài test simple chat ở mức 5.000 request/giây, gateway chạy trên một c7i.xlarge 4 vCPU, Antirion được báo cáo có overhead p50 là 0.53 ms và p99 là 0.95 ms.

Dự án cũng cho biết benchmark tối giản này dùng một key được kiểm tra ở mỗi request, không bật request logging và không dùng cache. Tài liệu mô tả phương pháp đo, cấu hình các gateway so sánh và cung cấp harness trong thư mục bench/ để tái lập.

Các số liệu này không thay thế thử nghiệm nội bộ. Khi bật logging, guardrail, kiểm tra nội dung, routing phức tạp hoặc kết nối tới provider thực, độ trễ và mức sử dụng tài nguyên có thể khác đáng kể.

Kết luận

Antirion có thể là một lựa chọn đáng thử cho tổ chức muốn gom lưu lượng LLM về một điểm kiểm soát có routing, budget, guardrail và request log.

Với SOC, câu hỏi quan trọng không phải chỉ là gateway nhanh đến đâu. Cần xác định liệu nó có cung cấp đủ dữ liệu, phân quyền và kiểm soát để hỗ trợ quy trình điều tra, vận hành và quản trị rủi ro của tổ chức hay không.

Bắt đầu bằng một lab nhỏ: đưa một ứng dụng mẫu qua gateway, bật các policy cần thiết, kiểm tra log và đo tác động hiệu năng. Sau đó mới quyết định phạm vi triển khai rộng hơn.