NVIDIA Sentry: thực thi chính sách AI agent từ miền tin cậy tách khỏi host

NVIDIA Sentry là framework bảo mật runtime cho AI agent, chạy trên BlueField-4 DPU trong miền tin cậy tách khỏi host. Hệ thống kết hợp kiểm soát mạng, kiểm tra TLS và ngữ cảnh runtime để giới hạn truy cập model, công cụ và dữ liệu.

Một AI agent có thể gọi model, sử dụng credential, truy vấn dữ liệu và kích hoạt công cụ. Khi agent hoặc container bị xâm phạm, các lớp kiểm soát cùng nằm trên host có thể không còn là điểm tin cậy độc lập.

NVIDIA Sentry tiếp cận bài toán này bằng một framework phần mềm bảo mật runtime chạy trên BlueField-4 DPU, trong miền tin cậy phần cứng tách khỏi phần mềm host. Với đội hạ tầng vận hành AI on-prem, đây là kiến trúc đáng chú ý khi agent được cấp quyền truy cập API, dữ liệu và dịch vụ nội bộ.

NVIDIA Sentry là gì?

NVIDIA Sentry là framework giám sát AI agent và thực thi chính sách đối với quyền truy cập model, công cụ và dữ liệu. Đây là một phần của kiến trúc tham chiếu NVIDIA OpenShell và được xây dựng trên NVIDIA DOCA.

Điểm khác biệt là vị trí thực thi. Sentry chạy trên BlueField-4 DPU trong một miền tin cậy tách khỏi host. Theo NVIDIA, cách bố trí này giúp lớp giám sát và thực thi chính sách nằm ngoài tầm can thiệp của agent hoặc phần mềm host bị xâm phạm.

Trong kiến trúc tham chiếu OpenShell, agent chạy trên NVIDIA Vera CPU; BlueField-4 nằm trên đường đi từ agent tới model và môi trường bên ngoài. Nhờ đó, Sentry có thể kiểm tra giao tiếp của agent mà không chỉ dựa vào dữ liệu do workload tự báo cáo.

Các thành phần chính

Sentry kết hợp các thành phần trong NVIDIA DOCA để kiểm soát giao tiếp và bổ sung ngữ cảnh runtime.

| Thành phần | Vai trò theo NVIDIA | |---|---| | DOCA Flow | Firewall lớp 4 cho từng agent, được tăng tốc bằng silicon trên BlueField-4 | | DOCA Tower | Proxy trong suốt xây trên Envoy, kiểm tra lưu lượng tầng ứng dụng và thực thi chính sách | | DOCA Argus | Quan sát runtime độc lập với host thông qua phân tích các vùng bộ nhớ volatile của host, không cần agent cài trên host |

Sơ đồ luồng kiểm soát

text Agent │ ▼ DOCA Flow ── chặn/cho phép kết nối lớp 4 ──► DOCA Tower │ ┌─────────────────────────┼────────────────────────┐ ▼ ▼ ▼ Kết thúc TLS OPA / policy DOCA Argus khi được cấu hình đánh giá yêu cầu ngữ cảnh runtime: │ container, tiến trình, ▼ hash, thư viện... Cho phép hoặc chặn truy cập model/API

DOCA Tower liên kết thông tin kết nối với ngữ cảnh runtime từ DOCA Argus trước khi áp dụng policy. Đây là điểm khác với cách kiểm soát chỉ dựa trên địa chỉ đích hoặc danh tính mạng.

DOCA Flow và DOCA Tower kiểm soát lưu lượng

DOCA Flow thực hiện vai trò firewall lớp 4 cho từng agent. Theo NVIDIA, thành phần này chặn kết nối tới các đích không được phép, đồng thời chuyển lưu lượng hợp lệ sang DOCA Tower để kiểm tra tiếp ở lớp 7.

DOCA Tower là cổng bảo mật cho giao tiếp của agent. Với các kết nối được cấu hình để kiểm tra, Tower thực hiện kết thúc TLS bằng khả năng tăng tốc TLS trong silicon, sau đó giải mã và kiểm tra lưu lượng.

Tower sử dụng Open Policy Agent (OPA) để đánh giá yêu cầu theo policy đã định nghĩa. OPA sử dụng ngôn ngữ khai báo Rego. NVIDIA cho biết riêng việc OPA đánh giá yêu cầu có thể diễn ra dưới một mili giây, tùy độ phức tạp của policy và cấu hình; con số này không đại diện cho toàn bộ luồng kiểm tra.

DOCA Argus bổ sung ngữ cảnh runtime

Firewall mạng chỉ nhìn thấy kết nối. DOCA Argus bổ sung ngữ cảnh về môi trường thực thi bằng cách phân tích các vùng bộ nhớ volatile của host từ BlueField-4.

Theo NVIDIA, Argus có thể ánh xạ container với pod, sandbox với microVM; đồng thời nhận diện tiến trình và thuộc tính của chúng trong từng môi trường thực thi. Thành phần này còn có thể lập quan hệ giữa tiến trình, luồng, truy cập tệp, kết nối mạng, thư viện đã nạp, CPU, GPU, bộ nhớ và các tài nguyên hệ thống khác.

Container, tiến trình và thư viện được theo dõi qua các hash liên quan. Ngữ cảnh này cho phép Sentry gắn một yêu cầu truy cập mạng với tiến trình và môi trường thực thi đứng phía sau yêu cầu đó.

Một yêu cầu truy cập được kiểm tra thế nào?

Khi agent gọi API model hoặc dịch vụ bên ngoài, NVIDIA mô tả luồng xử lý theo các bước sau:

Lưu lượng của agent đi tới BlueField-4 qua đường I/O mạng trực tiếp, không qua xử lý gói của host OS hoặc hypervisor. DOCA Flow kiểm tra agent có được phép kết nối tới đích đó hay không. Với lưu lượng được phép, DOCA Tower thực hiện kiểm tra ở tầng ứng dụng và đánh giá policy qua OPA. Tower liên kết thông tin kết nối với ngữ cảnh runtime từ DOCA Argus. Policy có thể đánh giá hash container, hash tiến trình, thành phần trong SBOM, quyền khởi tạo kết nối, đường thực thi và tham số dòng lệnh. Nếu yêu cầu không đáp ứng policy, hệ thống có thể từ chối truy cập.

Ví dụ, một policy có thể yêu cầu hash container thuộc danh sách đã phê duyệt; tiến trình khởi tạo kết nối phải xuất hiện trong software bill of materials (SBOM) của container, được phép tạo kết nối mạng và sử dụng đường thực thi cùng tham số dòng lệnh đã phê duyệt.

NVIDIA cho biết các cơ chế thực thi trong silicon hướng tới khả năng cô lập mối đe dọa trong vài mili giây.

Ý nghĩa với đội vận hành AI on-prem

Cách tiếp cận này phù hợp với các môi trường agent có quyền gọi model, dùng công cụ hoặc truy cập dữ liệu nội bộ. Thay vì chỉ định nghĩa “pod nào được gọi API nào”, policy có thể kết hợp yêu cầu truy cập với trạng thái và tính toàn vẹn của tiến trình đang gửi yêu cầu.

Đội hạ tầng có thể bắt đầu rà soát các điểm sau:

Lập bản đồ quyền của agent: Agent nào gọi model nào, dùng công cụ nào, truy cập API nội bộ hay Internet. Tách quyền theo từng agent: Xác định rõ tập đích, dịch vụ và dữ liệu mà mỗi agent được phép truy cập. Chuẩn hóa artifact: Policy dựa trên hash container, tiến trình và SBOM cần đi cùng quy trình build và quản lý image nhất quán. Kiểm tra đường đi mạng: Mô hình này phụ thuộc vào việc BlueField-4 nằm trên đường đi bắt buộc của agent tới model và môi trường bên ngoài. Chuẩn bị quy trình phản hồi: Khi policy chặn một yêu cầu, đội platform và bảo mật cần có cách kiểm tra bản ghi, xác minh nguyên nhân và cập nhật policy.

NVIDIA cũng cho biết Sentry tạo các bản ghi có thể phát hiện dấu hiệu can thiệp, đồng thời bổ sung ngữ cảnh runtime vào telemetry. Điều này có thể giảm nhu cầu tương quan dữ liệu ở các hệ thống phía sau trong quá trình điều tra.

Những điểm cần đánh giá khi triển khai

Lợi ích của kiến trúc phụ thuộc vào giả định BlueField-4 kiểm soát được đường đi mạng liên quan. Nếu agent còn một đường egress khác không chịu kiểm soát tương đương, ranh giới bảo vệ sẽ suy yếu.

DOCA Tower chỉ kết thúc TLS với các kết nối được cấu hình để kiểm tra. Vì vậy, triển khai thực tế cần xác định rõ phạm vi lưu lượng được giải mã và kiểm tra.

NVIDIA cũng đề cập việc dùng các model chuyên biệt để phân loại giao tiếp của agent, theo kiểu inline hoặc ngoài băng, nhằm phát hiện lệch hành vi. Tài liệu không nêu ngưỡng phát hiện, độ chính xác hoặc mức tiêu thụ tài nguyên; do đó, đây nên được xem là lớp bổ sung cho policy rõ ràng, không thay thế kiểm soát truy cập xác định.

Kết luận

NVIDIA Sentry không thay thế toàn bộ các lớp bảo mật cho AI agent. Điểm đáng chú ý của kiến trúc là đưa việc giám sát và thực thi chính sách ra khỏi host chạy agent, đồng thời kết hợp kiểm soát mạng với ngữ cảnh runtime độc lập với host.

Với agent được cấp quyền dùng công cụ và truy cập dữ liệu nội bộ, câu hỏi không chỉ là “agent được phép làm gì?”, mà còn là “lớp nào vẫn có thể kiểm tra và chặn hành vi đó khi host bị nghi ngờ?”. NVIDIA định vị Sentry và BlueField-4 để giải quyết chính bài toán này.