NVIDIA OpenShell: đặt kiểm soát bảo mật bên ngoài AI agent
OpenShell là runtime mã nguồn mở và kiến trúc tham chiếu của NVIDIA nhằm quản trị AI agent bằng sandbox, kiểm soát request, credential và policy. Thiết kế này coi workload của agent là không đáng tin cậy trong suốt quá trình chạy.
AI agent có thể đọc tệp, gọi công cụ, truy cập internet và phối hợp với agent khác để hoàn thành một mục tiêu dài hạn. Chính khả năng tự điều chỉnh đường đi này cũng làm rủi ro tích lũy: agent có thể tải mã, tạo công cụ mới, yêu cầu thêm đặc quyền hoặc chạm vào nhiều phần hơn của hạ tầng.
Theo NVIDIA, không nên kỳ vọng agent tự quản trị an toàn cho chính mình. Kiểm soát bảo mật và quản trị cần nằm ở lớp hạ tầng hoạt động bên ngoài agent.
OpenShell là gì?
NVIDIA OpenShell là runtime mã nguồn mở, đồng thời là nền tảng cho kiến trúc tham chiếu của NVIDIA nhằm xây dựng AI agent có kiểm soát bảo mật và quản trị.
Thiết kế này coi workload của agent là không đáng tin cậy trong toàn bộ thời gian thực thi. Thay vì trao quyền truy cập rộng ngay từ đầu, agent chỉ được cấp quyền với hệ thống, dữ liệu, tệp hoặc dịch vụ internet mà nó cần tại thời điểm cần thiết.
Đây là điểm đáng chú ý với đội ngũ xây dựng workflow AI: agent có thể có khả năng suy luận và gọi công cụ, nhưng quyền truy cập không nên hoàn toàn nằm trong vùng kiểm soát của agent.
Bốn lớp chính trong OpenShell
OpenShell gồm bốn thành phần:
Gateway: control plane quản lý vòng đời sandbox và policy.
Supervisor: kiểm tra các request đi ra theo policy, đồng thời làm trung gian cho việc truy cập credential. Thành phần này chạy tách biệt với sandbox.
Sandbox: cô lập workload của agent, giới hạn quyền truy cập hệ thống tệp và tiến trình.
Policy Prover: dùng kiểm chứng hình thức để xác minh quyền trong policy không vượt quá giới hạn do tổ chức đặt ra.
Mô hình này tách quyền ra khỏi agent. Agent có thể yêu cầu thực hiện một hành động, nhưng lớp hạ tầng mới là nơi xác định hành động đó có được phép hay không.
Vì sao cách tách lớp này quan trọng?
Agent thường làm việc theo vòng lặp gồm nhiều bước phụ thuộc lẫn nhau: suy luận, gọi công cụ, chạy mã hoặc truy vấn dữ liệu. Khi các vòng lặp kéo dài và số công cụ tăng lên, phạm vi rủi ro cũng mở rộng.
OpenShell hướng đến việc đặt các điểm kiểm soát ở hạ tầng:
Sandbox giới hạn môi trường chạy workload.
Supervisor đối chiếu request với policy và quản lý đường truy cập credential.
Gateway quản lý sandbox và policy.
Policy Prover kiểm tra giới hạn quyền mà policy được phép cấp.
Với các workflow có agent, nguyên tắc có thể rút ra là: không chỉ xác định agent cần làm gì, mà còn phải xác định rõ agent được phép chạm tới tài nguyên nào và trong giới hạn nào.
Mở rộng kiểm soát theo nhu cầu triển khai
NVIDIA cho biết OpenShell được thiết kế để mở rộng.
Supervisor middleware có thể được dùng để kiểm tra, chặn hoặc thay đổi nội dung agent gửi và nhận qua mạng, bổ sung thêm một lớp thực thi chính sách. Trong khi đó, Gateway interceptors cho phép nhà vận hành thêm quy tắc quản trị riêng cho các thao tác ở control plane mà không cần sửa Gateway.
OpenShell cũng cung cấp các điểm thực thi để tích hợp những hệ thống như:
định danh;
phân quyền;
bảo vệ dữ liệu;
kiểm toán.
Điều này đặc biệt quan trọng khi cần làm rõ agent đang hành động thay mặt ai, có quyền hạn gì và liệu hành động đang yêu cầu có phù hợp với nhiệm vụ hay không.
Hạ tầng tham chiếu: Vera, BlueField-4 và Sentry
Trong kiến trúc tham chiếu, OpenShell chạy trên CPU NVIDIA Vera. NVIDIA mô tả Vera là lớp tính toán bên dưới các cơ chế kiểm soát này, phục vụ các workload agent có nhiều vòng lặp tuần tự và cần chạy đồng thời ở quy mô lớn.
Theo NVIDIA, Vera có 88 lõi Olympus do NVIDIA thiết kế và có thể đạt hiệu năng cao hơn tới 2 lần trên các workload agent quan trọng so với x86. NVIDIA cũng nêu các đặc điểm như Scalable Coherency Fabric thế hệ hai, bộ nhớ LPDDR5X và I/O Gen 6.
CoreWeave được NVIDIA dẫn lại là đã đo được:
thời gian khởi động sandbox nhanh hơn hơn 3 lần so với một CPU x86 hàng đầu;
thời gian hoàn thành vòng lặp agent nhanh hơn 1,8 lần;
hơn 11.000 môi trường agent đồng thời trong một rack.
Đây là các số liệu do NVIDIA và CoreWeave công bố, không phải kết quả kiểm thử độc lập được trình bày trong bài viết.
Đối với các môi trường cần bảo vệ bổ sung, NVIDIA đưa BlueField-4 DPU và NVIDIA Sentry vào kiến trúc tham chiếu. BlueField-4 tạo một miền tin cậy cô lập về phần cứng, nằm ngoài tầm kiểm soát trực tiếp của agent. NVIDIA Sentry, xây dựng trên NVIDIA DOCA, theo dõi hành vi và thực thi runtime policy trong miền độc lập này.
Theo NVIDIA, khi phát hiện mối đe dọa hoặc vi phạm policy, hệ thống có thể cô lập agent trong mili giây.
Bài học cho đội xây workflow AI
OpenShell không tập trung vào việc làm agent “tự do” hơn. Giá trị chính của kiến trúc là đặt câu hỏi về quyền hạn trước khi agent được đưa vào hệ thống thật:
Agent được phép truy cập dữ liệu và hệ thống nào?
Request đi ra được kiểm tra ở đâu?
Credential được cấp qua cơ chế nào?
Policy có vượt quá giới hạn quyền của tổ chức không?
Ai hoặc hệ thống nào có quyền chặn hành động của agent?
Với workflow AI ngày càng có thể gọi công cụ, truy cập dữ liệu và thực hiện nhiều bước liên tiếp, câu hỏi quan trọng không chỉ là agent làm được gì. Quan trọng hơn là: lớp hạ tầng nào có quyền nói “được” hoặc “không” với hành động của agent?