NVIDIA OpenShell: Kiến trúc tham chiếu bảo mật và quản trị AI Agent ở quy mô lớn

Các tác tử AI tự chủ (Autonomous AI Agents) có khả năng hoạt động liên tục trong nhiều giờ để xử lý các tác vụ phức tạp. Chúng có thể truy cập tệp, sử dụng công cụ, kết nối Internet và thậm chí tạo ra các tác tử khác để phối hợp thực hiện công việc. Tuy nhiên, việc xử lý các tác vụ phức tạp trong thời gian dài cũng kéo theo những rủi ro tích lũy: các tác tử có thể tải xuống mã nguồn, xây dựng công cụ mới, yêu cầu thêm quyền truy cập và mở rộng khả năng tiếp cận cơ sở hạ tầng bên dưới.

Trong quá trình hoạt động, các tác tử tự xác định chuỗi hành động và suy luận qua từng bước cần thiết để hoàn thành mục tiêu. Khi tương tác với các công cụ và hệ thống xung quanh, chúng liên tục điều chỉnh cách suy luận và hành vi nhằm hoàn thành nhiệm vụ được giao.

Chính khả năng thích ứng này tạo nên sức mạnh của các tác tử AI. Tuy nhiên, do được thiết kế để tập trung đạt mục tiêu, chúng không phải lúc nào cũng ưu tiên yếu tố an toàn trong quá trình thực hiện. Để các tác tử có thể hoạt động tự chủ mà vẫn đảm bảo an toàn, chúng ta cần xây dựng những môi trường có khả năng kiểm soát và giám sát toàn bộ hoạt động của chúng.

Một tác tử không thể tự mình kiểm soát và quản lý chính nó. Các cơ chế bảo mật và quản trị phải được tích hợp ngay trong cơ sở hạ tầng nơi tác tử vận hành.

OpenShell: Đưa các cơ chế quản trị ra ngoài phạm vi kiểm soát của tác tử

NVIDIA OpenShell là một môi trường thực thi (runtime) mã nguồn mở, được thiết kế để tích hợp các cơ chế bảo mật và quản trị cần thiết trực tiếp vào hạ tầng tính toán dành cho hệ thống tác tử AI. OpenShell xác định và thực thi các giới hạn đối với hệ thống và dữ liệu mà một tác tử được phép truy cập, từ tệp tin, dịch vụ Internet cho đến các hệ thống tương tác với thiết bị vật lý.

Đây chính là nền tảng của Kiến trúc tham chiếu NVIDIA OpenShell, được phát triển nhằm xây dựng các hệ thống tác tử AI an toàn. OpenShell mặc định xem mọi hoạt động của tác tử là không đáng tin cậy trong suốt quá trình thực thi. Theo đó, tác tử chỉ được cấp quyền truy cập vào những tài nguyên thực sự cần thiết và chỉ tại thời điểm cần sử dụng.

OpenShell bao gồm bốn thành phần chính:

  1. Gateway (Cổng quản lý): Đóng vai trò là mặt phẳng điều khiển, chịu trách nhiệm quản lý vòng đời của các môi trường sandbox và các chính sách bảo mật.
  2. Supervisor (Bộ giám sát): Kiểm tra các yêu cầu truy cập ra bên ngoài theo chính sách đã thiết lập, đồng thời đóng vai trò trung gian trong việc cấp quyền truy cập thông tin xác thực. Thành phần này hoạt động hoàn toàn độc lập với môi trường sandbox.
  3. Sandbox (Môi trường cách ly): Cách ly các tác vụ của tác tử, đồng thời giới hạn quyền truy cập vào hệ thống tệp và các tiến trình.
  4. Policy Prover (Bộ xác minh chính sách): Bổ sung cơ chế xác minh hình thức nhằm kiểm tra xem các quyền được quy định trong chính sách có nằm trong phạm vi giới hạn do tổ chức thiết lập hay không.

Khi các tác tử ngày càng phát triển về năng lực và mức độ tự chủ, những thành phần này cung cấp các cơ chế kiểm soát ở cấp độ hạ tầng, giúp chúng hoạt động an toàn và có kiểm soát.

Architecture diagram showing NVIDIA OpenShell on the left, with a lock-marked agent harness alongside gateway, supervisor, and policy prover components. At the center, a BlueField-4 DPU appears above the NVIDIA Sentry label and connects vertically to tools and knowledge. A horizontal connection with arrows pointing toward OpenShell and a model routing icon is labeled “Tokens.” On the right, a Model box contains logos for Anthropic, DeepSeek, Google, xAI, Kimi, Meta, Mistral AI, NVIDIA, and OpenAI.
Hình 1. NVIDIA OpenShell và NVIDIA Sentry kết hợp với DPU BlueField-4, kết nối môi trường thực thi tác tử với tri thức, công cụ và các mô hình AI trong một kiến trúc AI Agent an toàn.

Khả năng mở rộng và tích hợp của OpenShell

Khả năng mở rộng là một trong những nguyên tắc cốt lõi trong thiết kế của OpenShell. Lớp trung gian Supervisor cho phép kiểm tra, chặn hoặc điều chỉnh nội dung mà một tác tử gửi đi và nhận về qua mạng, đóng vai trò như một lớp thực thi chính sách bổ sung. Trong khi đó, các điểm mở rộng (hooks) của Gateway cho phép đơn vị vận hành bổ sung những quy tắc quản trị riêng cho từng môi trường triển khai vào hoạt động của mặt phẳng điều khiển OpenShell mà không cần chỉnh sửa mã nguồn của Gateway.

Các tổ chức cũng cần xác định rõ tác tử đang hành động thay mặt cho ai, phạm vi quyền hạn được cấp là gì và liệu mỗi hành động có thực sự phù hợp với nhiệm vụ được giao hay không. Các cơ chế định danh, ủy quyền, bảo vệ dữ liệu và kiểm toán đều góp phần giải quyết những yêu cầu này. OpenShell cung cấp các điểm thực thi chính sách, nơi những hệ thống đó có thể được tích hợp trực tiếp.

Trong kiến trúc tham chiếu, OpenShell được triển khai trên CPU NVIDIA Vera.

NVIDIA Vera: Nền tảng tính toán cho các cơ chế kiểm soát

OpenShell xác định những gì các tác tử được phép thực hiện. NVIDIA Vera quyết định tốc độ chúng có thể thực hiện những tác vụ đó. Các tác tử vận hành thông qua những chuỗi xử lý gồm nhiều bước phụ thuộc lẫn nhau, trong đó mỗi bước phải hoàn tất trước khi bước tiếp theo bắt đầu, chẳng hạn như suy luận, gọi công cụ, thực thi mã và truy vấn dữ liệu.

Các nhà máy AI (AI Factories) phải vận hành đồng thời hàng nghìn chu trình xử lý như vậy, đặt ra năm yêu cầu mới đối với kiến trúc CPU:

  1. Cần số lượng lõi xử lý lớn để vận hành đồng thời nhiều luồng công việc, đồng thời từng lõi phải có hiệu năng cao để rút ngắn thời gian xử lý của mỗi bước tuần tự.
  2. Cần hệ thống kết nối và bộ nhớ có băng thông cao, đảm bảo các lõi xử lý luôn được cung cấp dữ liệu theo thời gian thực – yếu tố thiết yếu đối với hoạt động của các tác tử AI.
  3. Cần năng lực I/O vượt trội để truyền tải dữ liệu tốc độ cao giữa CPU, GPU, bộ nhớ lưu trữ và hệ thống mạng.
  4. Cần tích hợp bảo mật ở cấp độ phần cứng, bởi các tác tử ngày càng xử lý nhiều dữ liệu doanh nghiệp nhạy cảm và phải được cách ly với nhau cũng như với hệ thống máy chủ.
  5. Cần đáp ứng toàn bộ những yêu cầu trên trong giới hạn năng lượng của các trung tâm dữ liệu hiện đại, tức là tối ưu số lượng tác vụ AI Agent trên mỗi watt điện, thay vì chỉ tập trung vào hiệu năng xử lý thuần túy.

NVIDIA gọi sự kết hợp các yếu tố này là hiệu năng đơn luồng tối đa ở quy mô lớn (Max Single-Threaded CPU at Scale). NVIDIA Vera được thiết kế chuyên biệt để đáp ứng mục tiêu đó, với các lõi Olympus hiệu năng cao, Scalable Coherency Fabric thế hệ thứ hai, bộ nhớ LPDDR5X, I/O Gen 6, công nghệ điện toán bảo mật (Confidential Computing) và kiến trúc tiết kiệm năng lượng dành riêng cho các trung tâm dữ liệu có giới hạn về công suất.

Ba đặc điểm kiến trúc giúp NVIDIA Vera tăng tốc các tác vụ AI Agent:

  • Thứ nhất, 88 lõi Olympus do NVIDIA thiết kế, tích hợp kiến trúc xử lý 10-wide, bộ dự đoán nhánh bằng mạng nơ-ron và khả năng thực thi ngoài thứ tự chuyên sâu (deep out-of-order execution), mang lại hiệu năng cao gấp 2 lần so với x86 trong các tác vụ AI Agent quan trọng. Nhờ đó, thời gian thực hiện mỗi lần gọi công cụ, thực thi mã và đánh giá được rút ngắn đáng kể.
  • Thứ hai, Scalable Coherency Fabric thế hệ thứ hai của Vera cung cấp băng thông kết nối giữa các lõi cao gấp 3 lần và độ trễ giữa các lõi thấp hơn tới 50% so với các giải pháp x86, giúp dữ liệu được truyền tải ổn định và có thể dự đoán ngay cả khi hệ thống chịu tải cao. Vera cũng tích hợp 96 làn PCIe Gen 6, cung cấp băng thông I/O cần thiết để kết nối GPU, hệ thống lưu trữ tốc độ cao và mạng, đáp ứng yêu cầu thông lượng của hạ tầng AI Agent.
  • Thứ ba, bộ nhớ LPDDR5X cung cấp băng thông lên đến 1,2 TB/s, đồng thời giảm độ trễ truy cập bộ nhớ khi hệ thống chịu tải thấp hơn tới 40% so với các thiết kế dựa trên chiplet. Nhờ đó, các tác tử luôn được cung cấp kịp thời ngữ cảnh và dữ liệu cần thiết mà không phải chờ đợi quá lâu để truy cập bộ nhớ. LPDDR5X cũng giúp Vera cải thiện đáng kể hiệu quả sử dụng năng lượng: hiệu năng trên mỗi watt cao gấp 2 lần so với CPU x86, trong khi hệ thống bộ nhớ LPDDR5X tiêu thụ ít năng lượng hơn tới một bậc độ lớn so với các cấu hình bộ nhớ DDR5 cạnh tranh. Điều này cho phép hệ thống xử lý nhiều tác vụ AI Agent hơn trong cùng một giới hạn công suất.

Các tác vụ AI Agent phụ thuộc rất nhiều vào sandbox – những môi trường thực thi được cách ly, nơi các tác tử chạy mã, gọi công cụ và hoàn thành nhiệm vụ mà không ảnh hưởng đến nhau hoặc đến hệ thống máy chủ chủ (host). Tốc độ khởi tạo sandbox càng nhanh và số lượng sandbox có thể triển khai càng lớn, hạ tầng càng có khả năng hỗ trợ nhiều tác vụ AI Agent đồng thời.

CoreWeave, nền tảng điện toán đám mây AI được xây dựng chuyên biệt cho việc huấn luyện và triển khai mô hình ở quy mô lớn, ghi nhận tốc độ khởi tạo sandbox trên NVIDIA Vera nhanh hơn 3 lần so với x86. Đáng chú ý, chỉ với một rack máy chủ, hệ thống có thể hỗ trợ hơn 11.000 môi trường AI Agent hoạt động đồng thời.

Khi thực hiện các bài kiểm tra Terminal Bench – bộ công cụ đánh giá hiệu năng CPU thông qua những chu trình xử lý AI Agent thực tế – CoreWeave nhận thấy NVIDIA Vera đạt hiệu năng nhanh hơn 1,8 lần so với x86. Kết quả này được ghi nhận trên nhiều tác vụ AI Agent khác nhau, từ viết script cho đến khôi phục cơ sở dữ liệu. Khả năng hỗ trợ mật độ tác vụ cao cùng hiệu năng ổn định dưới tải lớn chính là những gì hạ tầng AI Agent hiện đại cần có.

A comparison of NVIDIA Vera (green) against x86 (gray). Left chart shows sandbox startup speed in sandboxes per second, with Vera more than 3x higher than x86. Right chart shows per-task relative performance across 20 agentic loop tasks, with Vera bars consistently above the x86 baseline of 1.0, reaching up to 2x on tasks such as cobol-modernization, fix-git, db-wal-recovery, and openssl-selfsigned-cert. Geometric mean advantage: 1.8x.
Hình 2. Kết quả thử nghiệm của CoreWeave cho thấy NVIDIA Vera có tốc độ khởi tạo sandbox nhanh hơn 3 lần và hoàn thành các chu trình xử lý AI Agent nhanh hơn 1,8 lần so với một CPU x86 hàng đầu, trên 20 tác vụ AI Agent thực tế.

NVIDIA BlueField và NVIDIA Sentry: Tăng cường bảo mật bằng cơ chế thực thi ở cấp độ phần cứng

OpenShell đưa quyền kiểm soát và quản trị ra bên ngoài phạm vi hoạt động của tác tử. Đối với những môi trường triển khai đòi hỏi mức độ bảo vệ cao hơn, cơ chế tách biệt này còn có thể được mở rộng xuống cấp độ chip bán dẫn chuyên dụng.

NVIDIA BlueField-4 DPU cung cấp một miền tin cậy được cách ly bằng phần cứng, nằm hoàn toàn ngoài phạm vi truy cập của tác tử. Trong kiến trúc tham chiếu OpenShell, BlueField-4 được bố trí trên đường truyền I/O giữa các tác tử chạy trên NVIDIA Vera và những mô hình AI mà chúng truy cập. NVIDIA Sentry là một nền tảng phần mềm bảo mật được xây dựng trên NVIDIA DOCA. Nền tảng này hoạt động trong miền độc lập nói trên để liên tục giám sát hành vi của các tác tử và thực thi các chính sách bảo mật ngay trong thời gian chạy (runtime).

NVIDIA Sentry giám sát các yêu cầu và phản hồi, hoạt động mạng và truy cập tệp; xác minh danh tính và quyền hạn được ủy quyền; đồng thời phân tích các vùng bộ nhớ máy chủ được lựa chọn nhằm phát hiện những hành vi bất thường so với phạm vi hoạt động đã được cấp phép. Đặc biệt, quá trình giám sát này không phụ thuộc vào việc tác tử tự báo cáo về hoạt động của chính mình.

Khi phát hiện mối đe dọa hoặc hành vi vi phạm chính sách, BlueField-4 có thể thực thi các biện pháp bảo vệ trực tiếp ở cấp độ phần cứng, cho phép NVIDIA Sentry cách ly tác tử chỉ trong vòng vài mili giây. Sự kết hợp này bổ sung một lớp bảo vệ phần cứng tùy chọn, hoạt động song song với các ranh giới bảo mật ở cấp độ phần mềm của OpenShell. Bạn có thể tìm hiểu thêm về NVIDIA Sentry trong bài viết phân tích chuyên sâu về cách NVIDIA Sentry bảo vệ các tác tử AI trong thời gian chạy.

Mở rộng triển khai môi trường thực thi AI Agent an toàn

Việc triển khai các tác tử AI trong môi trường sản xuất đòi hỏi một hạ tầng đủ năng lực duy trì hàng nghìn luồng công việc hoạt động đồng thời, đồng thời đảm bảo mọi hành động của chúng đều được quản trị và kiểm soát. NVIDIA Vera cung cấp năng lực tính toán, băng thông bộ nhớ và I/O cần thiết để duy trì các luồng công việc này. Trong khi đó, OpenShell thiết lập các ranh giới bảo mật ở cấp độ runtime, xác định những hành động nào được phép thực hiện và những tài nguyên nào mà các tác tử có thể truy cập.

Sự kết hợp giữa Vera và OpenShell tạo nên nền tảng để triển khai các hệ thống AI Agent an toàn ở quy mô lớn. Các tác tử có thể hoạt động trong thời gian dài hơn, sử dụng nhiều công cụ và xử lý dữ liệu doanh nghiệp, nhưng vẫn phải tuân thủ các chính sách được thực thi bởi những cơ chế kiểm soát nằm ngoài phạm vi kiểm soát của chính chúng. Đối với các môi trường cần mức độ bảo vệ cao hơn, NVIDIA Sentry chạy trên BlueField-4 bổ sung khả năng giám sát độc lập và thực thi chính sách trực tiếp ở cấp độ silicon.

Nền tảng NVIDIA Vera Rubin, nơi các mô hình ngôn ngữ lớn (LLM) được triển khai và vận hành, kết hợp với OpenShell và NVIDIA Sentry trên BlueField-4, tạo thành những trụ cột cốt lõi của kiến trúc tham chiếu OpenShell. Các thành phần này hợp thành một giải pháp toàn diện cho AI Agent an toàn: nền tảng hạ tầng tích hợp từ phần cứng đến phần mềm, cung cấp cho doanh nghiệp cả năng lực tính toán cần thiết để tối ưu hiệu suất tác tử lẫn các cơ chế kiểm soát nhằm đảm bảo mọi hoạt động luôn nằm trong phạm vi quyền hạn được cấp phép.

Bắt đầu triển khai

Để triển khai các cơ chế quản trị AI Agent an toàn trong tổ chức của bạn, hãy bắt đầu với NVIDIA OpenShell, tham khảo tài liệu hướng dẫn triển khai và tìm hiểu cách bộ xử lý NVIDIA Vera tăng tốc các tác vụ AI Agent.

____
Bài viết liên quan
TAG: , , , , , , , , , , , , , ,