Các tác tử AI tự chủ (Autonomous AI Agents) có khả năng hoạt động liên tục trong nhiều giờ để xử lý các tác vụ phức tạp. Chúng có thể truy cập tệp, sử dụng công cụ, kết nối Internet và thậm chí tạo ra các tác tử khác để phối hợp thực hiện công việc. Tuy nhiên, việc xử lý các tác vụ phức tạp trong thời gian dài cũng kéo theo những rủi ro tích lũy: các tác tử có thể tải xuống mã nguồn, xây dựng công cụ mới, yêu cầu thêm quyền truy cập và mở rộng khả năng tiếp cận cơ sở hạ tầng bên dưới.
Trong quá trình hoạt động, các tác tử tự xác định chuỗi hành động và suy luận qua từng bước cần thiết để hoàn thành mục tiêu. Khi tương tác với các công cụ và hệ thống xung quanh, chúng liên tục điều chỉnh cách suy luận và hành vi nhằm hoàn thành nhiệm vụ được giao.
Chính khả năng thích ứng này tạo nên sức mạnh của các tác tử AI. Tuy nhiên, do được thiết kế để tập trung đạt mục tiêu, chúng không phải lúc nào cũng ưu tiên yếu tố an toàn trong quá trình thực hiện. Để các tác tử có thể hoạt động tự chủ mà vẫn đảm bảo an toàn, chúng ta cần xây dựng những môi trường có khả năng kiểm soát và giám sát toàn bộ hoạt động của chúng.
Một tác tử không thể tự mình kiểm soát và quản lý chính nó. Các cơ chế bảo mật và quản trị phải được tích hợp ngay trong cơ sở hạ tầng nơi tác tử vận hành.
OpenShell: Đưa các cơ chế quản trị ra ngoài phạm vi kiểm soát của tác tử
NVIDIA OpenShell là một môi trường thực thi (runtime) mã nguồn mở, được thiết kế để tích hợp các cơ chế bảo mật và quản trị cần thiết trực tiếp vào hạ tầng tính toán dành cho hệ thống tác tử AI. OpenShell xác định và thực thi các giới hạn đối với hệ thống và dữ liệu mà một tác tử được phép truy cập, từ tệp tin, dịch vụ Internet cho đến các hệ thống tương tác với thiết bị vật lý.
Đây chính là nền tảng của Kiến trúc tham chiếu NVIDIA OpenShell, được phát triển nhằm xây dựng các hệ thống tác tử AI an toàn. OpenShell mặc định xem mọi hoạt động của tác tử là không đáng tin cậy trong suốt quá trình thực thi. Theo đó, tác tử chỉ được cấp quyền truy cập vào những tài nguyên thực sự cần thiết và chỉ tại thời điểm cần sử dụng.
OpenShell bao gồm bốn thành phần chính:
- Gateway (Cổng quản lý): Đóng vai trò là mặt phẳng điều khiển, chịu trách nhiệm quản lý vòng đời của các môi trường sandbox và các chính sách bảo mật.
- Supervisor (Bộ giám sát): Kiểm tra các yêu cầu truy cập ra bên ngoài theo chính sách đã thiết lập, đồng thời đóng vai trò trung gian trong việc cấp quyền truy cập thông tin xác thực. Thành phần này hoạt động hoàn toàn độc lập với môi trường sandbox.
- Sandbox (Môi trường cách ly): Cách ly các tác vụ của tác tử, đồng thời giới hạn quyền truy cập vào hệ thống tệp và các tiến trình.
- Policy Prover (Bộ xác minh chính sách): Bổ sung cơ chế xác minh hình thức nhằm kiểm tra xem các quyền được quy định trong chính sách có nằm trong phạm vi giới hạn do tổ chức thiết lập hay không.
Khi các tác tử ngày càng phát triển về năng lực và mức độ tự chủ, những thành phần này cung cấp các cơ chế kiểm soát ở cấp độ hạ tầng, giúp chúng hoạt động an toàn và có kiểm soát.

Khả năng mở rộng và tích hợp của OpenShell
Khả năng mở rộng là một trong những nguyên tắc cốt lõi trong thiết kế của OpenShell. Lớp trung gian Supervisor cho phép kiểm tra, chặn hoặc điều chỉnh nội dung mà một tác tử gửi đi và nhận về qua mạng, đóng vai trò như một lớp thực thi chính sách bổ sung. Trong khi đó, các điểm mở rộng (hooks) của Gateway cho phép đơn vị vận hành bổ sung những quy tắc quản trị riêng cho từng môi trường triển khai vào hoạt động của mặt phẳng điều khiển OpenShell mà không cần chỉnh sửa mã nguồn của Gateway.
Các tổ chức cũng cần xác định rõ tác tử đang hành động thay mặt cho ai, phạm vi quyền hạn được cấp là gì và liệu mỗi hành động có thực sự phù hợp với nhiệm vụ được giao hay không. Các cơ chế định danh, ủy quyền, bảo vệ dữ liệu và kiểm toán đều góp phần giải quyết những yêu cầu này. OpenShell cung cấp các điểm thực thi chính sách, nơi những hệ thống đó có thể được tích hợp trực tiếp.
Trong kiến trúc tham chiếu, OpenShell được triển khai trên CPU NVIDIA Vera.
NVIDIA Vera: Nền tảng tính toán cho các cơ chế kiểm soát
OpenShell xác định những gì các tác tử được phép thực hiện. NVIDIA Vera quyết định tốc độ chúng có thể thực hiện những tác vụ đó. Các tác tử vận hành thông qua những chuỗi xử lý gồm nhiều bước phụ thuộc lẫn nhau, trong đó mỗi bước phải hoàn tất trước khi bước tiếp theo bắt đầu, chẳng hạn như suy luận, gọi công cụ, thực thi mã và truy vấn dữ liệu.
Các nhà máy AI (AI Factories) phải vận hành đồng thời hàng nghìn chu trình xử lý như vậy, đặt ra năm yêu cầu mới đối với kiến trúc CPU:
- Cần số lượng lõi xử lý lớn để vận hành đồng thời nhiều luồng công việc, đồng thời từng lõi phải có hiệu năng cao để rút ngắn thời gian xử lý của mỗi bước tuần tự.
- Cần hệ thống kết nối và bộ nhớ có băng thông cao, đảm bảo các lõi xử lý luôn được cung cấp dữ liệu theo thời gian thực – yếu tố thiết yếu đối với hoạt động của các tác tử AI.
- Cần năng lực I/O vượt trội để truyền tải dữ liệu tốc độ cao giữa CPU, GPU, bộ nhớ lưu trữ và hệ thống mạng.
- Cần tích hợp bảo mật ở cấp độ phần cứng, bởi các tác tử ngày càng xử lý nhiều dữ liệu doanh nghiệp nhạy cảm và phải được cách ly với nhau cũng như với hệ thống máy chủ.
- Cần đáp ứng toàn bộ những yêu cầu trên trong giới hạn năng lượng của các trung tâm dữ liệu hiện đại, tức là tối ưu số lượng tác vụ AI Agent trên mỗi watt điện, thay vì chỉ tập trung vào hiệu năng xử lý thuần túy.
NVIDIA gọi sự kết hợp các yếu tố này là hiệu năng đơn luồng tối đa ở quy mô lớn (Max Single-Threaded CPU at Scale). NVIDIA Vera được thiết kế chuyên biệt để đáp ứng mục tiêu đó, với các lõi Olympus hiệu năng cao, Scalable Coherency Fabric thế hệ thứ hai, bộ nhớ LPDDR5X, I/O Gen 6, công nghệ điện toán bảo mật (Confidential Computing) và kiến trúc tiết kiệm năng lượng dành riêng cho các trung tâm dữ liệu có giới hạn về công suất.
Ba đặc điểm kiến trúc giúp NVIDIA Vera tăng tốc các tác vụ AI Agent:
- Thứ nhất, 88 lõi Olympus do NVIDIA thiết kế, tích hợp kiến trúc xử lý 10-wide, bộ dự đoán nhánh bằng mạng nơ-ron và khả năng thực thi ngoài thứ tự chuyên sâu (deep out-of-order execution), mang lại hiệu năng cao gấp 2 lần so với x86 trong các tác vụ AI Agent quan trọng. Nhờ đó, thời gian thực hiện mỗi lần gọi công cụ, thực thi mã và đánh giá được rút ngắn đáng kể.
- Thứ hai, Scalable Coherency Fabric thế hệ thứ hai của Vera cung cấp băng thông kết nối giữa các lõi cao gấp 3 lần và độ trễ giữa các lõi thấp hơn tới 50% so với các giải pháp x86, giúp dữ liệu được truyền tải ổn định và có thể dự đoán ngay cả khi hệ thống chịu tải cao. Vera cũng tích hợp 96 làn PCIe Gen 6, cung cấp băng thông I/O cần thiết để kết nối GPU, hệ thống lưu trữ tốc độ cao và mạng, đáp ứng yêu cầu thông lượng của hạ tầng AI Agent.
- Thứ ba, bộ nhớ LPDDR5X cung cấp băng thông lên đến 1,2 TB/s, đồng thời giảm độ trễ truy cập bộ nhớ khi hệ thống chịu tải thấp hơn tới 40% so với các thiết kế dựa trên chiplet. Nhờ đó, các tác tử luôn được cung cấp kịp thời ngữ cảnh và dữ liệu cần thiết mà không phải chờ đợi quá lâu để truy cập bộ nhớ. LPDDR5X cũng giúp Vera cải thiện đáng kể hiệu quả sử dụng năng lượng: hiệu năng trên mỗi watt cao gấp 2 lần so với CPU x86, trong khi hệ thống bộ nhớ LPDDR5X tiêu thụ ít năng lượng hơn tới một bậc độ lớn so với các cấu hình bộ nhớ DDR5 cạnh tranh. Điều này cho phép hệ thống xử lý nhiều tác vụ AI Agent hơn trong cùng một giới hạn công suất.
Các tác vụ AI Agent phụ thuộc rất nhiều vào sandbox – những môi trường thực thi được cách ly, nơi các tác tử chạy mã, gọi công cụ và hoàn thành nhiệm vụ mà không ảnh hưởng đến nhau hoặc đến hệ thống máy chủ chủ (host). Tốc độ khởi tạo sandbox càng nhanh và số lượng sandbox có thể triển khai càng lớn, hạ tầng càng có khả năng hỗ trợ nhiều tác vụ AI Agent đồng thời.
CoreWeave, nền tảng điện toán đám mây AI được xây dựng chuyên biệt cho việc huấn luyện và triển khai mô hình ở quy mô lớn, ghi nhận tốc độ khởi tạo sandbox trên NVIDIA Vera nhanh hơn 3 lần so với x86. Đáng chú ý, chỉ với một rack máy chủ, hệ thống có thể hỗ trợ hơn 11.000 môi trường AI Agent hoạt động đồng thời.
Khi thực hiện các bài kiểm tra Terminal Bench – bộ công cụ đánh giá hiệu năng CPU thông qua những chu trình xử lý AI Agent thực tế – CoreWeave nhận thấy NVIDIA Vera đạt hiệu năng nhanh hơn 1,8 lần so với x86. Kết quả này được ghi nhận trên nhiều tác vụ AI Agent khác nhau, từ viết script cho đến khôi phục cơ sở dữ liệu. Khả năng hỗ trợ mật độ tác vụ cao cùng hiệu năng ổn định dưới tải lớn chính là những gì hạ tầng AI Agent hiện đại cần có.

NVIDIA BlueField và NVIDIA Sentry: Tăng cường bảo mật bằng cơ chế thực thi ở cấp độ phần cứng
OpenShell đưa quyền kiểm soát và quản trị ra bên ngoài phạm vi hoạt động của tác tử. Đối với những môi trường triển khai đòi hỏi mức độ bảo vệ cao hơn, cơ chế tách biệt này còn có thể được mở rộng xuống cấp độ chip bán dẫn chuyên dụng.
NVIDIA BlueField-4 DPU cung cấp một miền tin cậy được cách ly bằng phần cứng, nằm hoàn toàn ngoài phạm vi truy cập của tác tử. Trong kiến trúc tham chiếu OpenShell, BlueField-4 được bố trí trên đường truyền I/O giữa các tác tử chạy trên NVIDIA Vera và những mô hình AI mà chúng truy cập. NVIDIA Sentry là một nền tảng phần mềm bảo mật được xây dựng trên NVIDIA DOCA. Nền tảng này hoạt động trong miền độc lập nói trên để liên tục giám sát hành vi của các tác tử và thực thi các chính sách bảo mật ngay trong thời gian chạy (runtime).
NVIDIA Sentry giám sát các yêu cầu và phản hồi, hoạt động mạng và truy cập tệp; xác minh danh tính và quyền hạn được ủy quyền; đồng thời phân tích các vùng bộ nhớ máy chủ được lựa chọn nhằm phát hiện những hành vi bất thường so với phạm vi hoạt động đã được cấp phép. Đặc biệt, quá trình giám sát này không phụ thuộc vào việc tác tử tự báo cáo về hoạt động của chính mình.
Khi phát hiện mối đe dọa hoặc hành vi vi phạm chính sách, BlueField-4 có thể thực thi các biện pháp bảo vệ trực tiếp ở cấp độ phần cứng, cho phép NVIDIA Sentry cách ly tác tử chỉ trong vòng vài mili giây. Sự kết hợp này bổ sung một lớp bảo vệ phần cứng tùy chọn, hoạt động song song với các ranh giới bảo mật ở cấp độ phần mềm của OpenShell. Bạn có thể tìm hiểu thêm về NVIDIA Sentry trong bài viết phân tích chuyên sâu về cách NVIDIA Sentry bảo vệ các tác tử AI trong thời gian chạy.
Mở rộng triển khai môi trường thực thi AI Agent an toàn
Việc triển khai các tác tử AI trong môi trường sản xuất đòi hỏi một hạ tầng đủ năng lực duy trì hàng nghìn luồng công việc hoạt động đồng thời, đồng thời đảm bảo mọi hành động của chúng đều được quản trị và kiểm soát. NVIDIA Vera cung cấp năng lực tính toán, băng thông bộ nhớ và I/O cần thiết để duy trì các luồng công việc này. Trong khi đó, OpenShell thiết lập các ranh giới bảo mật ở cấp độ runtime, xác định những hành động nào được phép thực hiện và những tài nguyên nào mà các tác tử có thể truy cập.
Sự kết hợp giữa Vera và OpenShell tạo nên nền tảng để triển khai các hệ thống AI Agent an toàn ở quy mô lớn. Các tác tử có thể hoạt động trong thời gian dài hơn, sử dụng nhiều công cụ và xử lý dữ liệu doanh nghiệp, nhưng vẫn phải tuân thủ các chính sách được thực thi bởi những cơ chế kiểm soát nằm ngoài phạm vi kiểm soát của chính chúng. Đối với các môi trường cần mức độ bảo vệ cao hơn, NVIDIA Sentry chạy trên BlueField-4 bổ sung khả năng giám sát độc lập và thực thi chính sách trực tiếp ở cấp độ silicon.
Nền tảng NVIDIA Vera Rubin, nơi các mô hình ngôn ngữ lớn (LLM) được triển khai và vận hành, kết hợp với OpenShell và NVIDIA Sentry trên BlueField-4, tạo thành những trụ cột cốt lõi của kiến trúc tham chiếu OpenShell. Các thành phần này hợp thành một giải pháp toàn diện cho AI Agent an toàn: nền tảng hạ tầng tích hợp từ phần cứng đến phần mềm, cung cấp cho doanh nghiệp cả năng lực tính toán cần thiết để tối ưu hiệu suất tác tử lẫn các cơ chế kiểm soát nhằm đảm bảo mọi hoạt động luôn nằm trong phạm vi quyền hạn được cấp phép.
Bắt đầu triển khai
Để triển khai các cơ chế quản trị AI Agent an toàn trong tổ chức của bạn, hãy bắt đầu với NVIDIA OpenShell, tham khảo tài liệu hướng dẫn triển khai và tìm hiểu cách bộ xử lý NVIDIA Vera tăng tốc các tác vụ AI Agent.
Bài viết liên quan
- Tăng tốc độ tạo hình ảnh với FLUX 3 Image Klein trên GPU NVIDIA Blackwell
- CUDA 13.5 Toolkit: hỗ trợ GA cho Vera Rubin, MPS v3, CUDA Tile đa GPU và CCCL 3.5
- NVIDIA Nemotron 3.5 Super VL: xây dựng agent chuyên biệt với suy luận đa phương thức
- Chạy các mô hình AI Frontier-Class trên 8 nodes NVIDIA DGX Spark
- 5 bước tạo tài nguyên SimReady cho robot với các mô hình AI tiên phong
