AI đã thay đổi cách các tổ chức hoạt động, thúc đẩy mức độ năng suất và đổi mới chưa từng có. Tuy nhiên, việc áp dụng AI có thể bị cản trở bởi những lo ngại xung quanh quyền riêng tư dữ liệu, chủ quyền dữ liệu và cách bảo mật dữ liệu khi nó đang được sử dụng, hoặc trong quá trình suy luận và tương tác với các mô hình AI. NVIDIA Confidential Computing (CC) được thiết kế để trở thành một giải pháp bảo mật và hiệu suất cao cho kỷ nguyên AI tác tử (agentic AI) nhằm mở rộng quy mô bất kỳ mô hình nào một cách an toàn.
CC cho phép bảo vệ dữ liệu doanh nghiệp và trọng số mô hình độc quyền cũng như bản thân mô hình trong quá trình suy luận hoạt động. Trong bài đăng này, chúng tôi sẽ cung cấp tổng quan về CC và trình bày các điểm chuẩn cho thấy hiệu suất suy luận của nó gần như tương đương (lên đến 98%) với các giải pháp không bật bảo mật CC.
Tính toàn vẹn của dữ liệu, mã và mô hình
CC cung cấp một lớp bảo mật trải dài từ silicon, kết nối và phần mềm hệ thống. Cách thức hoạt động của nó như sau:
Hình 1. Confidential Computing cung cấp tính toàn vẹn và bảo mật dữ liệu và mã
Nguồn tin cậy phần cứng
Các GPU NVIDIA Blackwell, bao gồm NVIDIA RTX PRO 6000, HGX B200 và HGX B300, được thiết kế với CC nhúng trong phần cứng. Các GPU HGX B200 và HGX B300 hỗ trợ điện toán bảo mật trên nhiều GPU (lên đến 8) với mã hóa NVIDIA NVLink. Ở cấp độ silicon, GPU duy trì một khóa ký riêng được hợp nhất tại thời điểm sản xuất và không bao giờ bị lộ cho phần mềm, firmware hoặc hệ thống chủ. Khóa này là nền tảng của chuỗi chứng thực.
Attestation: Verification before execution
Trước khi một khối lượng công việc bảo mật nhận bất kỳ bí mật nào, nó sẽ trải qua quá trình chứng thực từ xa. Dịch vụ Chứng thực Từ xa của NVIDIA (NRAS) xác minh một gói bằng chứng đã ký—báo cáo phần cứng của GPU kết hợp với các phép đo TEE của CPU (AMD SEV-SNP hoặc Intel TDX)—so với một bản kê khai tính toàn vẹn tham chiếu đã biết là tốt (RIM).
Khi Máy ảo Bảo mật (CVM) ở trong trạng thái đã được xác minh và không bị sửa đổi, các bí mật như khóa giải mã mô hình có thể được triển khai vào CVM. Quá trình bắt tay chứng thực thường là một sự kiện khởi động một lần. Sau khi khối lượng công việc đang chạy, việc chứng thực không làm tăng độ trễ cho các yêu cầu suy luận riêng lẻ.
Hình 2. Các dịch vụ chứng thực xác thực từ xa danh tính, cấu hình và tính toàn vẹn của các Môi trường Thực thi Tin cậy và cấp bằng chứng mật mã
Tối ưu hóa hiệu suất suy luận AI trong Điện toán bí mật (Confidential Computing)
Những thay đổi về CC đối với hiệu suất suy luận AI trên GPU Blackwell có thể đến từ hai lĩnh vực:
- Độ trễ gửi công việc bảo mật: Đối với suy luận, độ trễ gửi công việc bảo mật thường là yếu tố lớn hơn và do chi phí bổ sung từ mã hóa và khởi chạy kernel, các đơn vị công việc nhỏ hơn bị ảnh hưởng nhiều hơn. Việc tăng lượng công việc được thực hiện trên mỗi lần khởi chạy công việc GPU sẽ giảm tác động của chi phí khởi chạy bảo mật.
- Giảm băng thông CPU-to-GPU từ host đến thiết bị: Nếu một workload phụ thuộc nhiều vào việc truyền đầu vào đến GPU, hiệu suất sẽ phụ thuộc vào việc băng thông cần thiết để giữ cho GPU được sử dụng hết có vượt quá băng thông truyền được mã hóa có sẵn trong chế độ CC hay không.
Một số cải tiến tối ưu hóa hiệu suất suy luận với CC bao gồm:
- Thời gian tự động tinh chỉnh an toàn với CC: FlashInfer thay thế bộ hẹn giờ sự kiện trong chế độ CC bằng thanh ghi bộ đếm toàn cục của GPU, cho phép các bộ tự động tinh chỉnh so sánh chính xác các ứng cử viên kernel và chọn triển khai nhanh nhất cho mỗi hình dạng.
- Worker sao chép Async D2H: SGLang di chuyển việc đọc lại token theo từng bước ra khỏi đường dẫn quan trọng của bộ lập lịch. Điều này giúp khôi phục sự chồng lấp giữa tính toán/sao chép vì CC nếu không làm như vậy có thể khiến nhiều thao tác sao chép từ host sang device và từ device sang host trở nên đồng bộ trong quá trình cudaMemcpyAsync.
- Hỗ trợ đồ thị CUDA theo từng phần: SGLang bổ sung tính năng phát lại đồ thị CUDA cho các lô tiền tố (prefill) và các lô hỗn hợp (mixed batches), giảm chi phí khởi chạy kernel vốn bị khuếch đại trong chế độ CC.
NVIDIA tiếp tục làm việc với các cộng đồng thượng nguồn cho các framework suy luận để đảm bảo các framework này được tối ưu hóa về hiệu suất.
Chúng tôi đã đo hiệu suất suy luận của CC trên các chỉ số chính khác nhau. Dưới đây là chi tiết về thiết lập thử nghiệm và các phép đo.
Kết quả Benchmark
Trên tất cả các cấu hình khối lượng công việc đã được thử nghiệm, việc bật chế độ CC đã tạo ra độ trễ thông lượng và thời gian trên mỗi token đầu ra tối thiểu trong quá trình suy luận trạng thái ổn định.
Bảng sau đây tóm tắt thông lượng CC, TTFT, và chi phí TPOT trên Blackwell Ultra (HGX B300) cho mô hình Qwen/Qwen3.5-397B-A17B-FP8
Hiệu suất tương đối của Điện toán bảo mật
| Đồng thời | ISL/OSL = 1024 / 1024 | ISL/OSL = 8192 / 1024 | ||
| Thông lượng/GPU (tok/s) | TPOT trung vị (ms) | Thông lượng/GPU (tok/s) | TPOT trung vị (ms) | |
| Δ% so với TẮT | Δ% so với TẮT | Δ% so với TẮT | Δ% so với TẮT | |
| 4 | -2.0% | -1.6% | -3.5% | -3.6% |
| 8 | -2.6% | -2.4% | -2.8% | -2.9% |
| 16 | -5.3% | -4.9% | -2.8% | -3.0% |
| 32 | -6.3% | -7.8% | -1.0% | -0.9% |
| 64 | -6.2% | -6.8% | -2.3% | -2.4% |
| 128 | -7.5% | -8.1% | -3.5% | -3.5% |
| 256 | -4.6% | -4.1% | -3.6% | -3.7% |
Bảng 1. Tác động hiệu suất tương đối của việc bật NVIDIA Confidential Computing
Test Setup
Điểm chuẩn: Mô hình Qwen 3.5 397B-A17B ở độ chính xác FP8
Môi trường: Máy ảo với GPU passthrough
Mức cơ sở: Confidential Computing Tắt
Thí nghiệm: Confidential Computing Bật
Tất cả các biến số khác được giữ không đổi.
Hardware Configurations
HGX B300 với Blackwell Ultra.
Software Stack
| Component | Version / Detail |
| Nền tảng | Intel TDX |
| Hệ điều hành máy chủ | Ubuntu 25.10 |
| Nhân máy chủ | 6.17.0-20-generic |
| Hệ điều hành khách | Ubuntu 24.04.4 LTS |
| Kernel Khách | 6.8.0-124-generic |
| vCPU Khách | 256 |
| NUMA Khách | 2 nodes |
| Trình điều khiển NVIDIA | 595.71.05 |
| VBIOS | FW 1.4.x [97.10.64.00.0C] |
| Giới hạn Nguồn GPU | 1100.00 |
| CUDA | 13.2 |
| SGlang | docker.io/lmsysorg/sglang:v0.5.12-cu130PRs: 28251 (SGLang) và 3638 (FlashInfer) |
| NCCL | v2.28.9-1 |
| OpenSSL | 3.6.0 |
| Orchestration | Docker Container + NVIDIA Container Toolkit |
Bảng 2. Cấu hình phần mềm cho thiết lập thử nghiệm
Lưu ý: Vui lòng làm theo cấu hình công suất CPU và ghim vCPU được mô tả trong tài liệu này.
Tham số Tải công việc
Mỗi cấu hình đã được kiểm tra trên một loạt các điều kiện đại diện cho các tải công việc suy luận doanh nghiệp thực tế:
Độ dài token đầu vào/đầu ra: 8192/1024, 1024/1024
Kích thước lô: 4, 8, 16, 32, 64, 128 và 256 yêu cầu đồng thời.
Khung suy luận (Chế độ): SGLang (Máy chủ)
Đường cơ sở: Không có –enable-symm-mem
Các chỉ số được thu thập
Thông lượng đầu ra trên mỗi GPU (tokens/giây/gpu)
Thời gian trung vị để có token đầu tiên (TTFT) — độ trễ từ khi gửi yêu cầu đến khi tạo token đầu tiên, tính bằng ms
Thời gian trung vị trên mỗi token đầu ra (TPOT) — độ trễ tạo mỗi token trong luồng ổn định, tính bằng ms
Lộ trình phía trước
Bảo mật cấp phần cứng với CC bảo vệ các tải công việc AI nhạy cảm trong khi vẫn duy trì hiệu suất cần thiết cho các tải công việc AI sản xuất.
CC cung cấp nền tảng bảo mật mạnh mẽ hơn cho các tải công việc suy luận sản xuất với chi phí hiệu suất tối thiểu. Trong đánh giá của chúng tôi sử dụng Qwen 3.5 trên SGLang, chúng tôi đã quan sát thấy điều này trên một loạt các mức độ đồng thời, độ dài chuỗi đầu vào và độ dài chuỗi đầu ra, chứng minh rằng các tổ chức có thể bảo mật các tải công việc và dữ liệu AI của họ, và tuân thủ các quy định mà không làm ảnh hưởng đến hiệu suất.
Tham gia cùng NVIDIA và các đối tác của chúng tôi để bảo mật các khối lượng công việc AI của bạn với CC trên Blackwell bằng cách truy cập các tài nguyên dưới đây.
Tài nguyên
Tài liệu về Confidential Computing của NVIDIA
Sách trắng Kiến trúc Blackwell của NVIDIA
NVIDIA GPU Operator và Container Toolkit
Dịch vụ Chứng thực Từ xa của NVIDIA (NRAS)
Kiến trúc Zero Trust NIST SP 800-207
Quy tắc Bảo mật HIPAA (HHS)
Điều 32 GDPR — Bảo mật của việc xử lý
Bài viết liên quan
- BioNeMo Agent Toolkit: Khi AI Agent bước vào phòng thí nghiệm số
- NVIDIA dẫn đầu hiệu suất Agentic Coding trên bài đo benchmark Agentic AI đầu tiên
- Tăng tốc Tổng hợp BEV trên GPU NVIDIA cho các Ứng dụng AI Vật lý
- Triển khai các agent tự tiến hóa để nghiên cứu nhanh hơn và an toàn hơn với Hermes agent và NVIDIA NemoClaw
- NVIDIA Blackwell lập kỷ lục STAC-AI về suy luận LLM trong lĩnh vực tài chính