Khi các nhóm triển khai và mở rộng các tác vụ AI sử dụng NVIDIA Dynamo, Kubeflow hoặc Slurm, việc theo dõi những gì thực sự đang chạy đòi hỏi khả năng hiển thị vượt ra ngoài cấu hình nền tảng được ghi nhận trong một công thức (recipe). Các nhóm ứng dụng xác định và cập nhật các tác vụ này độc lập với công thức nền tảng, do đó, một gói triển khai có thể tái lập đơn thuần không thể xác định được các sản phẩm tác vụ (workload artifacts) nào đang chạy trên mỗi nút. Các thẻ hình ảnh (image tags) có thể thay đổi như :latest thêm một lớp phức tạp khác. Hai nút có thể kết thúc với việc chạy các mã khác nhau dưới cùng một thẻ, và một nút kéo (pull) vào tuần sau có thể nhận được một hình ảnh không được bao phủ bởi một cuộc đánh giá bảo mật trước đó.
NVIDIA AI Cluster Runtime (AICR), một thành phần mô-đun mã nguồn mở của Nền tảng NVIDIA DSX AI Factory, hiện bao gồm một thành phần danh mục vật liệu AI (AIBOM) đã được chứng nhận để lấp đầy khoảng trống đó. Một dự án mã nguồn mở do Google tạo ra, k8s-aibom theo dõi các tác vụ AI đang chạy trên Kubernetes. Hai công thức (recipes) tiêu chuẩn chọn k8s-aibom theo mặc định: h100-gke-cos-inference và h100-gke-cos-inference-dynamo. Các công thức GKE khác có thể chọn tham gia trong quá trình tạo với --runtime-inventory được bật. Các công thức chọn nó có thể từ chối với --runtime-inventory được tắt.
AICR chuyển đổi các cấu hình nền tảng GPU đã được xác nhận hoạt động tốt thành các công thức (recipes) được khóa phiên bản và các gói triển khai có thể tái lập. Mỗi công thức ghi lại cấu hình mong muốn cho một tổ hợp phần cứng, đám mây, hệ điều hành và mục đích cụ thể: các thành phần của nó, các phiên bản được cố định, các giá trị, các ràng buộc, thứ tự triển khai và các kỳ vọng kiểm chứng. AICR tạo ra các sản phẩm triển khai có thể tái lập từ các đầu vào công thức, danh mục và gói đã được cố định. Các gói bao gồm các mã kiểm tra (checksums); việc ký số là tùy chọn thông qua aicr bundle --attest.
Việc chứng nhận (Qualification) với k8s-aibom là một tuyên bố cụ thể, không phải là sự phê duyệt chung chung. AICR liên kết chính xác nguồn gốc thượng nguồn, biểu đồ (chart), CRDs và hình ảnh controller được cố định bằng digest thành một bộ đã được kiểm thử, xác minh nguồn gốc (provenance) với danh tính build mong đợi của Google, xem xét RBAC đã được render và các mặc định bảo mật, và thực hiện cài đặt, nâng cấp, kiểm tra sức khỏe và gỡ cài đặt trên các đường dẫn triển khai mà nó đã kiểm thử.
Bài viết này sẽ giúp bạn cấu hình môi trường chạy Kubernetes của mình bằng AICR để cung cấp một cấu hình đã được xác thực và có hiệu suất cao cho cụm máy chủ của bạn.
Ad
Hình 1. NVIDIA DSX kết hợp các công nghệ cần thiết để thiết kế, xây dựng và vận hành các nhà máy AI
Hai mặt của cùng một vấn đề
AICR và k8s-aibom xem xét các phần khác nhau trong vòng đời của cơ sở hạ tầng AI. AICR giúp các nhóm nền tảng tạo và xác thực các cấu hình đã biết là tốt cho Kubernetes được tăng tốc bằng GPU. Nó hoạt động ở lớp triển khai thời gian chạy: trình điều khiển, operator, kernel, các thành phần Kubernetes, cấu hình triển khai.
k8s-aibom xem xét các phần cao hơn trong ngăn xếp và muộn hơn trong vòng đời của cụm. Nó theo dõi các API workload và pod của Kubernetes và phát ra một AIBOM CycloneDX 1.6 cho mỗi workload AI được nhận dạng. Phạm vi bao phủ có giới hạn: Chỉ các loại workload được hỗ trợ mang tín hiệu AI được nhận dạng mới được lập danh mục. Phạm vi bao phủ bao gồm các đồ thị Dynamo native, NIMService, LeaderWorkerSet, DisaggregatedSet và các tài nguyên CronJob. Các workload con được theo dõi sẽ được kết hợp vào AIBOM của chủ sở hữu của chúng.
| AICR trả lời | câu trả lời của k8s-aibom |
|---|---|
| Hạ tầng GPU có được xây dựng từ một cấu hình đã biết và được xác thực không? | Những tài sản AI nào thực sự đang chạy trên cơ sở hạ tầng đó? |
Bảng 1. Giá trị ở mỗi cấp độ của ngăn xếp.
Một hệ thống cung cấp khả năng kiểm soát và tái lập cấu hình cho Kubernetes được tăng tốc bằng GPU, trong khi hệ thống còn lại bổ sung khả năng phát hiện và truy xuất nguồn gốc khối lượng công việc trong cụm đó. Cụ thể, AIBOM giúp bạn:
- Tìm các khối lượng công việc AI chưa được đăng ký hoặc ẩn danh trong các namespace được chọn để báo cáo
- Nhận diện các mô hình, runtime suy luận, agent và các thành phần RAG
- Theo dõi các API AI bên ngoài và cơ sở dữ liệu vector
- Phát hiện các thay đổi hoặc sai lệch trong các phụ thuộc AI
- Hỗ trợ các cuộc đánh giá bảo mật, phản ứng sự cố và kiểm toán tuân thủ
Cả hai dự án đều đi đến kết luận này từ hai phía đối lập của cùng một vấn đề và nhận ra điều đó. AICR ghi lại ý định triển khai đã được xác nhận và đánh giá nó so với một cụm (cluster) tại một thời điểm nhất định. k8s-aibom quan sát các tác vụ AI được hỗ trợ và ghi lại những gì nó tìm thấy, bao gồm mức độ tin cậy mà mỗi thuộc tính được xác định. Không có góc nhìn nào là đủ cho việc quản trị AI một cách độc lập, và ranh giới giữa chúng chính là nơi trách nhiệm giải trình đang bị thiếu hụt hiện nay.
Sử dụng AICR với k8s-aibom
Các ví dụ này phản ánh AICR v1.2.0 và danh mục của nó, trong đó cố định k8s-aibom 1.6.2. Hãy sử dụng bản build CLI khớp với danh mục này để tái tạo các ví dụ.
Bắt đầu với một cụm Google Kubernetes Engine (GKE) chạy Kubernetes 1.32 hoặc mới hơn, với các nút NVIDIA H100 GPU sử dụng Container-Optimized OS và trình điều khiển cùng plugin thiết bị do GKE quản lý. Quy trình làm việc sau đây tạo ra một công thức (recipe), render nó thành một gói (bundle), triển khai nó và xác thực kết quả. Không có gì được lắp ráp thủ công và không có gì được tinh chỉnh thủ công.
Với cùng phiên bản AICR, danh mục và đầu vào thế hệ, việc phân giải công thức sẽ tạo ra cùng một cấu hình. Bước cuối cùng kiểm tra cụm đối chiếu với cấu hình đó. Đó là một nửa mà AICR mang lại cho sự kết hợp này: một nền tảng GPU đã được xác thực một cách nhanh chóng và có thể lặp lại. Sau đó, k8s-aibom tiếp tục kiểm kê các tác vụ AI được hỗ trợ.
Tạo công thức
aicr recipe \ --service gke \ --accelerator h100 \ --os cos \ --intent inference \ --output recipe.yaml
Thành phần k8s-aibom mới được chọn như một phần của công thức, không phải được gắn thêm sau đó. Bạn có thể truy vấn bất kỳ giá trị nào đã được phân giải mà không cần tạo tệp:
aicr query \ --service gke --accelerator h100 --os cos --intent inference \ --selector components.k8s-aibom.version # 1.6.2
Đóng gói và triển khai
Tạo một gói triển khai với trình triển khai Helm mặc định. Thay thế các bộ chọn nút (node selectors) trong ví dụ bằng các nhãn có sẵn trên hệ thống và các nhóm nút GPU của bạn:
aicr bundle \ --recipe recipe.yaml \ --system-node-selector nodeGroup=system-pool \ --accelerated-node-selector nodeGroup=gpu-worker \ --output ./bundles
Gói này bao gồm một thư mục cho mỗi thành phần, được sắp xếp theo đồ thị phụ thuộc, mỗi thư mục chứa các giá trị, mã kiểm tra (checksums) và script cài đặt. AICR hỗ trợ một số trình triển khai thông qua cờ --deployer, bao gồm helmfile, flux và argocd.
Xác minh bundle đã được tạo, sau đó cài đặt nó:
(cd ./bundles && aicr verify . && chmod +x deploy.sh && ./deploy.sh)
Sau khi triển khai, bộ điều khiển k8s-aibom sẽ chạy trong namespace k8s-aibom-system. AICR sử dụng CRDs của chart chính thay vì chart đồng hành k8s-aibom-crds. Các gói Helm bao gồm bước áp dụng CRD; Flux và Argo CD xử lý các bản cập nhật thông qua các bộ điều khiển của chúng. Helmfile, Terraform và Fleet yêu cầu bản cập nhật CRD thủ công được tài liệu hóa khi quá trình chuyển đổi đòi hỏi điều đó. Kiểm tra phiên bản lưu trữ đã được cài đặt:
kubectl get crd aiboms.aibom.k8saibom.dev \
-o jsonpath='{.spec.versions[?(@.storage==true)].name}'
# v1beta1
Xác thực
aicr snapshot --output snapshot.yaml aicr validate --recipe recipe.yaml --snapshot snapshot.yaml \ --phase deployment --phase conformance
Kiểm tra sức khỏe k8s-aibom được thực hiện như một phần của giai đoạn triển khai. Nó yêu cầu việc triển khai controller phải khả dụng, AIBOMControllerConfig có phạm vi cụm phải báo cáo Ready=True hiện tại, và cả hai CRD phải báo cáo phiên bản lưu trữ mà biểu đồ cố định mong đợi. Phiên bản lưu trữ khớp không chứng minh rằng lược đồ CRD đầy đủ là hiện tại. Trong quá trình nâng cấp, hãy xác minh lược đồ đích và kiểm tra Degraded=True với lý do SchemaPredatesController; xem sức khỏe và sẵn sàng.
Chọn một namespace trong
Việc kiểm kê là tùy chọn theo từng namespace. Nhãn (label) kiểm soát các namespace nào phát ra các bản ghi AIBOM; nó không thu hẹp phạm vi những gì bộ điều khiển (controller) đọc. Các Informer vẫn lưu trữ bộ nhớ đệm (cache) thông số kỹ thuật của workload và pod trên toàn cụm (cluster-wide), bao gồm cả các đối số container và các giá trị biến môi trường nội tuyến (inline). Mặc định không cấu hình điểm đến (sink) nào và không có quyền truy cập bí mật (secret access), do đó không có gì rời khỏi cụm nếu không có quyết định rõ ràng.
kubectl create namespace prod-jobs kubectl label namespace prod-jobs aibom.k8saibom.dev/enabled=true
Chạy một tác vụ suy luận
Các tác vụ được hỗ trợ có tín hiệu AI được công nhận sẽ được lập danh mục tự động khi namespace của chúng tham gia. Để minh họa đơn giản, dưới đây là một triển khai vLLM phục vụ Qwen. Lưu ý rằng nó kéo vllm/vllm-openai:latest thay vì một digest, đây là một mẫu hình không hiếm gặp trong một số môi trường. Bộ chọn nvidia-h100-mega-80gb và sự dung nạp phải khớp với các nhãn và taints của nhóm GPU của bạn:
apiVersion: apps/v1
kind: Deployment
metadata:
name: vllm-qwen
namespace: prod-jobs
spec:
replicas: 1
selector:
matchLabels: {app: vllm-qwen}
template:
metadata:
labels: {app: vllm-qwen}
spec:
# Adjust to match your GPU node pool's taints and labels.
tolerations:
- key: dedicated
operator: Equal
value: gpu-workload
effect: NoSchedule
nodeSelector:
cloud.google.com/gke-accelerator: nvidia-h100-mega-80gb
containers:
- name: vllm
image: vllm/vllm-openai:latest
args: ["--model", "Qwen/Qwen2.5-0.5B-Instruct",
"--max-model-len", "4096",
"--gpu-memory-utilization", "0.30"]
ports:
- containerPort: 8000
resources:
limits:
nvidia.com/gpu: "1"
volumeMounts:
- {name: shm, mountPath: /dev/shm}
volumes:
- name: shm
emptyDir: {medium: Memory, sizeLimit: 2Gi}
Lưu manifest này dưới dạng vllm-qwen.yaml, sau đó tạo workload:
kubectl apply -f vllm-qwen.yaml
Xem danh mục
Sau khi áp dụng tải công việc, bạn có thể theo dõi kho:
kubectl -n prod-jobs get aiboms.aibom.k8saibom.dev
Kết quả đầu ra mẫu:
NAME WORKLOAD NAME CATEGORY RUNTIME READY AGE apps-deployment-vllm-qwen Deployment vllm-qwen inference vllm True 28m
Bộ điều khiển đã tự động phân loại danh mục khối lượng công việc và thời gian chạy phục vụ. Một ranh giới cần biết: Bản ghi được xây dựng từ thông số khối lượng công việc, do đó một AIBOM có thể tồn tại trước khi bất kỳ pod nào được chạy. AIBOM có thể xuất hiện và báo cáo Ready=True trong khi pod vẫn đang kéo hình ảnh của nó. AIBOM cho bạn biết những gì đã được khai báo và, một khi Pod tồn tại, những gì nó đã được phân giải. Nó không chứng minh việc lập lịch hoặc thực thi thành công.
Kiểm tra các điều kiện trạng thái:
kubectl -n prod-jobs get aibom apps-deployment-vllm-qwen \
-o jsonpath='{range .status.conditions[*]}{.type}={.status} {end}'
# Ready=True Synced=True SinkFailed=False Stale=False
Xác minh AIBOM
Tài liệu được lưu trực tiếp trên tài nguyên khi kích thước đủ nhỏ, kèm theo SHA-256 đã công bố trên các byte chính thức:
kubectl -n prod-jobs get aibom apps-deployment-vllm-qwen -o json > aibom.json
jq -r '.status.bomDocument.inline.data' aibom.json | base64 -d > bom.json
jq -r '.status.bomDocument.sha256' aibom.json
shasum -a 256 bom.json | awk '{print $1}'
Đây là nơi tất cả hội tụ:
jq -r '.components[] | "\(.type)\t\(.name)"' bom.json
Phản hồi nên có dạng như sau:
application vllm container vllm/vllm-openai machine-learning-model Qwen/Qwen2.5-0.5B-Instruct
Một SBOM thông thường cho bạn biết hình ảnh nào đang chạy. Một AIBOM cho bạn biết mô hình nào đang phục vụ và runtime nào đang phục vụ nó. Các thuộc tính mang một trong bốn cấp độ độ tin cậy—declared, inferred, unresolved hoặc verified—cùng với một định vị bằng chứng, để người xem có thể thấy cách mỗi tuyên bố được đưa ra.
Tác động tài nguyên
Upstream đã đo k8s-aibom v1.6.1 trên GKE với cấu hình của NVIDIA Dynamo và AICR. Bài kiểm tra sử dụng các nút chỉ có CPU với các pod tải công việc ở trạng thái chờ, do đó các con số này mô tả chi phí đầu vào của bộ điều khiển:
- Khoảng bốn yêu cầu API-server mỗi phút trong cửa sổ quan sát trạng thái ổn định kéo dài 15 phút
- Mức sử dụng CPU trung bình của bộ điều khiển là 2,2 millicore
- Bộ làm việc bộ nhớ của bộ điều khiển từ 28 đến 34 MiB
- Một lần tái tạo AIBOM khi thẻ hình (image tag) của khối việc (workload) được kiểm thử thay đổi
Những gì tiếp theo
Việc tích hợp này cố tình dừng lại ở một số khía cạnh, mỗi khía cạnh là một quyết định riêng chứ không phải do sơ suất.
Quan sát thời gian chạy đã ký: AIBOM thời gian chạy được viết dưới dạng tài nguyên Kubernetes, nhưng bản thân quan sát thì không được ký. Việc ký sẽ làm cho các quan sát được ghi lại có khả năng phát hiện sự can thiệp; nó sẽ không chứng minh rằng mọi tuyên bố về tải làm việc đều đúng hoặc xác lập việc thực thi thành công. Các byte chính tắc và SHA-256 đã công bố được hiển thị ở trên làm cho việc ký trở nên khả thi.
Liên kết nguồn gốc đã xác minh: k8s-aibom có thể xác minh chữ ký Sigstore trên các yêu cầu mô hình đối với các gốc tin cậy được cấu hình bởi operator, thực thi các ràng buộc về danh tính người ký, kiểm tra việc bao gồm trong Rekor và gán cấp độ độ tin cậy đã xác minh cho các yêu cầu đủ điều kiện. AICR để việc xác minh này ở trạng thái tắt theo mặc định. AICR cũng có thể tạo ra các chứng nhận bundle được ghi vào nhật ký minh bạch khi ký được bật; việc liên kết nguồn gốc nền tảng đó với danh mục AI thời gian thực vẫn là công việc tích hợp trong tương lai.
Ý định và các khối việc quan sát được: Một công thức AICR mô tả ý định triển khai. Một AIBOM thời gian thực ghi lại các thông số khối việc quan sát được và bằng chứng trạng thái pod khả dụng. Việc tương quan chúng đòi hỏi các định danh artifact chung, các quy tắc về độ mới và ánh xạ giữa độ bao phủ của hạ tầng và khối việc. So sánh đó vẫn là công việc tích hợp trong tương lai; một AIBOM không thiết lập việc thực thi thành công hay sự tuân thủ hoàn chỉnh của cụm.
AICR có sẵn tại NVIDIA/aicr. k8s-aibom có sẵn tại GoogleCloudPlatform/k8s-aibom. Cả hai đều là mã nguồn mở. Nếu bạn chạy các tác vụ GPU trên Kubernetes, tích hợp này sẽ thêm một danh mục các tác vụ AI được nhận diện và bằng chứng cho thấy cách mỗi thuộc tính được xác định.
Bài viết liên quan
- NVIDIA Auto Ontology: lớp ngữ nghĩa giúp AI agent hiểu dữ liệu doanh nghiệp
- Chuỗi cung ứng hạ tầng AI tiên tiến nhất thế giới cách mạng hóa tương lai
- OpenShell là gì? Cách NVIDIA “nhốt” AI agent trong sandbox an toàn
- NVIDIA Cosmos mở ra các công cụ mới để huấn luyện, đánh giá và triển khai mô hình thế giới
- NVIDIA RTX Spark hỗ trợ Render thần kinh và nhân vật AI trong game

