Triển khai AI Agent sẵn sàng cho thực tế tại biên với hiệu quả sử dụng bộ nhớ cao trên NVIDIA JetPack 7.2

Khi các AI Agents chuyển từ thế giới kỹ thuật số sang môi trường vật lý, chúng có thể dễ dàng sử dụng NVIDIA Jetson để đẩy nhanh quá trình triển khai thực tế với bộ nhớ và hiệu năng được tối ưu hóa.

NVIDIA JetPack 7.2 hỗ trợ trực tiếp việc triển khai NVIDIA NemoClaw chỉ bằng một lệnh duy nhất , một bộ công nghệ mã nguồn mở bổ sung các biện pháp kiểm soát quyền riêng tư và bảo mật cho OpenClaw. Nó giới thiệu NVIDIA Agent Skills (bộ kỹ năng dành cho AI Agent) cho Jetson — Jetson Device-side Skills (bộ kỹ năng chạy trực tiếp trên thiết bị Jetson) và Jetson BSP skills — và mở rộng bộ công nghệ tính toán và khả năng tác nhân mới nhất cho NVIDIA Jetson Orin . Nền tảng phần mềm định nghĩa Jetson giúp điều này trở nên khả thi: cùng một phần cứng tiếp tục mang lại nhiều giá trị hơn với mỗi bản phát hành phần mềm.

Bài viết này giới thiệu các tính năng và khả năng mới của JetPack 7.2, bao gồm:

Hỗ trợ tính năng Multi-Instance GPU (MIG) trên NVIDIA Jetson Thor giúp thực thi đa tác vụ một cách xác định.
Hỗ trợ chính thức từ Yocto Project cho các bản phân phối Linux tùy chỉnh, giúp cải thiện hơn nữa hiệu quả hệ thống.
Chế độ Siêu cấp dành cho Jetson AGX Orin 32 GB giúp tăng hiệu năng AI và tiết kiệm chi phí hơn tại biên.

Nhìn chung, những bản cập nhật này giúp các nhà phát triển khai thác tối đa phần cứng Jetson hiện có, đẩy nhanh thời gian đưa sản phẩm ra thị trường và giảm tổng chi phí sở hữu.

NVIDIA JetPack 7.2 đã sẵn sàng cho việc tích hợp tác nhân phần mềm như thế nào?

Với JetPack 7.2, Jetson đã sẵn sàng sử dụng NemoClaw ngay từ khi cài đặt. JetPack 7.2 được cấu hình sẵn với các phụ thuộc và ngăn xếp phần mềm cần thiết, vì vậy bạn có thể triển khai và chạy các quy trình làm việc dựa trên NemoClaw trên Jetson mà không cần thiết lập môi trường thủ công. Điều này cho phép bạn dễ dàng xây dựng các ứng dụng Physical AI dựa trên tác nhân trong lĩnh vực robot, tự động hóa công nghiệp, tác nhân thị giác và hệ thống Edge AI.

Để cài đặt NemoClaw trên thiết bị Jetson chạy JetPack 7.2, hãy chạy lệnh duy nhất sau:

curl -fsSL nvidia.com/nemoclaw.sh | bash

Các kỹ năng của tác nhân NVIDIA dành cho Jetson trong JetPack 7.2

JetPack 7.2 cũng cung cấp cho các nhà phát triển các kỹ năng tác nhân Jetson để xây dựng và tối ưu hóa các ngăn xếp phần mềm Jetson bằng cách sử dụng các tác nhân AI. Các kỹ năng tác nhân là một tập hợp các hướng dẫn có thể lặp lại và có thể thực thi bởi tác nhân, xác định công cụ nào cần gọi, đầu ra nào cần tạo ra và cách xác thực kết quả. Thay vì cấu hình thủ công từng bước của quy trình phát triển, các nhà phát triển có thể tận dụng các kỹ năng tác nhân thông qua một tác nhân để xử lý các tác vụ này một cách tự động.

Các kỹ năng của tác nhân Jetson áp dụng mô hình này cụ thể vào quy trình phát triển phần mềm Jetson. Các quy trình do tác nhân điều khiển này giúp tự động hóa các tác vụ phát triển phổ biến như tùy chỉnh Jetson Linux, tối ưu hóa bộ nhớ, đánh giá hiệu năng mô hình và cấu hình triển khai. Với cả triển khai phía thiết bị và phía BSP, các nhà phát triển có thể sử dụng các kỹ năng của tác nhân để giảm độ phức tạp trong phát triển và tăng tốc quá trình từ tạo mẫu đến triển khai sản phẩm trên nền tảng Jetson.

JetPack 7.2 cung cấp ba loại kỹ năng:

Kỹ năng tùy chỉnh Jetson Linux: Hướng dẫn một Agent xây dựng và tùy chỉnh BSP từ đầu cho các bo mạch chủ tùy chỉnh. Điều này bao gồm cấu hình I/O, cài đặt xung nhịp, điều khiển quạt, cấu hình nguồn hoặc bất kỳ mô-đun nào khác cho một thiết kế phần cứng cụ thể. Các tác vụ trước đây cần nhiều tuần thực hiện thủ công giờ đây có thể được xử lý bởi một Agent, giúp giảm thời gian đưa sản phẩm ra thị trường cho các thiết kế Jetson tùy chỉnh.
Kỹ năng tối ưu hóa bộ nhớ (Memory Optimization Skills): Giúp tối ưu việc sử dụng bộ nhớ trên toàn bộ ngăn xếp phần mềm. Các kỹ năng này có thể phân tích và tối ưu từ khâu phân bổ bộ nhớ cho bootloader, tinh chỉnh vùng bộ nhớ dành riêng cho nhân Linux, loại bỏ các tiến trình không cần thiết ở không gian người dùng (user space), cho đến xây dựng cấu hình phần mềm có mức sử dụng bộ nhớ tối ưu nhất cho từng workload cụ thể. Nhờ đó, các ứng dụng AI và workload phức tạp hơn có thể vận hành trên những cấu hình bộ nhớ thấp hơn, góp phần giảm trực tiếp Tổng Chi Phí Sở Hữu (Total Cost of Ownership – TCO).
Kỹ năng đánh giá hiệu năng mô hình: Giúp bạn xác định cấu hình mô hình tốt nhất cho trường hợp sử dụng của mình. Các kỹ năng này bao gồm đánh giá hiệu năng mô hình, tối ưu hóa suy luận và chẩn đoán Jetson. Ví dụ, một nhà phát triển xây dựng ứng dụng dựa trên NemoClaw có thể sử dụng các kỹ năng này để xác định mô hình nào chạy hiệu quả nhất trên thiết bị mục tiêu của họ cho nhiệm vụ cụ thể.

Cùng với ba loại kỹ năng này, NVIDIA cũng giới thiệu các kỹ năng giúp các tác nhân xây dựng quy trình xử lý hình ảnh bằng cách sử dụng NVIDIA DeepStream và NVIDIA Metropolis Blueprint cho Tìm kiếm và Tóm tắt Video (VSS).

Để tìm hiểu thêm và bắt đầu, hãy xem các kỹ năng phía thiết bị Jetson và các kỹ năng BSP của Jetson trên GitHub.

Công nghệ MIG trên Jetson Thor cho phép phân vùng GPU cho các workloads có mức độ quan trọng khác nhau.

JetPack 7.2 trên Jetson Thor giới thiệu hỗ trợ MIG , cho phép phân vùng GPU NVIDIA Blackwell tích hợp thành hai phiên bản GPU riêng biệt với băng thông tính toán, bộ nhớ đệm và bộ nhớ đệm chuyên dụng. Điều này cho phép nhiều workloads AI chạy đồng thời với hiệu suất ổn định và hạn chế ảnh hưởng lẫn nhau giữa các tác vụ.

Kết hợp với nhân Preemptible RT trong JetPack 7, MIG giúp tạo ra môi trường thực thi ổn định hơn cho các hệ thống có mức độ quan trọng khác nhau. Tính ổn định của workloads rất quan trọng đối với các hệ thống AI vật lý như robot hình người , máy tự hành , tự động hóa công nghiệp và thiết bị y tế . Điều này là do các workloads nhận thức, lập kế hoạch, điều khiển, AI tạo sinh và an toàn thường chia sẻ một SoC duy nhất, nơi sự tranh chấp tài nguyên có thể gây ra độ trễ không ổn định trong các quy trình xử lý nhạy cảm về thời gian.

Với MIG trên Jetson Thor, các nhà phát triển có thể dành riêng tài nguyên GPU cho các tác vụ robot nhạy cảm với độ trễ trong khi vẫn chạy các mô hình suy luận AI hoặc AI tạo sinh trên một phân vùng riêng biệt. Điều này giúp duy trì độ trễ và chất lượng dịch vụ có thể dự đoán được cho các tác vụ như nhận thức, hợp nhất cảm biến, lập kế hoạch chuyển động và giám sát an toàn. JetPack 7.2 hỗ trợ hai phân vùng MIG trên Jetson Thor:

Phân vùng AI và đồ họa lớn hơn dành cho suy luận, kết xuất, trực quan hóa và các tác vụ cuda" target="_self" rel="follow" data-wpel-link="internal">NVIDIA CUDA nói chung (12 SM, 1536 lõi CUDA)
Phân vùng tính toán riêng biệt thứ hai dành cho robot, điều khiển, nhận thức hoặc các tác vụ quan trọng về an toàn (8 SM, 1024 lõi CUDA)

Các ứng dụng, vùng chứa và dịch vụ có thể được gán cho các phân vùng MIG cụ thể bằng cách sử dụng các điều khiển CUDA Runtime tiêu chuẩn và tích hợp NVIDIA Container Toolkit . Điều này đặc biệt quan trọng đối với robot hình người thế hệ tiếp theo chạy nhiều quy trình AI trên các miền thời gian khác nhau, nơi các vòng điều khiển, nhận thức AI và suy luận AI tạo sinh phải cùng tồn tại một cách đáng tin cậy trên một nền tảng nhúng duy nhất.

Bằng cách mang khả năng phân vùng GPU cấp trung tâm dữ liệu đến điện toán AI nhúng, JetPack 7.2 cho phép các hệ thống Edge AI mạnh mẽ hơn với khả năng dự đoán và độ tin cậy được cải thiện cho việc triển khai thực tế. Tìm hiểu thêm về MIG trên Jetson Thor .

Giới thiệu tính năng hỗ trợ Yocto Project trên NVIDIA Jetson.

Bắt đầu từ JetPack 7.2, NVIDIA cung cấp hỗ trợ chính thức cho Dự án Yocto trên Jetson , bao gồm các công thức đã được kiểm chứng và hình ảnh tham chiếu cho bộ công cụ phát triển Jetson. Dự án Yocto là một dự án mã nguồn mở của Linux Foundation cung cấp các công cụ để xây dựng các bản phân phối Linux tùy chỉnh cho các kiến trúc phần cứng nhúng.

NVIDIA hiện đang dẫn đầu các đóng góp về lộ trình phát triển với chu kỳ phát hành thường xuyên cho lớp OE4T. NVIDIA sở hữu đường dẫn CI/CD, SQA và phát hành các ảnh tham chiếu đã được xác thực cho bộ công cụ phát triển Jetson. Và các nhà phát triển có quyền truy cập vào tài liệu kỹ thuật và hỗ trợ diễn đàn chuyên dụng.

Dự án Yocto mang lại ba lợi ích cốt lõi cho các nhà phát triển Jetson:

Khả năng tùy chỉnh: Cho phép bạn xây dựng các ảnh hệ thống được tùy chỉnh chặt chẽ, chỉ bao gồm các dịch vụ, trình điều khiển và thư viện cần thiết, thay vì điều chỉnh ảnh NVIDIA Ubuntu L4T. Điều này giúp giảm lượng bộ nhớ sử dụng và tối ưu hóa hiệu năng hệ thống cho ứng dụng mục tiêu.
Khả năng tái tạo: Yocto Project tạo ra các bản dựng hình ảnh giống hệt nhau giữa các lần chạy, đơn giản hóa quy trình gỡ lỗi, kiểm thử và chứng nhận. Điều này đặc biệt có giá trị trong các lĩnh vực được quản lý chặt chẽ như y tế và công nghiệp.
Hệ sinh thái mở. Truy cập hàng ngàn công thức và lớp cộng đồng dành cho các khung AI, giao thức công nghiệp và phần mềm trung gian tùy chỉnh.

Để giúp bạn quyết định khi nào nên sử dụng L4T/JetPack so với OE4T/Yocto Project, hãy tham khảo Hướng dẫn Quyết định dành cho Nhà phát triển trong Hình 3.

Với sự hỗ trợ chính thức của Yocto Project trên Jetson, NVIDIA cũng đã xây dựng một hệ sinh thái mạnh mẽ gồm các đối tác phân phối, nhà cung cấp phần mềm độc lập (ISV) và nhà sản xuất thiết bị gốc (ODM) để đẩy nhanh và đơn giản hóa quá trình phát triển Yocto Project trên nền tảng Jetson. Các đối tác này cung cấp nhiều dịch vụ bao gồm các bản phân phối Linux sẵn sàng cho sản xuất, tùy chỉnh BSP, hỗ trợ dài hạn, giải pháp quản lý hệ thống, chuyên môn về đa phương tiện và ISP, cũng như các tích hợp tập trung vào bảo mật.

Các công ty như Konsulko Group và Peridio cung cấp các giải pháp hệ điều hành hoàn chỉnh như Konsulko Orca OS và Avocado OS , trong khi Balena tập trung vào quản lý và triển khai hệ thống dựa trên container ở quy mô lớn. Các đối tác khác của NVIDIA bao gồm Neurealm , RidgeRun và Wind River , những đơn vị cung cấp các dịch vụ kỹ thuật và nghiên cứu phát triển mới (NRE) toàn diện với chuyên môn sâu rộng về Linux nhúng, tùy chỉnh BSP, đường dẫn đa phương tiện và hỗ trợ nền tảng dài hạn. Cùng nhau, hệ sinh thái này cho phép các nhà phát triển nhanh chóng triển khai, tùy chỉnh và mở rộng quy mô các giải pháp dựa trên Yocto trên Jetson.

Ngoài các đối tác phân phối và nhà cung cấp phần mềm độc lập (ISV), NVIDIA cũng hợp tác chặt chẽ với một hệ sinh thái đối tác mạnh mẽ nhằm giúp khách hàng đẩy nhanh quá trình phát triển và triển khai sản phẩm trên nền tảng Jetson. Các đối tác như AAEON, Advantech, Antmicro, ASUS, AVerMedia, Connect Tech, EDOM và YUAN cung cấp nhiều giải pháp phần cứng đa dạng, bao gồm carrier board (bo mạch mở rộng cho Jetson), hệ thống AI biên (Edge AI System), nền tảng nhúng công nghiệp, giải pháp thu nhận video (video capture) và các thiết kế tham chiếu (reference design) được tối ưu hóa cho Jetson. Hệ sinh thái đối tác này cho phép các nhà phát triển nhanh chóng tạo mẫu (prototype) và mở rộng quy mô các giải pháp AI và điện toán biên (Edge Computing) sẵn sàng cho triển khai thực tế. Các nền tảng phần cứng được thiết kế chuyên biệt cho nhiều lĩnh vực như robot, tự động hóa công nghiệp, thành phố thông minh, chăm sóc sức khỏe, bán lẻ và các ứng dụng AI nhúng khác.

Thống nhất hệ sinh thái Jetson và khai thác tối đa hiệu năng.

JetPack 7.2 mở rộng nền tảng tính toán dựa trên Ubuntu 24.04, nhân 6.8 và CUDA Toolkit 13.0 (được giới thiệu cùng với Jetson Thor) cho dòng sản phẩm Jetson Orin, đưa cả hai nền tảng lên một nền tảng phần mềm thống nhất duy nhất. Với một nền tảng chung giữa Orin và Thor, bạn có thể triển khai liền mạch các ứng dụng AI mới nhất trên toàn bộ danh mục sản phẩm Jetson đồng thời tận dụng các khả năng, thư viện và tối ưu hóa hiệu năng CUDA mới nhất.

Cách tiếp cận thống nhất này giúp giảm đáng kể nỗ lực kỹ thuật cần thiết để hỗ trợ nhiều nền tảng phần cứng, đơn giản hóa việc phát triển ứng dụng, xác thực, triển khai và bảo trì hệ thống lâu dài.

JetPack 7.2 cũng giới thiệu Chế độ Siêu cấp mới cho Jetson AGX Orin 32 GB, mở khóa cấu hình GPU và nguồn điện cao hơn, giúp hiệu năng của nó gần hơn với Jetson AGX Orin 64 GB. Bằng cách tăng tần số GPU từ 930 MHz lên 1,3 GHz và cho phép mức công suất cao hơn lên đến 60W, Chế độ Siêu cấp giúp tăng hiệu năng AI từ 200 TOPS lên 241 TOPS, tăng hơn 20% so với cấu hình AGX Orin 32 GB tiêu chuẩn.

Sự cải tiến này cho phép khách hàng đạt được hiệu năng gần như tương đương với AGX Orin 64 GB cao cấp nhất bằng cách sử dụng Jetson AGX Orin 32 GB, đồng thời giảm chi phí mô-đun xuống 45%. Chế độ Siêu cấp mới giúp mô-đun 32 GB trở thành lựa chọn tiết kiệm chi phí cho các ứng dụng trí tuệ nhân tạo tạo sinh, robot và AI tại biên.

	Jetson AGX Orin 32 GB	Jetson AGX Orin 32GB Super	Jetson AGX Orin 64 GB
Nemotron3 Nano 30B A3B	31	37	40
Cosmos Reason 2 8B	9	10	10
Qwen 3.5 4B	24	27	28
Qwen 3.5 9B	13	15	17
Qwen 3.6 27B	4	5	7
Gemma 4 E4B	25	29	32

Bảng 1. Hiệu năng của mô hình AI tạo sinh (số token/giây) trên Jetson AGX Orin 32 GB, Orin 32 GB Super và Orin 64 GB.

Hãy bắt đầu sử dụng NVIDIA JetPack 7.2 ngay thôi!

JetPack 7.2 mang lại nhiều giá trị hơn từ cùng một phần cứng Jetson thông qua phần mềm. Khi trí tuệ nhân tạo dựa trên tác nhân (agent-AI) chuyển sang điện toán biên và chi phí bộ nhớ vẫn là một hạn chế thực sự trong các triển khai sản xuất, phiên bản này giải quyết trực tiếp cả hai vấn đề đó.

Các tính năng bao gồm triển khai NVIDIA NemoClaw chỉ bằng một lệnh duy nhất, khả năng tối ưu hóa bộ nhớ và quy trình làm việc cho Jetson, hỗ trợ chính thức của Dự án Yocto cho các bản dựng sản xuất gọn nhẹ và có thể tái tạo, và MIG trên Jetson Thor để thực thi đa nhiệm có tính xác định. Với JetPack 7.2, bạn có thể làm được nhiều hơn trên phần cứng hiện có trong khi xây dựng hướng tới các workloads dựa trên tác nhân ngày càng mạnh mẽ hơn ở tại biên.

Tải xuống JetPack 7.2 để bắt đầu triển khai trí tuệ nhân tạo tại biên. Để được hỗ trợ và giải đáp thắc mắc, hãy truy cập Diễn đàn Nhà phát triển NVIDIA .

____
Bài viết liên quan