Sử dụng AI Agents để dạy robot như Microduck đi bộ trong mô phỏng

Việc dạy một robot điều hướng qua một đường chướng ngại vật đòi hỏi nhiều hơn một chính sách đi bộ. Nó phải nhận thức môi trường xung quanh, duy trì thăng bằng và điều chỉnh các hành động khi có chướng ngại vật chặn đường phía trước. Phát triển những khả năng này kết nối nhiều giai đoạn: tạo tài sản và môi trường, sử dụng mô phỏng vật lý để mô hình hóa cách robot tương tác với môi trường của nó, và huấn luyện cũng như đánh giá các chính sách trong mô phỏng.

NVIDIA RTX Spark đóng vai trò là trung tâm phát triển cục bộ, hỗ trợ lập kế hoạch có sự trợ giúp của AI và xác thực chính sách. NVIDIA Isaac Lab cung cấp khung học máy cho học tăng cường trên đám mây, trong khi Newton mô hình hóa hành vi vật lý, và các thư viện NVIDIA Omniverse tạo ra các quan sát thị giác mô phỏng thông qua render RTX. Các chính sách đã được huấn luyện quay trở lại RTX Spark để đánh giá cục bộ trong NVIDIA Isaac Sim.

Bài viết này đi qua quy trình làm việc sử dụng Microduck làm robot tham chiếu, với sự hỗ trợ của Hermes, NVIDIA Nemotron và Astra trong việc lập kế hoạch và chuẩn bị. Bạn sẽ học cách tạo một đường chướng ngại vật mô phỏng, huấn luyện một chính sách điều hướng và đánh giá hành vi của nó trong môi trường mô phỏng — một quy trình bạn có thể điều chỉnh cho các robot và tác vụ của riêng mình. Điều này tạo nền tảng cho triển khai vật lý, nơi sự khác biệt giữa mô phỏng và hành vi thực tế đòi hỏi phải tinh chỉnh thêm.

1. Tạo một kế hoạch cho đường chướng ngại vật

Quy trình bắt đầu với một prompt mô tả đường chướng ngại vật và những gì Microduck phải học. Trên RTX Spark, Hermes và NVIDIA Nemotron 3.5 Bolt chuyển đổi prompt đó thành một kế hoạch dự án từng bước. Các hướng dẫn thiết lập nhiệm vụ dự kiến, các tài nguyên có sẵn, các đầu ra mong đợi và các giai đoạn mà các agent nên tuân theo. Sử dụng ví dụ sau để cấu trúc prompt của bạn:

Build and test a simulated Microduck obstacle course with navigation and locomotion challenges. Make a photorealistic concept image and have Astra build and test it.
...
Workflow
Use Hermes and Nemotron 3.5 Bolt for preparation and Astra for asset creation and simulation.
...
1. Research and plan
Review official Microduck documentation and summarize capabilities, constraints, and unknowns. Define the course layout, obstacle dimensions, clearances, and intended route.
...
2. Generate the concept
Use a verified Microduck reference image to generate a photorealistic course concept. Check robot appearance, relative scale, and movement space; save prompts and provenance.
...
3. Identify assets
Extract unique reusable assets, group repeated instances, and select representative crops. Record dimensions, locations, and reference limitations; preserve original images.
...
4. Prepare the handoff
Package the plan, robot brief, concept, asset inventory, crops, and execution instructions. Verify required files, delegate to Astra, and wait for confirmed results.
...
5. Create and verify assets
Have Astra enhance references, model geometry in FreeCAD, and apply materials in Blender. Before simulation, verify every asset is completed or demonstrably blocked, with at least one usable model.
...
6. Assemble and test
Verify robot capabilities, assemble the course, and test navigation, challenges, and resets. Provide reproducible instructions and evidence; do not operate physical hardware.
...

Quy hoạch cục bộ bao gồm việc xem xét ngắn gọn kho lưu trữ và tài liệu của Microduck. Việc xem xét này xác định các khả năng của robot, các nguồn tài nguyên cho công việc tiếp theo và các chi tiết vẫn cần được xác minh. Kế hoạch kết quả mở rộng vượt ra ngoài việc tạo tài sản: nó phác thảo việc xây dựng môi trường, chuẩn bị robot, mô phỏng, huấn luyện, xác thực và triển khai.

Khóa học cần kiểm tra cả chuyển động và nhận thức. Microduck phải học cách di chuyển quanh các chướng ngại vật và qua các không gian bị hạn chế trong khi vẫn giữ thăng bằng. Sử dụng các yêu cầu này để hướng dẫn bố cục được đề xuất và các đối tượng cần thiết để xây dựng nó.

Một mô hình tạo hình ảnh cục bộ tạo ra một hình ảnh khái niệm của khóa học. Hermes và Nemotron sau đó phân tích hình ảnh và tạo ra một danh mục các tài sản có thể nhìn thấy và tái sử dụng. Mỗi tài sản nhận được một định danh, một mô tả về các đặc điểm có thể nhìn thấy và một hình ảnh tham chiếu được cắt. Danh mục ghi lại vị trí các đối tượng bị cắt hoặc che khuất để các giai đoạn sau có thể phân biệt giữa các chi tiết có thể nhìn thấy và các giả định.

Hermes kết hợp các đầu ra này thành một gói bàn giao: kế hoạch dự án tổng thể, nghiên cứu và liên kết nguồn về Microduck, hình ảnh khái niệm, danh mục tài sản, các tham chiếu đã được cắt và hướng dẫn cho các giai đoạn tiếp theo. Sau đó, nó tự động ủy quyền công việc cho Astra. Gói này cung cấp cho Astra ngữ cảnh dự án rộng hơn và các thông số tài sản cần thiết để tiếp tục.

2. Tạo tài nguyên mô phỏng

Sử dụng kế hoạch dự án và các tài liệu tham khảo từ giai đoạn trước, Astra tạo ra các tài nguyên 3D cần thiết cho khóa học. Việc cắt các đối tượng từ một hình ảnh ý tưởng lớn hơn có thể dẫn đến các tài liệu tham khảo nhỏ, độ phân giải thấp. Trước khi mô hình hóa, Astra sử dụng chỉnh sửa hình ảnh trên đám mây để tách biệt các đối tượng và tạo ra các hình ảnh rõ ràng hơn, có độ phân giải cao hơn.

Astra so sánh các tham chiếu được tăng cường với các vùng cắt gốc, kiểm tra xem hình dáng, tỷ lệ, màu sắc và các đặc điểm nổi bật có nhất quán hay không. Các hình ảnh được tăng cường cung cấp hướng dẫn mô hình hóa rõ ràng hơn, trong khi các hình ảnh gốc ghi lại những gì có thể nhìn thấy trong hình ảnh khái niệm. Các kích thước và bề mặt ẩn không thể xác định từ hình ảnh được ghi nhận là các giả định mô hình hóa.

Astra chỉ đạo FreeCAD xây dựng hình học cơ bản và cấu trúc CAD có thể chỉnh sửa, sau đó sử dụng Blender để thêm các chi tiết hình học tinh xảo và vật liệu. Cả hai ứng dụng đều chạy cục bộ thông qua thực thi bằng chương trình. Các tài nguyên được tạo ra được lưu dưới dạng các mô hình có thể chỉnh sửa và xuất các tài sản USD, kèm theo các bản xem trước và kiểm tra đầu ra để xem xét.

Bạn cũng có thể lấy tài sản từ Thư viện Trung tâm SimReady, một thư viện miễn phí và không cần đăng ký với hơn 2.000 tài sản OpenUSD sẵn sàng cho mô phỏng. Việc tái sử dụng chúng cùng với các đối tượng mới được tạo ra sẽ giảm bớt công đoạn chuẩn bị tài sản cần thiết để lắp ráp đường chướng ngại vật trong Isaac Sim. Các tài sản kết quả sẽ trở thành những khối xây dựng của môi trường huấn luyện Microduck trong mô phỏng.

3. Lắp ráp môi trường mô phỏng

Astra tạo ra đường chướng ngại vật bằng cách sử dụng các tài nguyên đã chuẩn bị trong Isaac Sim. Isaac Sim cung cấp khả năng truy cập vào các thư viện Omniverse về khả năng hiển thị và mô phỏng cảm biến, trong khi Newton mô hình hóa hành vi vật lý của Microduck, bao gồm chuyển động và cân bằng.

Cấu trúc khớp nối và chuyển động của một robot được định nghĩa trong mô phỏng thông qua các liên kết, khớp và bộ truyền động. Những yếu tố này thiết lập mối quan hệ giữa các hành động của chính sách và robot được mô phỏng. Các liên kết đại diện cho các bộ phận được kết nối, các khớp hạn chế chuyển động tương đối của chúng, và các bộ truyền động tạo ra chuyển động. Cùng nhau, chúng mô hình hóa một robot tương tác với môi trường của nó. Các tác nhân AI có thể giúp cấu hình những yếu tố này.

Quan sát cảm biến mô phỏng cung cấp thông tin về các chướng ngại vật phía trước. Khi robot cố gắng đi bộ, mô phỏng ghi lại hậu quả của các hành động của nó: liệu nó có giữ được tư thế, tiến được qua đường đua hay vấp ngã.

Kết quả là một môi trường học tập hoàn chỉnh: một robot có thể hành động, một đường chướng ngại vật mà nó có thể tương tác, và một môi trường mô phỏng có thể tạo ra phản hồi từ những tương tác đó. Học tăng cường (RL) sử dụng phản hồi này để huấn luyện chính sách cho robot.

4. Huấn luyện chính sách nhận thức và vận động

Với Microduck và môi trường của nó đã sẵn sàng, NVIDIA Isaac Lab cung cấp các công cụ để huấn luyện và đánh giá các chính sách robot ở quy mô lớn. Khung mã nguồn mở này chạy nhiều mô phỏng Microduck cùng lúc, tạo ra kinh nghiệm mà thuật toán RL sử dụng để cải thiện chính sách chung của nó.

Đối với mỗi tác vụ, bạn xác định những gì robot quan sát được, các hành động mà nó có thể thực hiện và các phần thưởng được sử dụng để hướng dẫn việc học. Sau đó, bạn triển khai tác vụ bằng cách sử dụng các API của Isaac Lab. Newton, một bộ mô phỏng vật lý mã nguồn mở được tăng tốc bằng GPU, mô phỏng cách Microduck di chuyển và tương tác với mặt đất và môi trường xung quanh nó khi phản ứng với các hành động đó.

Các nỗ lực ban đầu có thể bao gồm những bước đi không ổn định, va chạm và ngã. Thuật toán huấn luyện sử dụng các kết quả này cùng phần thưởng của nhiệm vụ để cập nhật chính sách hướng tới hành vi thành công hơn. Mỗi lần thử đều tuân theo vòng lặp mô phỏng giống nhau:

Quan sát mô phỏng → hành động chính sách → chuyển động mô phỏng → quan sát được cập nhật

Mô phỏng song song cung cấp kinh nghiệm từ nhiều lần thử nghiệm cùng lúc để huấn luyện chính sách. Trong nhiệm vụ này, các dốc và bề mặt không bằng phẳng là những chướng ngại vật: Microduck phải vượt qua một đoạn dốc cong trong khi duy trì thăng bằng và tránh ngã. Thay đổi địa hình giúp chính sách có kinh nghiệm điều chỉnh chuyển động của mình cho phù hợp với các điều kiện mặt đất khác nhau.

Thí nghiệm huấn luyện vượt dốc và chướng ngại vật sử dụng các tài sản do Astra tạo ra từ các phần trước và môi trường ví dụ Microduck của Isaac Lab làm điểm khởi đầu. Một chính sách vận động được huấn luyện trước trong môi trường đó sẽ nhận thêm quá trình huấn luyện trong Isaac Lab để vượt qua các dốc và chướng ngại vật, sử dụng quan sát độ sâu từ camera đầu và trạng thái robot. Chạy thích ứng này đã sử dụng 4.096 môi trường song song trên GPU NVIDIA RTX PRO 6000 Blackwell Workstation Edition.

5. Xác thực chính sách đã được huấn luyện trên RTX Spark

Sau khi huấn luyện, hãy xác thực chính sách đã được huấn luyện trong Isaac Sim trên một RTX Spark cục bộ. Microduck sẽ nhận các quan sát mô phỏng, dự đoán các hành động, di chuyển qua môi trường và phản hồi với cảnh đã được cập nhật dựa trên chính sách. Kiểm tra xem Microduck có phát hiện các chướng ngại vật, điều chỉnh chuyển động của nó và hoàn thành đường đua hay không.

Giai đoạn này tách biệt việc học chính sách khỏi việc đánh giá chính sách. Trong quá trình huấn luyện, chính sách thay đổi khi nhận được kinh nghiệm mới. Trong quá trình đánh giá, bạn xem xét hành vi của một chính sách được chọn và xác định nơi nó thành công hoặc cần thêm công việc.

Ghi nhận việc hoàn thành khóa học, sự ngã, va chạm và các tình huống mà tiến độ bị dừng lại. Những phép đo này, kết hợp với video rollout, có thể hướng dẫn các lần lặp lại đối với môi trường hoặc cấu hình huấn luyện.

6. Chuẩn bị triển khai chính sách trên robot vật lý

Một khi chính sách hoạt động đáng tin cậy trong mô phỏng, bước tiếp theo là chạy nó trên máy tính tích hợp sẵn của robot. Bài viết này bao gồm các công việc dẫn đến thời điểm đó: tạo tài sản, lắp ráp môi trường, và huấn luyện cũng như đánh giá chính sách. Triển khai phần cứng chi tiết nằm ngoài phạm vi bài viết.

Việc chuẩn bị cho quá trình chuyển đổi từ mô phỏng sang thực tế bắt đầu với một mô phỏng phản ánh cách robot thực hành xử. Isaac Lab hỗ trợ Better Actuator Models (BAM) để mô hình hóa phản hồi của servo, bao gồm độ trễ lệnh, độ rơ cơ học (lượng rơ nhỏ trong hệ thống truyền động) và sự sụt giảm điện áp khi động cơ lấy điện từ một pin dùng chung. Việc khớp các cài đặt này với các phép đo từ Microduck có thể giúp thu hẹp khoảng cách giữa mô phỏng và thực tế.

Ngay cả với một mô hình được hiệu chỉnh cẩn thận, cảm biến, tiếp xúc mặt đất và thời gian điều khiển có thể khác nhau trên robot thực. domain randomization của Isaac Lab thay đổi các tham số vật lý và nhiễu quan sát trong các phạm vi thực tế, giúp chính sách thực hành xử lý những khác biệt đó. Các bài kiểm tra phần cứng sau đó cho thấy nơi cần điều chỉnh thêm, hướng dẫn vòng lặp mô phỏng, huấn luyện và xác thực tiếp theo.

Hình 10 cho thấy một chính sách vận động được huấn luyện trong Isaac Lab chạy trên Microduck vật lý.

Bắt đầu

Quy trình làm việc này kết nối lập kế hoạch có hỗ trợ AI, mô phỏng, tạo tài sản và huấn luyện cùng đánh giá chính sách robot. Nó kết hợp việc tạo tài sản và môi trường cục bộ, học chính sách ở quy mô đám mây và xác thực chính sách cục bộ trên RTX Spark. Các tác nhân AI chuyển đổi các lệnh (prompts) thành kế hoạch, trong đó Isaac Lab hỗ trợ huấn luyện chính sách và Isaac Sim hỗ trợ đánh giá trước khi triển khai.

Tìm hiểu thêm về các nền tảng được sử dụng trong quy trình làm việc này và thử các ví dụ trong tài liệu của chúng:

• Truy cập các tài sản không bị hạn chế từ Thư viện Trung tâm SimReady
• Thư viện Omniverse để tích hợp khả năng mô phỏng vào các ứng dụng
• RTX Spark
• Cài đặt Isaac Sim trên RTX Spark—tải xuống binary Windows x86 (có thể chạy ngay lập tức thông qua mô phỏng Windows x86 trên Arm)
• Isaac Sim cho mô phỏng robot và môi trường
• Newton cho mô phỏng vật lý
• Isaac Lab cho việc huấn luyện chính sách học tăng cường và học bắt chước
• Lộ trình học Isaac Lab
• Môi trường Isaac Lab ví dụ Microduck
• Hướng dẫn sim-to-real Microduck trên Hugging Face
• Demo Microduck đi bộ sử dụng servo BAM native

Lời cảm tạ

Quy trình làm việc này được phát triển thông qua sự hợp tác giữa các nhóm tại NVIDIA, bao gồm:

Aaron Young, Antoine Richard, Chase Telegin, Gavriel State, Hammad Mazhar, Kelly Guo, Milad Rakhsha, Oyindamola Omotuyi, Pierre Fleau, Rishabh Chadha, Rogelio Olguin, Ruben D’Sa và Yenal Kal.