5 bước tạo tài nguyên SimReady cho robot với các mô hình AI tiên phong
by Phương Hồ
Việc chuẩn bị tài sản CAD cho mô phỏng robot đòi hỏi nhiều hơn là chuyển đổi hình học sang OpenUSD: các nhà phát triển phải cấu hình và xác thực vật liệu, hình học va chạm, khớp nối và các thuộc tính vật lý khác trước khi kiểm tra hành vi của robot.
Thư viện NVIDIA Omniverse, được hướng dẫn bởi các quy định của SimReady Foundation và các kỹ năng (skills) NVIDIA có tính chủ động (agentic), cung cấp quy trình làm việc có cấu trúc để chuyển đổi và xác thực các tài sản sẵn sàng mô phỏng (SimReady). Các mô hình AI tiên phong (Frontier AI models) có thể hỗ trợ nhà phát triển ở mỗi giai đoạn bằng cách diễn giải các tài liệu tham khảo và gọi các công cụ Omniverse thay mặt họ, giảm thiểu công việc chuẩn bị thủ công.
Bài viết này hướng dẫn cách chuẩn bị robot ABB Robotics YuMi cho mô phỏng bằng cách sử dụng nền tảng SimReady và các công cụ NVIDIA Omniverse, với GPT-6 Astra là một ví dụ về mô hình AI tiên phong có thể hỗ trợ trong quá trình này. Quy trình bao gồm năm bước: chuyển đổi tệp STEP, xác thực ngoại quan, cấu hình vật lý, xác thực SimReady và một tác vụ pick-and-place cuối cùng với cả hai cánh tay và kẹp trong NVIDIA Isaac Sim.
SimReady là gì và tại sao nó quan trọng đối với mô phỏng?
SimReady xác định các yêu cầu để chuẩn bị tài sản OpenUSD cho các trường hợp sử dụng mô phỏng cụ thể. Các nhà phát triển chọn một hồ sơ SimReady cho mục đích sử dụng dự kiến và xác thực tài sản theo các yêu cầu của hồ sơ đó. Các kiểm tra cụ thể theo hồ sơ sẽ xác thực cấu trúc, vật liệu và các thuộc tính vật lý của tài sản, sau đó đánh dấu các vấn đề để nhà phát triển sửa chữa và kiểm tra lại.
Một mô hình robot có thể trông chính xác nhưng vẫn có thể thất bại trong mô phỏng nếu thiếu các thuộc tính mô phỏng. Ví dụ, việc thiếu hình học va chạm có thể cho phép các vật thể xuyên qua gắp của robot, và các khớp không chính xác có thể ngăn cản chuyển động phối hợp. Các thuộc tính mô phỏng như khối lượng và ma sát ảnh hưởng trực tiếp đến việc một thao tác nắm giữ có duy trì được sự ổn định hay không.
Các công nghệ và công cụ sau hỗ trợ quy trình làm việc này:
OpenUSD đại diện cho hình học, cấu trúc lắp ráp, vật liệu và thuộc tính mô phỏng trong một biểu diễn tài sản chung.
SimReady Foundation cung cấp các quy định và hướng dẫn xác thực để chuẩn bị các tài sản sẵn sàng cho mô phỏng.
Thư viện NVIDIA Omniverse cung cấp các tính năng mà các nhà phát triển và tác tử có thể sử dụng để chuyển đổi, kiểm tra và chuẩn bị nội dung OpenUSD.
NVIDIA Isaac Sim cung cấp môi trường để cấu hình vật lý và kiểm tra hành vi của robot.
Quy trình SimReady Robotics: Ví dụ về robot ABB YuMi
Hướng dẫn này minh họa quy trình SimReady năm bước sử dụng robot ABB Yumi. GPT-6 Astra được sử dụng ở đây như một ví dụ về mô hình AI tiên phong có thể hỗ trợ viết mã Python để gọi các thư viện NVIDIA Omniverse ở mỗi giai đoạn, nhưng quy trình này có thể áp dụng cho nhiều mô hình và hệ thống robot khác nhau.
Ví dụ sử dụng cả hai cánh tay và bộ gắp, được cấu hình trong quy trình. Các khối lập phương và một cây bút Sharpie đã được sử dụng làm minh họa ở bước 5. Nhận thức dựa trên camera có thể được thêm vào trong một quy trình riêng.
Tạo một thư mục bên trong thư mục Isaac Sim và đặt tên là ‘reference’, chúng ta sẽ sử dụng thư mục tham chiếu này để lưu trữ các tài sản liên quan cho quy trình làm việc.
Trong ví dụ quy trình làm việc này, chúng tôi đã sử dụng GPT-6 Astra.
Launch Codex CLI in your Isaac Sim directory
Điều quan trọng là phải khởi động Codex bên trong thư mục Isaac Sim để tác nhân có thể tìm thấy các kỹ năng cần thiết sẽ được sử dụng trong quy trình làm việc.
Trong ví dụ quy trình này, chúng tôi đã sử dụng Isaac Sim 6.1 và Codex CLI, và khởi động Isaac Sim ở chế độ có khung cửa sổ.
Sử dụng câu lệnh mẫu sau trong Codex CLI đang hoạt động của bạn để khởi động Isaac Sim:
Khởi động Isaac Sim ở chế độ cửa sổ với máy chủ Python từ xa được bật. Hãy sử dụng một terminal mới cho thao tác này.
Máy chủ Python từ xa trong Isaac Sim cho phép tác tử của bạn ‘giao tiếp’ thông qua Python với ứng dụng Isaac Sim đang chạy của bạn. Hãy xác nhận rằng kết nối hoạt động trước khi tiếp tục.
Ở mỗi bước, hãy điều chỉnh mẫu prompt cho phù hợp với tác vụ của bạn trong tác nhân AI tiên phong, sau đó xem xét kết quả mô phỏng và phản hồi xác thực để xác định các vấn đề và hoàn thiện tài sản.
1. Nhập robot từ các tệp STEP
Là bước đầu tiên trong quy trình này, chúng ta sẽ nhập robot từ các tệp STEP trong thư mục tham chiếu.
Đối với ví dụ này, hãy cung cấp các đầu vào sau trong thư mục tham chiếu bên trong thư mục Isaac Sim:
Hình 1. Robot YuMi và các gắp được nhập vào Isaac Sim sau khi chuyển đổi từ STEP sang OpenUSD bằng CAD- to-SimReady Skill
Các NVIDIA Skills được sử dụng: omniverse-cad-to-simready, omniverse-cad-to-usd và isaac-sim-remote
Kiểm tra trước khi tiếp tục: Tài sản robot đã được nhập và sẵn sàng để kiểm tra. Nhiệm vụ và các yêu cầu được cung cấp đã được hiểu rõ, và thông tin còn thiếu đã được xác định.
2. Khớp với ngoại hình trực quan
Bước tiếp theo là kiểm tra robot đã nhập để xác nhận rằng các vật liệu và kết cấu mong đợi có mặt và được tải đúng cách. So sánh tài sản với các hình ảnh và video ABB được cung cấp để kiểm tra tỷ lệ, hướng và vị trí các bộ phận.
Yêu cầu tác nhân thêm hoặc tinh chỉnh các vật liệu và kết cấu bằng cách sử dụng các tham chiếu này.
Lệnh mẫu:
Sử dụng các hình ảnh và video ABB trong thư mục tham chiếu để khớp ngoại hình của robot đã nhập với robot vật lý. Thêm hoặc điều chỉnh vật liệu và kết cấu, và báo cáo bất kỳ sự khác biệt thị giác hoặc thông tin tham chiếu nào còn thiếu.
Hình 2. Tài sản YuMi được chuẩn bị bằng Astra (trái) cùng với hình ảnh tham chiếu của ABB Robotics (phải)
Giả định: Tác nhân khớp thị giác với vật liệu của robot bằng cách điều chỉnh màu sắc, phản ứng kim loại và độ nhám, đồng thời giữ nguyên hình học CAD và các phép biến đổi lắp đặt. Các cài đặt vật liệu là ước tính trực quan, không có tái tạo vật liệu đo lường hoặc kết cấu do AI tạo ra.
Kỹ năng NVIDIA được sử dụng: isaac-sim-remote, usd-pipeline
Kiểm tra trước khi tiếp tục: Robot có tỷ lệ, hướng, các bộ phận và ngoại hình như mong đợi. Mọi vật liệu, kết cấu hoặc sự khác biệt thị giác khác bị thiếu đều được ghi lại.
3. Cấu hình thuộc tính vật lý
Ở giai đoạn này, tài sản OpenUSD chứa hình học trực quan của robot, nhưng các khớp, vật thể cứng và hình học va chạm vẫn chưa được cấu hình. Hãy yêu cầu tác nhân (agent) cấu hình và xác thực các thuộc tính vật lý cho cả hai cánh tay và kẹp. Dữ liệu kỹ thuật mà chúng tôi có trong thư mục tham chiếu sẽ được tác nhân sử dụng để đảm bảo phạm vi khớp và giới hạn tốc độ khớp với robot mô phỏng.
Nếu dữ liệu của nhà sản xuất không đầy đủ, bạn có thể yêu cầu tác nhân xác định các tham số còn thiếu và kiểm tra các sổ tay kỹ thuật hoặc mô tả robot URDF có sẵn cho đúng model. Trong trường hợp các thuộc tính khối lượng vẫn không khả dụng, hãy ước tính chúng từ hình học bằng cách sử dụng mật độ hoặc các giả định về phân bố khối lượng đã được ghi nhận, tuân theo hướng dẫn về thuộc tính khối lượng của NVIDIA. Ví dụ, khi không được cung cấp đủ ngữ cảnh, chúng tôi quan sát thấy tác nhân đã lấy một URDF công khai cho robot và sử dụng nó để xác định các trục khớp và cấu hình zero chính xác.
Sample prompt:
Thiết lập vật lý và xác thực các thuộc tính vật lý cho cả hai cánh tay YuMi và kẹp.
Kiểm tra định nghĩa khớp, trục và giới hạn, khối lượng và mômen quán tính, hình học va chạm, lắp đặt chân đế và chuyển động của kẹp.
Hình 3. Cấu hình vật lý của YuMi với hình học va chạm và các trục khớp trong bước 3
Tư thế ban đầu có thể thay đổi.
Hình 4. Các tư thế của YuMi sau khi cấu hình vật lý
Các giả định mô phỏng trong quy trình này:
Cấu hình khớp: Tác nhân đã truy xuất một tệp URDF công khai của robot và sử dụng nó để xác định các trục khớp và cấu hình gốc.
Khối lượng theo từng liên kết: Ước tính từ thể tích hình học STEP và được chuẩn hóa theo tổng khối lượng do nhà sản xuất quy định: 38 kg cho robot và 0,28 kg cho mỗi gắp.
Tâm khối lượng và quán tính: Được tính toán dựa trên giả định các bộ phận đặc có mật độ đồng nhất; các động cơ, hộp số và dây dẫn bên trong không được mô hình hóa riêng lẻ.
Thuộc tính tiếp xúc: Giả định ma sát tĩnh là 0,8, ma sát động là 0,6 và độ đàn hồi bằng 0.
Hình học va chạm và ngoại quan: Các hình va chạm lồi, độ nhám bề mặt và phản ứng vật liệu đã được xấp xỉ.
Hiệu chuẩn: Các tham số này không được hiệu chuẩn so với các phép đo vật lý của YuMi.
Kỹ năng NVIDIA được sử dụng: usd-articulation, physics-simulation, isaac-sim-validator, isaac-sim-remote
Kiểm tra trước khi tiếp tục: Các khớp chuyển động quanh các trục dự kiến và trong phạm vi giới hạn của chúng. Việc lắp đặt đế và chuyển động của gắp hoạt động theo cấu hình. Các thuộc tính ước tính và bất kỳ lỗi xác thực nào đều được ghi lại.
4. Xác thực các thuộc tính SimReady
Bước tiếp theo là xác thực tài sản OpenUSD của robot theo các yêu cầu SimReady cho tác vụ mô phỏng dự kiến. Yêu cầu tác nhân chạy các kiểm tra SimReady Foundation đã chọn, xem xét các phát hiện và chỉnh sửa tài sản khi cần thiết.
Sample prompt:
Xác thực tài sản YuMi cuối cùng trong Isaac Sim.
Tìm xác thực tài sản SimReady cho một robot, và áp dụng schema SimReady (https://github.com/nvidia/simready-foundation) vào tệp usd, sử dụng bất kỳ kỹ năng liên quan nào trong kho đó.
Kết quả xác thực trong quy trình này:
SimReady Foundation: Các đơn vị, phụ thuộc tài sản, hình học, vật liệu, vật thể cứng, khớp, bộ truyền động và cơ cấu của tài sản YuMi đã được kiểm tra đối chiếu với các yêu cầu của SimReady Foundation.
Kiểm tra tài sản Isaac Sim: Đã xác minh tỷ lệ, hướng, vị trí đặt các bộ phận, việc gắn kẹp, độ bao phủ vật liệu và giải quyết các phụ thuộc kết cấu thông qua bộ máy xác thực bên trong Isaac Sim.
Khối lượng và quán tính: Cả 21 vật thể cứng đều có khối lượng dương và các tensor quán tính chấp nhận được về mặt vật lý; các giá trị thời gian chạy khớp với các giá trị được tạo.
Khớp nối: Đã kiểm tra các trục, khung, giới hạn, bộ truyền động, hành vi mô phỏng ngón tay và việc cố định chân đế.
Hành vi thời gian thực: Đã kiểm tra chuyển động của cánh tay và gắp, tiếp xúc, thả và va chạm dọc theo các quỹ đạo được kiểm tra.
Các bước kiểm tra này đã xác nhận việc triển khai mô phỏng. Chúng không thiết lập sự phù hợp với động lực học của robot thực tế hoặc an toàn va chạm ở mọi tư thế có thể.
Hình 5. Tài sản YuMi trong Isaac Sim sau các bước xác thực trực quan, vật lý và SimReady
Kiểm tra trước khi tiếp tục: Quy trình đã đáp ứng các tiêu chí nghiệm thu được thống nhất và vượt qua các bước kiểm tra SimReady đã lựa chọn. Mọi điều chỉnh tinh chỉnh, các thuộc tính được ước tính và những lỗi chưa được khắc phục đều đã được ghi lại đầy đủ.
5. Thực hiện tác vụ mô phỏng robot cuối cùng
Chạy kiểm tra xác thực cuối cùng trong Isaac Sim, kết hợp các kiểm tra trực quan, vật lý và SimReady với một tác vụ gắp và đặt.
Ví dụ 1: Gắp và đặt khối lập phương
Yêu cầu agent bổ sung các điểm đích có màu sắc và một chiếc hộp vào cảnh mô phỏng thử nghiệm. Đồng thời, xác định vị trí của các điểm đích và thiết lập metadata về màu sắc. Agent sẽ dựa vào metadata của cảnh để lựa chọn điểm đích có màu tương ứng với từng khối lập phương.
Sample prompt:
Sử dụng cả hai cánh tay robot và các gripper để thực hiện thao tác pick-and-place các khối lập phương. Bổ sung các điểm đích có màu sắc và một chiếc hộp vào cảnh mô phỏng thử nghiệm, đồng thời xác định vị trí của chúng và thiết lập metadata về màu sắc cho các điểm đích.
Thực hiện đầy đủ chu trình gồm grasp (gắp), lift (nâng), hold (giữ), transfer (di chuyển) và release (thả). Sử dụng metadata của cảnh để lựa chọn điểm đích có màu tương ứng với từng khối lập phương. Đồng thời, kiểm tra thao tác đặt các khối lập phương vào bên trong hộp.
Kiểm tra scale (tỷ lệ), orientation (hướng), part placement (vị trí các bộ phận), materials (vật liệu), textures (kết cấu), joint axes and limits (trục và giới hạn khớp), collision geometry (hình học va chạm) và gripper behavior (hoạt động của gripper). Sau đó, chạy các bước validation của SimReady Foundation đã được lựa chọn.
Simulation assumptions:
Giả định hệ số ma sát tiếp xúc là 0,8 đối với ma sát tĩnh và 0,6 đối với ma sát động. Các thử nghiệm hold đã đạt yêu cầu với những giá trị này. Tuy nhiên, các hệ số ma sát chưa được đo lường hoặc hiệu chuẩn dựa trên điều kiện tiếp xúc thực tế giữa các ngón gripper và vật thể.
Ví dụ này sử dụng các khối lập phương thử nghiệm có kích thước 45 mm và khối lượng 40 g, cùng với các giả định mô phỏng đã được mô tả tại Bước 3.
Demonstrated pick-and-place results:
Completed cycles: Cả hai cánh tay robot và các gripper đã hoàn thành tổng cộng 4 chu trình pick-and-place trong phiên physics simulation kéo dài 122,2 giây.
Chuỗi thao tác: Mỗi cánh tay gắp khối lập phương tương ứng, nâng lên, giữ trong 2 giây, di chuyển đến vị trí mới rồi thả xuống điểm đích có màu tương ứng. Sau đó, mỗi cánh tay tiếp tục gắp lại khối lập phương của mình và đặt vào bên trong hộp.
Contact behavior: Các khối lập phương được giữ và di chuyển nhờ lực tiếp xúc giữa các ngón gripper và vật thể kết hợp với ma sát. Quá trình simulation không sử dụng attachment joints, kinematic holds hoặc cập nhật trực tiếp cube pose trong suốt quá trình mô phỏng.
Acceptance criteria: Tất cả các chu trình đều đáp ứng những tiêu chí đã xác định cho các thao tác grasp, hold, transfer, release và placement.
Recording: Các tệp MP4 và GIF được tạo từ phiên simulation này.
Hình 6. Mô phỏng thao tác pick-and-place của robot YuMi với các khối lập phương nhiều màu sắc và các điểm đánh dấu vị trí đích.
Ví dụ 2: Dọn dẹp và đặt với một đối tượng được suy ra từ hình ảnh
Một bản demo riêng sử dụng hình ảnh tham chiếu của bút lông Sharpie để yêu cầu agent tạo asset 3D mà robot sẽ gắp.
Giả định mô phỏng (Simulation assumptions): Agent ước tính cây bút dài 140 mm, có khối lượng 10 g và trọng tâm nằm tại tâm hình học của bút Sharpie. Collision geometry được xấp xỉ bằng các hình trụ cho phần nắp bút, thân bút và nút đậy phía sau.
Kết quả đã chứng minh (Demonstrated results): Cánh tay robot YuMi đã gắp và nhấc cây bút đánh dấu khỏi mặt bàn, sau đó thả bút vào khay màu xanh lam trong Isaac Sim.
Hình 7. YuMi nhấc và đặt cây bút đánh dấu Sharpie được mô hình hóa từ hình ảnh tham chiếu trong Isaac Sim
Các thử nghiệm mô phỏng thành công cho thấy robot có thể thực hiện hành vi theo yêu cầu trong những điều kiện đã thử nghiệm. Kết quả có thể khác nhau tùy thuộc vào frontier AI model và prompt được sử dụng.
Các NVIDIA Skills được sử dụng:manipulation-ik, physics-simulation, isaac-sim-validator, isaac-sim-remote, isaac-sim-rendering
Thử nghiệm Workflow
SimReady Foundation và các công cụ NVIDIA Omniverse giúp nhà phát triển chuyển đổi tệp CAD và tài liệu tham chiếu thành các asset có thể cấu hình, validation và thử nghiệm trong môi trường mô phỏng. Hãy sử dụng OpenUSD, SimReady Foundation cùng các công cụ và skills của NVIDIA Omniverse để chuẩn bị asset cho các tác vụ mô phỏng robot.
Hướng dẫn thực hành với YuMi là một ví dụ về workflow mô phỏng robot SimReady, sử dụng GPT-6 Astra làm frontier AI model. Để áp dụng phương pháp này cho một robot hoặc frontier AI model khác, hãy xác nhận rằng bạn có quyền truy cập vào các công cụ và skills cần thiết, cung cấp tài liệu tham chiếu phù hợp, sau đó lặp lại quy trình validation cho asset và tác vụ. Kết quả có thể khác nhau tùy theo model, mức độ suy luận (reasoning effort) và prompt được sử dụng.
Hãy tham gia NVIDIA GTC Berlin từ ngày 20–22 tháng 10 năm 2026 để khám phá những phát triển mới nhất trong lĩnh vực Physical AI và robotics cũng như kết nối với các nhà phát triển, nhà nghiên cứu và chuyên gia đầu ngành.
