Into The Omniverse: OpenUSD và NVIDIA Halos tăng tốc an toàn cho robotaxi và các hệ thống AI vật lý

Posted on by

Trí tuệ nhân tạo vật lý đang dần chuyển từ các phòng thí nghiệm nghiên cứu sang thế giới thực, cung cấp năng lượng cho các robot thông minh và phương tiện tự hành (AV) — chẳng hạn như taxi robot — vốn phải cảm nhận, suy luận và hành động một cách đáng tin cậy trong các điều kiện khó lường.

Để mở rộng quy mô các hệ thống này một cách an toàn, các nhà phát triển cần các quy trình làm việc kết nối dữ liệu thực tế, mô phỏng độ chính xác cao và các mô hình AI mạnh mẽ trên nền tảng chung do khung OpenUSD cung cấp .

Bản đặc tả cốt lõi OpenUSD 1.0 được công bố gần đây , OpenUSD — hay còn gọi là Mô tả Cảnh Toàn cầu — hiện định nghĩa các kiểu dữ liệu, định dạng tệp và hành vi kết hợp tiêu chuẩn, cung cấp cho các nhà phát triển các quy trình USD có thể dự đoán được và có khả năng tương tác khi họ mở rộng quy mô các hệ thống tự trị.

Được hỗ trợ bởi OpenUSD, thư viện NVIDIA Omniverse kết hợp khả năng kết xuất NVIDIA RTX , mô phỏng vật lý và thời gian chạy hiệu quả để tạo ra các bản sao kỹ thuật số và tài sản sẵn sàng cho mô phỏng ( SimReady ) phản ánh chính xác môi trường thế giới thực để tạo và thử nghiệm dữ liệu tổng hợp.

Các mô hình nền tảng thế giới NVIDIA Cosmos có thể chạy trên các mô phỏng này để khuếch đại sự đa dạng dữ liệu, tạo ra các điều kiện thời tiết, ánh sáng và địa hình mới từ cùng một khung cảnh, nhờ đó các nhóm có thể an toàn xử lý các trường hợp ngoại lệ hiếm gặp và đầy thách thức.

Tìm hiểu thêm bằng cách theo dõi buổi phát trực tiếp OpenUSD hôm nay lúc 11 giờ sáng theo giờ PT hoặc xem lại, một phần của chuỗi sự kiện NVIDIA Omniverse OpenUSD Insiders:

Ngoài ra, những tiến bộ trong việc tạo dữ liệu tổng hợp , bộ dữ liệu đa phương thức và quy trình làm việc SimReady hiện đang hội tụ với khung NVIDIA Halos về an toàn xe tự lái, tạo ra một lộ trình dựa trên tiêu chuẩn để triển khai các máy móc tự hành thế hệ tiếp theo một cách an toàn hơn, nhanh hơn và tiết kiệm chi phí hơn.

Xây dựng nền tảng cho Trí tuệ nhân tạo vật lý an toàn

Tiêu chuẩn mở và tài nguyên SimReady

Đặc tả cốt lõi OpenUSD 1.0 thiết lập các mô hình dữ liệu và hành vi tiêu chuẩn làm nền tảng cho các tài sản SimReady, cho phép các nhà phát triển xây dựng các quy trình mô phỏng có khả năng tương tác cho các nhà máy AI và robot trên OpenUSD .

Được xây dựng trên nền tảng này, các tài sản 3D của SimReady có thể được tái sử dụng trên nhiều công cụ và nhóm khác nhau, đồng thời được tải trực tiếp vào NVIDIA Isaac Sim , nơi các bộ va chạm USDPhysics, động lực học vật thể rắn và các biến thể dựa trên cung kết hợp cho phép các nhóm thử nghiệm robot trong các cơ sở ảo mô phỏng sát với hoạt động thực tế.

Học tập mã nguồn mở

Chương trình giảng dạy Learn OpenUSD hiện đã được công khai mã nguồn và có sẵn trên GitHub, cho phép người đóng góp bản địa hóa và điều chỉnh các mẫu, bài tập và nội dung cho các đối tượng, ngôn ngữ và trường hợp sử dụng khác nhau. Điều này cung cấp cho các nhà giáo dục một nền tảng sẵn có để hướng dẫn các nhóm mới làm quen với quy trình mô phỏng tập trung vào OpenUSD.

Thế giới tạo sinh như một yếu tố nhân rộng sự an toàn

Kỹ thuật Gaussian splatting — sử dụng các yếu tố 3D có thể chỉnh sửa để tạo ra môi trường nhanh chóng và với độ chính xác cao — cùng với các mô hình thế giới đang đẩy nhanh quá trình mô phỏng để thử nghiệm và xác thực robot một cách an toàn.

Tại SIGGRAPH Asia, nhóm nghiên cứu của NVIDIA đã giới thiệu Play4D , một công nghệ xử lý đồ họa theo luồng cho phép sử dụng kỹ thuật Gaussian splatting 4D để hiển thị chính xác các cảnh động và cải thiện tính chân thực.

Công ty chuyên về trí tuệ không gian World Labs đang sử dụng mô hình thế giới tạo sinh Marble của mình cùng với NVIDIA Isaac Sim và Omniverse NuRec để các nhà nghiên cứu có thể chuyển đổi các lời nhắc bằng văn bản và hình ảnh mẫu thành môi trường 3D chân thực, dựa trên vật lý Gaussian chỉ trong vài giờ thay vì vài tuần.

Những thế giới đó sau đó có thể được sử dụng để huấn luyện, kiểm tra và chuyển giao từ mô phỏng sang thực tế cho trí tuệ nhân tạo vật lý. Quy trình mô phỏng độ chính xác cao này mở rộng phạm vi các kịch bản mà robot có thể thực hành trong khi vẫn đảm bảo an toàn cho việc thử nghiệm trong môi trường mô phỏng.

Lightwheel giúp các nhóm mở rộng quy mô huấn luyện robot với các tài nguyên SimReady.

Được hỗ trợ bởi OpenUSD, thư viện tài sản SimReady của Lightwheel bao gồm một lớp mô tả cảnh chung, giúp dễ dàng lắp ráp các bản sao kỹ thuật số có độ chính xác cao cho robot. Các tài sản SimReady được tích hợp hình học, vật liệu và các thuộc tính vật lý đã được xác thực chính xác, có thể được tải trực tiếp vào NVIDIA Isaac Sim và Isaac Lab để huấn luyện robot. Điều này cho phép robot trải nghiệm các tiếp xúc, động lực và phản hồi cảm biến thực tế trong quá trình học tập.

An toàn xe tự hành toàn diện

Những tiến bộ toàn diện về an toàn xe tự lái đang được đẩy nhanh nhờ các nghiên cứu mới, khung pháp lý mở và dịch vụ kiểm tra giúp việc xác thực trở nên chặt chẽ và có khả năng mở rộng hơn.

Các nhà nghiên cứu của NVIDIA, cùng với các cộng tác viên tại Đại học Harvard và Đại học Stanford, gần đây đã giới thiệu khung Sim2Val để kết hợp thống kê các kết quả thử nghiệm thực tế và mô phỏng, giảm thiểu nhu cầu về quãng đường thực tế tốn kém cho các nhà phát triển xe tự lái, đồng thời chứng minh cách robotaxi và xe tự lái có thể hoạt động an toàn trong các tình huống hiếm gặp và quan trọng về an toàn.

Tìm hiểu thêm bằng cách xem buổi phát trực tiếp “Safety in the Loop” của NVIDIA:

Những cải tiến này được bổ sung bởi NVIDIA Omniverse NuRec Fixer mã nguồn mở mới, một mô hình dựa trên Cosmos được huấn luyện trên dữ liệu AV, giúp loại bỏ các hiện tượng nhiễu trong quá trình tái tạo thần kinh để tạo ra các tài sản SimReady chất lượng cao hơn.

Để đảm bảo những tiến bộ này phù hợp với các tiêu chuẩn toàn cầu nghiêm ngặt, Phòng thí nghiệm Kiểm tra Hệ thống AI NVIDIA Halos — được ANAB công nhận — cung cấp dịch vụ kiểm tra và chứng nhận khách quan các thành phần Halos trên toàn bộ đội xe robotaxi, hệ thống AV, cảm biến và nền tảng của nhà sản xuất thông qua Chương trình Chứng nhận Halos .

Các nhà lãnh đạo hệ sinh thái xe tự lái đang ứng dụng trí tuệ nhân tạo vật lý vào an toàn.

Bosch , Nuro và Wayve nằm trong số những đơn vị đầu tiên tham gia Phòng thí nghiệm Kiểm tra Hệ thống AI NVIDIA Halos, nhằm mục đích đẩy nhanh việc triển khai an toàn và quy mô lớn các đội xe taxi tự lái. Onsemi, công ty sản xuất hệ thống cảm biến cho xe tự lái, tự động hóa công nghiệp và ứng dụng y tế, gần đây đã trở thành công ty đầu tiên vượt qua cuộc kiểm tra của Phòng thí nghiệm Kiểm tra Hệ thống AI NVIDIA Halos.

Phần mềm mô phỏng CARLA mã nguồn mở tích hợp NVIDIA NuRec và Cosmos Transfer để tạo ra các bản ghi hành trình được tái tạo và nhiều biến thể kịch bản khác nhau, trong khi công cụ FiftyOne của Voxel51 , được liên kết với Cosmos Dataset Search, NuRec và Cosmos Transfer, giúp các nhóm quản lý, chú thích và đánh giá các bộ dữ liệu đa phương thức trong toàn bộ quy trình sản xuất xe tự lái.

Trung tâm Mcity tại Đại học Michigan đang nâng cấp mô hình kỹ thuật số song sinh của cơ sở thử nghiệm xe tự lái rộng 32 mẫu Anh bằng cách sử dụng thư viện và công nghệ Omniverse. Nhóm nghiên cứu đang tích hợp giao diện lập trình ứng dụng NVIDIA Blueprint for AV simulation và Omniverse Sensor RTX để tạo ra các mô hình dựa trên vật lý của camera, lidar, radar và cảm biến siêu âm.

Bằng cách kết hợp dữ liệu ghi nhận thực tế từ cảm biến với dữ liệu mô phỏng có độ chính xác cao và chia sẻ tài nguyên một cách công khai, Mcity cho phép thử nghiệm an toàn và có thể lặp lại các tình huống lái xe hiếm gặp và nguy hiểm trước khi xe hoạt động trên đường công cộng.

Hãy kết nối với thế giới OpenUSD và sự an toàn của AI vật lý.

Tìm hiểu thêm về OpenUSD, NVIDIA Halos và tính an toàn vật lý của AI bằng cách tham khảo các nguồn tài liệu sau: