NVIDIA Cosmos mở ra các công cụ mới để huấn luyện, đánh giá và triển khai mô hình thế giới

Để hỗ trợ các nhà phát triển nhanh chóng xây dựng mô hình thế giới, giúp các hệ thống AI vật lý hiểu và mô phỏng thế giới thực, NVIDIA đã mở rộng nền tảng Cosmos với các công cụ đào tạo mới, các điểm kiểm tra mô phỏng và các bản thiết kế Cosmos Data Factory.

Xếp hạng trong top 5 trên sáu bảng xếp hạng mô hình mở khác nhau, nền tảng NVIDIA Cosmos cung cấp cho các nhà xây dựng mô hình thế giới các mô hình mở tiên phong — cũng như các công cụ và công thức về dữ liệu, đào tạo và tối ưu hóa — để mở rộng dữ liệu đào tạo, điều chỉnh mô hình, kiểm tra hành vi và tối ưu hóa hiệu suất trước khi triển khai.

Xây dựng dữ liệu huấn luyện tốt hơn

Việc xây dựng các mô hình thế giới bắt đầu với dữ liệu đa phương thức, đa giác quan.

NVIDIA Cosmos Data Factory tập hợp các công cụ và kỹ năng để gán nhãn, tuyển chọn, tăng cường và đánh giá dữ liệu ở quy mô lớn nhằm phục vụ việc huấn luyện AI vật lý. Cosmos Curator, một giải pháp tăng tốc bằng GPU để tuyển chọn các bộ dữ liệu huấn luyện video, hiện đã bổ sung khả năng hỗ trợ cho các đầu vào đa phương thức, đa giác quan và các khối xử lý.

 

Cosmos Data Factory hiện cung cấp năm bản thiết kế (blueprints) cloud-native sau đây và có sẵn thông qua GitHub, Microsoft Azure, Nebius và CoreWeave:

• Định dạng dữ liệu phương tiện tự hành: Sắp xếp và dán nhãn dữ liệu lái xe, sau đó thêm các ví dụ tổng hợp của các kịch bản khó ghi nhận để mở rộng phạm vi đào tạo.
• Tăng cường thuộc tính hình ảnh: Thay đổi ngoại hình của đối tượng để cải thiện tìm kiếm hình ảnh.
• Event Video Generation: Biến các hình ảnh tĩnh thành video tổng hợp về các sự kiện hiếm gặp hoặc không an toàn.
• Defect Image Generation: Tạo các hình ảnh lỗi của bo mạch in, kim loại và thủy tinh cho các mô hình kiểm tra.
• Tăng cường dữ liệu video: Thay đổi thời tiết và ánh sáng trong các đoạn phim hiện có trong khi vẫn giữ nguyên cấu trúc cảnh.

Cosmos Data Factory tăng tốc việc tuyển chọn, xử lý và tạo dữ liệu tổng hợp với các kỹ năng agentic.

Các công ty đã bắt đầu sử dụng các bản thiết kế (blueprints) của Cosmos Data Factory để đẩy nhanh quy trình phát triển AI vật lý của họ.

Porsche đang dẫn đầu việc phát triển một vòng lặp dữ liệu AV (xe tự hành) chung giữa các thương hiệu thuộc Volkswagen Group, sử dụng Cosmos Data Factory thông qua Voxel51 trên Microsoft Azure. Điều này dự kiến sẽ giảm đến 90% các lần chạy thử nghiệm vật lý lặp đi lặp lại và rút ngắn thời gian chu kỳ phát triển lên đến 85%.

Porsche tìm kiếm và bổ sung dữ liệu video phương tiện tự hành trong Voxel51, được hỗ trợ bởi Cosmos Data Factory.

ANYbotics đã tạo ra hơn 1.500 đoạn video tổng hợp bằng các bản thiết kế Cosmos Data Factory, tuyển chọn dữ liệu thực tế và xác thực đầu ra bằng nền tảng của Encord để huấn luyện các robot kiểm tra công nghiệp của mình nhận biết các vết tràn chất lỏng và các thay đổi khác giữa các lần kiểm tra cơ sở.

ANYbotics tạo các đoạn clip bất thường bằng Encord được hỗ trợ bởi NVIDIA Cosmos Data Factory.

Ultralytics, một công ty thị giác máy tính, đã huấn luyện lại mô hình YOLO của mình bằng các hình ảnh thực và các lỗi tổng hợp có mục đích được tạo ra bằng Cosmos Data Factory, cải thiện khả năng xác định vị trí lỗi và tỷ lệ thu hồi.

Đào tạo, Thích ứng và Tối ưu hóa Mô hình

Với dữ liệu đào tạo đã được chuẩn bị, các nhà phát triển có thể đào tạo kiến trúc của riêng mình hoặc bắt đầu với một mô hình được đào tạo trước.

Tại GTC Berlin, NVIDIA đã mở rộng các công cụ và công thức đào tạo, tối ưu hóa và triển khai của Cosmos Framework dưới dạng kỹ năng agent cho các mô hình mở hơn, cùng với Cosmos 3, giúp những người xây dựng mô hình thế giới có con đường nhanh hơn từ thử nghiệm đến triển khai.

Các nhà phát triển và agent giờ đây có thể điều chỉnh các mô hình mở như GR00T, Alpamayo, QWEN, Pi0.5 và các mô hình Hugging Face tương thích khác thông qua fine-tuning và học tăng cường, tối ưu hóa mô hình bằng cách chưng cất và lượng tử hóa, và triển khai với suy luận hiệu suất cao.

Cosmos Framework là một framework mở, mô-đun hóa, bao gồm các công cụ và kỹ năng huấn luyện và tối ưu hóa mô hình để đẩy nhanh quá trình phát triển mô hình thế giới.

Để phát triển một mô hình thế giới chuyên biệt cho thao tác góc nhìn thứ nhất (egocentric manipulation), phòng thí nghiệm nghiên cứu robot MicroAGI đã huấn luyện lại Cosmos 3 trên các video con người thao tác với các vật thể và chưng cất bộ suy luận 32 tỷ tham số của nó xuống thành mô hình Nano 8 tỷ tham số mà không làm giảm độ chính xác.

Các nhà phát triển có thể gán nhãn dữ liệu và huấn luyện lại (post-train) Cosmos 3 trên Roboflow cho các môi trường và tác vụ cụ thể của họ, sau đó triển khai các mô hình đó lên các GPU NVIDIA do RoboFlow lưu trữ hoặc tại chỗ (on-premises) để đưa suy luận video vào nhà máy và kho hàng.

Thử nghiệm các chính sách và chạy mô hình nhanh hơn 

Song song với các công cụ này, NVIDIA tiếp tục thúc đẩy công nghệ nền tảng thông qua các nghiên cứu về mô hình Cosmos.

Các biến thể mô hình Cosmos 3 Nano mới cho mô phỏng cho phép các nhà phát triển kiểm tra các chính sách tự động trong các kịch bản đa góc nhìn, đa cảm biến, khó ghi nhận và có thể lặp lại. Mã nguồn đi kèm cho phép các nhà phát triển điều chỉnh các mô hình để huấn luyện và đánh giá chính sách riêng của họ cho xe tự hành và robot hai tay trong các mô phỏng tương tác trước khi thử nghiệm trong thế giới thực.

Tạo dữ liệu video đa góc nhìn và đa giác quan để đánh giá các chính sách trong mô phỏng vòng kín.

Các nhà phát triển có thể triển khai các mô hình Cosmos cốt lõi bằng cách sử dụng các microservice NVIDIA Cosmos 3 NIM được cập nhật, giúp tăng tốc suy luận lên đến 2 lần mà không làm giảm chất lượng trong các cấu hình đã được xác thực, trong khi phân tích video liên tục cho phép cảnh báo trong thời gian dưới một giây.

Đối với các nhà phát triển AI thị giác, NVIDIA Metropolis Blueprint cho tìm kiếm và tóm tắt video (VSS) 3.3 mới, được xây dựng dựa trên các microservice Cosmos NIM, biến một prompt thành một ứng dụng AI video hiệu quả và giúp các nhóm giám sát nhiều hơn 40% luồng video với cùng một GPU.

ADNOC sử dụng nền tảng agentic MistIQ của Fogsphere, được xây dựng với Cosmos và NVIDIA Metropolis VSS Blueprint, để phát hiện các mối nguy hiểm về an toàn theo thời gian thực tại 65 địa điểm. Đối với các sự kiện hiếm gặp, Fogsphere cũng sử dụng Cosmos Data Factory để tạo dữ liệu huấn luyện tổng hợp, cải thiện khả năng phát hiện mà không cần phải tái hiện các tình huống nguy hiểm một cách vật lý.

 

Nền tảng Cosmos hoàn toàn mô-đun và mã nguồn mở. Các nhà phát triển có thể sử dụng Cosmos Data Factory để tạo bộ dữ liệu huấn luyện, Cosmos Framework để huấn luyện và điều chỉnh các mô hình thế giới, sau đó triển khai các mô hình Cosmos được hỗ trợ thông qua các microservice NIM.

____
Bài viết liên quan