Khám phá Omniverse: 3 quy trình giúp cải thiện độ chính xác của Vision AI Agent với dữ liệu tổng hợp và fine-tuning

Vision AI Agent đang trở thành một hướng tiếp cận thực tế để biến dữ liệu video từ nhà máy, đô thị, kho vận và hệ thống giao thông thành thông tin vận hành có thể hành động. Khi ngày càng nhiều dữ liệu được xử lý ngay tại biên — gần camera, cảm biến và thiết bị sản xuất — doanh nghiệp cần những mô hình AI không chỉ nhận diện hình ảnh, mà còn phải hiểu bối cảnh, thích nghi với môi trường thực tế và hỗ trợ ra quyết định nhanh chóng.

Tuy nhiên, dữ liệu nhiều hơn không đồng nghĩa với trí tuệ tốt hơn. Theo nội dung được NVIDIA trích dẫn, phần lớn dữ liệu tại biên hiện vẫn chưa được xử lý hiệu quả, trong khi các hệ thống AI tại biên đang được kỳ vọng sẽ phổ biến hơn trong vài năm tới. Điều này tạo ra một nhu cầu rõ ràng: cần có quy trình lặp lại được để tạo dữ liệu huấn luyện, tinh chỉnh mô hình và triển khai các ứng dụng video AI trên cả môi trường edge lẫn cloud.

Vì sao các dự án Vision AI Agent thường bị chững lại?

Một trong những vấn đề lớn nhất của thị giác máy tính trong thực tế là khoảng trống dữ liệu. Mô hình có thể hoạt động tốt với các lỗi phổ biến, nhưng lại gặp khó khi xuất hiện các tình huống hiếm gặp, ví dụ như một vết nứt rất nhỏ trên dây chuyền sản xuất hoặc một sự cố giao thông bất thường.

Vấn đề thứ hai là thiếu năng lực fine-tuning. Khi phát hiện mô hình chưa đủ tốt, doanh nghiệp không thể chỉ “bấm nút” để cải thiện ngay. Việc tinh chỉnh mô hình cần dữ liệu được gán nhãn, cấu hình huấn luyện, theo dõi thử nghiệm, đánh giá kết quả và quyết định xem mô hình mới có thực sự tốt hơn cho bài toán cụ thể hay không.

Vấn đề thứ ba là quy trình triển khai agent quá phức tạp. Một Vision AI Agent không chỉ chạy mô hình nhận diện. Nó còn cần pipeline video, metadata, embedding, tìm kiếm, cảnh báo, báo cáo và tích hợp với hệ thống vận hành. Nếu mỗi lần triển khai đều phải xây dựng lại từ đầu, tốc độ phát triển sẽ rất chậm.

Cách NVIDIA tiếp cận toàn bộ vòng đời Vision AI Agent

NVIDIA đề xuất sử dụng các agent skills và blueprints trong hệ sinh thái NVIDIA Metropolis, kết hợp với NVIDIA Omniverse và OpenUSD để mô phỏng, tạo dữ liệu tổng hợp và xây dựng digital twin. Các thành phần này giúp đội ngũ phát triển có điểm khởi đầu sẵn cho từng bước: tạo dữ liệu, mở rộng bối cảnh huấn luyện, fine-tuning mô hình và triển khai ứng dụng video AI.

Một số nhóm kỹ năng được NVIDIA nhắc đến gồm:

Defect Image Generation để tạo ảnh lỗi tổng hợp.
Video Data Augmentation để mở rộng số lượng kịch bản.
NVIDIA TAO skills để fine-tune mô hình.
Video Search and Summarization (VSS) skills, để biến khả năng hiểu video thành quy trình có thể triển khai cho cảnh báo, báo cáo, quản lý luồng video và tìm kiếm.

1. Kiểm tra lỗi sản xuất: tạo dữ liệu mà dây chuyền không có đủ

Trong sản xuất, càng kiểm soát lỗi tốt thì càng khó thu thập đủ ví dụ lỗi để huấn luyện mô hình kiểm tra chất lượng. Đây là nghịch lý thường gặp: doanh nghiệp muốn mô hình phát hiện lỗi hiếm, nhưng chính vì lỗi hiếm nên dữ liệu huấn luyện lại rất ít.

NVIDIA đưa ra ví dụ Roboflow đang tích hợp kỹ năng NVIDIA Defect Image Generation cùng NVIDIA Cosmos world foundation models vào nền tảng vision AI của mình để tạo ảnh lỗi tổng hợp cho khách hàng như Corning. Trong một benchmark với nhóm kỹ thuật sản xuất sợi quang của Corning, mô hình được huấn luyện từ chỉ 8 ảnh lỗi thật, sau đó bổ sung dữ liệu tổng hợp, đã đạt 95% average precision và recall hoàn hảo trên nhóm lỗi khó nhất.

Điểm đáng chú ý là quy trình này có thể rút ngắn một dự án kiểm tra chất lượng vốn kéo dài nhiều quý xuống chỉ còn vài ngày. Với các nhà máy có nhiều dây chuyền, nhiều góc camera và nhiều loại lỗi khác nhau, dữ liệu tổng hợp có thể trở thành một cách mở rộng năng lực huấn luyện nhanh hơn rất nhiều.

Physical AI</a> With NVIDIA Brev Launchables and Agent Skills">

2. Đô thị thông minh: từ phân tích video đến vận hành tự động

Ở quy mô thành phố, vấn đề không chỉ là phát hiện vật thể hay đếm lưu lượng giao thông. Hệ thống cần hiểu tình huống, tìm kiếm sự kiện, tóm tắt diễn biến, phát cảnh báo và hỗ trợ phản ứng vận hành.

NVIDIA nêu ví dụ Linker Vision sử dụng NVIDIA Metropolis Blueprint for VSS để tăng tốc triển khai video reasoning agent trong hạ tầng đô thị. VSS skills có thể đóng gói các tác vụ phổ biến như tìm kiếm video, tóm tắt, cảnh báo, báo cáo và quản lý luồng video thành các workflow tái sử dụng được.

Bên cạnh đó, digital twin xây dựng bằng NVIDIA Omniverse và OpenUSD có thể mô phỏng môi trường đô thị, giúp kiểm thử hệ thống trước nhiều điều kiện khác nhau như thời tiết, giao thông, sự kiện khẩn cấp hoặc thay đổi hạ tầng. Trong trường hợp tại Kaohsiung, Linker Vision được NVIDIA cho biết đã giảm 85% công sức phát triển và giảm thời gian phản ứng sự cố tới 80%.

3. Vận hành công nghiệp: hiểu công việc đang diễn ra, không chỉ nhận diện hình ảnh

Trong môi trường công nghiệp, AI không chỉ cần biết “có gì trong khung hình”. Nó cần hiểu liệu công việc có đang được thực hiện đúng quy trình hay không, các bước có đúng thứ tự không và vấn đề có thể được phát hiện trước khi ảnh hưởng đến công đoạn tiếp theo hay không.

Ví dụ được NVIDIA nhắc đến là DeepHow’s Live Standard Operating Procedure (SOP) Verification agent tại Foxconn. Giải pháp này sử dụng NVIDIA Metropolis VSS blueprint cho lớp workflow video agentic, đồng thời dùng NVIDIA Cosmos để hỗ trợ suy luận về hoạt động của con người và chuỗi thao tác trong bối cảnh sản xuất.

Trên dây chuyền sản xuất NVIDIA GB300 server, giải pháp này được cho biết đã giúp cải thiện first-pass yield thêm 3%, đạt 99% độ chính xác ở cấp tác vụ trong việc hiểu các micro-action quan trọng của SOP và giảm công việc dư thừa bằng cách phát hiện vấn đề sớm hơn.

Kết luận: dữ liệu tổng hợp + fine-tuning + workflow tái sử dụng là chìa khóa

Vision AI Agent muốn đi vào thực tế cần nhiều hơn một mô hình nhận diện tốt. Doanh nghiệp cần một vòng đời đầy đủ: mô phỏng môi trường, tạo dữ liệu tổng hợp, mở rộng kịch bản, fine-tune mô hình, triển khai workflow video AI và tích hợp kết quả vào vận hành.

Cách tiếp cận của NVIDIA xoay quanh việc biến các bước phức tạp này thành những kỹ năng và blueprint có thể tái sử dụng. Với dữ liệu tổng hợp từ Omniverse/OpenUSD, fine-tuning thông qua TAO, và workflow triển khai từ Metropolis/VSS, đội ngũ phát triển có thể cải thiện độ chính xác của Vision AI Agent nhanh hơn, đặc biệt trong các tình huống hiếm, môi trường thay đổi liên tục hoặc quy trình vận hành phức tạp.

Để tìm hiểu cách các nhà phát triển có thể xây dựng và triển khai các AI Agent phân tích video, hãy xem hướng dẫn kỹ thuật này về cách sử dụng NVIDIA VSS Skills kết hợp với các coding agent.

____
Bài viết liên quan