Trong kỷ nguyên của Physical AI, chúng ta đang đối mặt với một khối lượng dữ liệu khổng lồ từ các cảm biến. Với hơn 10 triệu nhà máy, 1,5 tỷ phương tiện và 2 tỷ camera thương mại đang hoạt động, nhu cầu tự động hóa việc phân tích và hiểu video đã trở nên cấp thiết hơn bao giờ hết. Tại sự kiện NVIDIA GTC, các diễn giả đã giới thiệu giải pháp NVIDIA Metropolis Blueprint cho Video Search and Summarization (VSS) nhằm giải quyết các thách thức này.
Những thách thức lớn trong phân tích video truyền thống
Hiện nay, việc xử lý hàng tỷ giờ video đang gặp phải ba rào cản chính:
- Độ chính xác tìm kiếm thấp: Các hệ thống cũ thường bị giới hạn bởi các thuộc tính đã được huấn luyện sẵn, dẫn đến kết quả tìm kiếm không được xác minh và thiếu linh hoạt.
- Mệt mỏi vì cảnh báo (Alert Fatigue): Các cảm biến kích hoạt quá nhiều cảnh báo giả mà không có ngữ cảnh, khiến con người không thể xử lý xuể.
- Báo cáo thủ công tẻ nhạt: Việc xem lại video để trích xuất thông tin và lập báo cáo tiêu tốn rất nhiều thời gian và công sức.
Giải pháp: NVIDIA VSS Blueprint
NVIDIA VSS Blueprint là một nền tảng phát triển để xây dựng các tác nhân AI phân tích video (Video Analytics AI Agents) mạnh mẽ. Giải pháp này mang lại ba năng lực cốt lõi:
1. Tìm kiếm có tính tác nhân (Agentic Search)
Thay vì chỉ truy xuất dữ liệu đơn thuần, tác nhân AI có khả năng:
- Phân rã các truy vấn ngôn ngữ tự nhiên phức tạp.
- Lập kế hoạch tìm kiếm thông minh.
- Tự phê bình và xác minh kết quả thông qua mô hình ngôn ngữ thị giác (VLM) để đưa ra kết quả chính xác nhất cho người dùng.
2. Tóm tắt video và Lập báo cáo
Hệ thống có thể tự động chuyển đổi hàng giờ video thành các thông tin chi tiết có thể hành động. Tốc độ tóm tắt được cải thiện từ 60 lần đến 100 lần. AI có thể tạo ra các báo cáo PDF chuyên nghiệp kèm theo bằng chứng hình ảnh và mốc thời gian cụ thể (ví dụ: các sự kiện xảy ra trong một kho hàng).
3. Cảnh báo ngữ cảnh được xác minh
Bằng cách sử dụng VLM, các cảnh báo từ cảm biến được cung cấp ngữ cảnh đầy đủ và xác minh trong thời gian dưới 1 giây. Điều này giúp loại bỏ các cảnh báo sai và chỉ tập trung vào các sự kiện thực sự quan trọng.
Kiến trúc hệ thống và Quy trình làm việc
Hệ thống được xây dựng trên một kiến trúc 3 lớp tối ưu:
- Real-time Video Intelligence: Các vi dịch vụ (microservices) tăng tốc bằng GPU để trích xuất đặc trưng từ luồng video trực tiếp hoặc video lưu trữ.
- Downstream Analytics: Xử lý liên tục các đặc trưng thị giác để tạo ra các thông tin chi tiết tự động.
- Vision-based Agent Tools: Các công cụ như Deep Search, Video Summarization và Report Generation được điều phối bởi tác nhân AI theo quy trình Lập kế hoạch (Plan) – Thực hiện (Act) – Phản hồi (Reflect).
Công cụ hỗ trợ nhà phát triển
NVIDIA cũng giới thiệu DeepStream Coding Agents, một công cụ giúp nhà phát triển xây dựng các pipeline xử lý video đa camera phức tạp chỉ bằng ngôn ngữ tự nhiên. Thay vì phải viết hàng ngàn dòng mã thủ công, nhà phát triển chỉ cần định nghĩa yêu cầu qua các câu lệnh (prompt), AI sẽ tự động tạo ra pipeline có thể triển khai ngay lập tức.
Giá trị thực tế từ các đối tác
Nhiều doanh nghiệp đã đạt được kết quả ấn tượng khi ứng dụng công nghệ này:
- DeepHow: Tăng tốc độ đào tạo công nhân lên 80%.
- Linker Vision: Giảm 80% thời gian phản ứng với các sự cố đô thị.
- Kaltura: Phân tích video nhanh hơn 30 lần với chi phí giảm 95%.
- Pegatron: Giảm 67% lỗi trong quy trình sản xuất nhờ sự giám sát của AI.
Cách thức bắt đầu với VSS Blueprint
Để bắt đầu hành trình xây dựng các tác nhân AI thị giác, NVIDIA đề xuất 4 bước:
- Khám phá: Tìm hiểu về VSS Blueprint trên trang web NVIDIA.
- Dùng thử: Trải nghiệm VSS trên đám mây thông qua NVIDIA Launchpad.
- Xây dựng: Tải mã nguồn từ GitHub để tùy chỉnh theo nhu cầu kinh doanh.
- Triển khai: Sử dụng NVIDIA NIMs để vận hành các dịch vụ và ứng dụng ở quy mô lớn.