Tóm tắt tin tức:
- Kiến trúc tham chiếu NVIDIA STX mới cung cấp thông lượng token cao hơn tới 5 lần và hiệu quả năng lượng cao hơn tới 4 lần với tốc độ thu thập dữ liệu nhanh hơn gấp 2 lần.
- Những đơn vị tiên phong sử dụng STX để lưu trữ bộ nhớ theo ngữ cảnh bao gồm CoreWeave, Crusoe, IREN, Lambda, Mistral AI, Nebius, Oracle Cloud Infrastructure (OCI) và Vultr.
- Các nhà cung cấp giải pháp lưu trữ và đối tác sản xuất đang xây dựng cơ sở hạ tầng sử dụng thiết kế tham chiếu mô-đun của NVIDIA để thúc đẩy trí tuệ nhân tạo tác nhân, bao gồm AIC, Cloudian, DDN, Dell Technologies, Everpure, Hitachi Vantara, HPE, IBM, MinIO, NetApp, Nutanix, Supermicro, Quanta Cloud Technology (QCT), VAST Data và WEKA.
GTC — Hôm nay, NVIDIA đã công bố NVIDIA BlueField-4® STX , một kiến trúc tham chiếu dạng mô-đun cho phép các doanh nghiệp, nhà cung cấp dịch vụ đám mây và AI dễ dàng triển khai cơ sở hạ tầng lưu trữ được tăng tốc, có khả năng xử lý suy luận ngữ cảnh dài cần thiết cho AI tác nhân.
Các trung tâm dữ liệu truyền thống cung cấp dung lượng lưu trữ lớn, đa năng nhưng thiếu khả năng phản hồi cần thiết để tương tác liền mạch với các tác nhân AI hoạt động trên nhiều bước, công cụ và phiên làm việc. AI dạng tác nhân đòi hỏi quyền truy cập dữ liệu theo thời gian thực và bộ nhớ làm việc theo ngữ cảnh để giữ cho các cuộc hội thoại và nhiệm vụ diễn ra nhanh chóng và mạch lạc. Khi ngữ cảnh mở rộng, các phương thức lưu trữ và đường dẫn dữ liệu truyền thống có thể làm chậm quá trình suy luận của AI và giảm hiệu suất sử dụng GPU.
NVIDIA STX cho phép các nhà cung cấp lưu trữ xây dựng cơ sở hạ tầng giúp dữ liệu luôn ở gần và có thể truy cập được ở quy mô lớn, nhờ đó các nhà máy AI dựa trên tác nhân có thể mang lại thông lượng và khả năng phản hồi cao hơn trong quá trình suy luận, huấn luyện và phân tích.
Phiên bản triển khai quy mô rack đầu tiên bao gồm nền tảng lưu trữ bộ nhớ ngữ cảnh NVIDIA CMX™ mới , mở rộng bộ nhớ GPU với lớp ngữ cảnh hiệu năng cao cho các hệ thống suy luận và tác nhân có khả năng mở rộng — cung cấp tốc độ xử lý gấp 5 lần số token mỗi giây so với bộ nhớ truyền thống.
“Trí tuệ nhân tạo tác nhân (Agent AI) đang định nghĩa lại những gì phần mềm có thể làm – và cơ sở hạ tầng điện toán hỗ trợ nó cần phải được tái tạo để theo kịp,” Jensen Huang, người sáng lập và CEO của NVIDIA, cho biết. “Các hệ thống AI có khả năng suy luận trên phạm vi ngữ cảnh rộng lớn và liên tục học hỏi đòi hỏi một loại lưu trữ mới. NVIDIA STX tái tạo lại kiến trúc lưu trữ, cung cấp nền tảng mô-đun cho cơ sở hạ tầng AI gốc, giúp các nhà máy AI hoạt động ở hiệu suất cao nhất.”
STX được tăng tốc bởi nền tảng NVIDIA Vera Rubin và tận dụng bộ xử lý NVIDIA BlueField-4 mới được tối ưu hóa cho lưu trữ, kết hợp CPU NVIDIA Vera với NVIDIA ConnectX® – 9 SuperNIC , cùng với mạng Ethernet NVIDIA Spectrum-X™ , phần mềm NVIDIA DOCA™ và NVIDIA AI Enterprise .
Kiến trúc STX cũng cho phép tiết kiệm năng lượng gấp 4 lần so với các kiến trúc CPU truyền thống dành cho lưu trữ hiệu năng cao và có thể xử lý số trang gấp 2 lần mỗi giây đối với dữ liệu AI doanh nghiệp.
Các đối tác cung cấp giải pháp lưu trữ cùng thiết kế cơ sở hạ tầng AI thế hệ tiếp theo dựa trên NVIDIA STX bao gồm Cloudian , DDN , Dell Technologies , Everpure , Hitachi Vantara , HPE , IBM, MinIO , NetApp , Nutanix , VAST Data và WEKA.
Các đối tác sản xuất hệ thống dựa trên STX bao gồm AIC, Supermicro và Quanta Cloud Technology (QCT).
Các phòng thí nghiệm AI hàng đầu và các nhà cung cấp dịch vụ đám mây đang lên kế hoạch áp dụng STX để lưu trữ bộ nhớ ngữ cảnh bao gồm CoreWeave, Crusoe, IREN, Lambda, Mistral AI, Nebius, OCI và Vultr.
Các nền tảng dựa trên STX sẽ được các đối tác cung cấp vào nửa cuối năm nay.
Hãy xem bài phát biểu khai mạc GTC của Huang và khám phá các phiên thảo luận .