NVIDIA DGX Spark và DGX Station hỗ trợ chạy các mô hình open-source hàng đầu ngay trên Desktop

Trí tuệ nhân tạo mã nguồn mở đang thúc đẩy sự đổi mới trong nhiều lĩnh vực, và NVIDIA DGX Spark cùng DGX Station được xây dựng để giúp các nhà phát triển biến quá trình đổi mới thành các tác động hữu ích thực tế.

Tại triển lãm CES vừa qua, NVIDIA đã giới thiệu cách các siêu máy tính AI để bàn như DGX Spark và DGX Station cho phép các nhà phát triển khai thác các mô hình AI tiên tiến và mã nguồn mở mới nhất trên một hệ thống máy tính để bàn tại chỗ, từ các mô hình 100 tỷ tham số trên DGX Spark đến các mô hình 1 nghìn tỷ tham số trên DGX Station.

Được trang bị kiến ​​trúc NVIDIA Grace Blackwell, với bộ nhớ hợp nhất lớn và hiệu năng AI cấp petaflop, các hệ thống này mang đến cho các nhà phát triển khả năng mới để phát triển AI tại chỗ và dễ dàng mở rộng quy mô lên đám mây.

Nâng cao hiệu suất trên các mô hình AI mã nguồn mở

Nhờ những cải tiến liên tục trong việc tối ưu hóa mô hình và sự hợp tác với cộng đồng mã nguồn mở, nhiều mô hình mở được tối ưu hóa cao mà trước đây phải cần đến trung tâm dữ liệu để vận hành giờ đây có thể được tăng tốc trên máy tính để bàn với DGX Spark và DGX Station.

Được cấu hình sẵn với phần mềm NVIDIA AI và thư viện NVIDIA CUDA-X, DGX Spark cung cấp khả năng tối ưu hóa mạnh mẽ, dễ sử dụng cho các nhà phát triển, nhà nghiên cứu và nhà khoa học dữ liệu để xây dựng, tinh chỉnh và vận hành trí tuệ nhân tạo (AI).

Spark cung cấp nền tảng cho tất cả các nhà phát triển chạy các mô hình AI mới nhất ngay tại bàn làm việc; Station cho phép các doanh nghiệp và phòng nghiên cứu chạy các mô hình AI tiên tiến, quy mô lớn hơn. Các hệ thống này hỗ trợ chạy các framework và mô hình mã nguồn mở mới nhất — bao gồm cả các mô hình NVIDIA Nemotron 3 vừa được công bố gần đây — ngay trên máy tính để bàn.

Kiến trúc NVIDIA Blackwell cung cấp sức mạnh cho DGX Spark bao gồm định dạng dữ liệu NVFP4, cho phép nén các mô hình AI lên đến 70% và tăng hiệu suất mà không làm giảm khả năng xử lý thông minh.

Sự hợp tác của NVIDIA với hệ sinh thái phần mềm mã nguồn mở, chẳng hạn như công việc của họ với llama.cpp, đang thúc đẩy hiệu năng hơn nữa, mang lại hiệu suất tăng trung bình 35% khi chạy các mô hình AI tiên tiến trên DGX Spark. Llama.cpp cũng bao gồm một bản nâng cấp cải thiện trải nghiệm người dùng, giúp tăng tốc thời gian tải LLM.

DGX Station, với siêu chip GB300 Grace Blackwell Ultra và bộ nhớ đồng bộ 775GB với độ chính xác FP4, có thể chạy các mô hình lên đến 1 nghìn tỷ tham số — mang đến cho các phòng thí nghiệm AI tiên tiến khả năng tính toán hiện đại cho các mô hình quy mô lớn ngay trên máy tính để bàn. Điều này bao gồm nhiều mô hình AI tiên tiến như Kimi-K2 Thinking, DeepSeek-V3.2, Mistral Large 3, Meta Llama 4 Maverick, Qwen3 và OpenAI gpt-oss-120b.

“NVIDIA GB300 thường được triển khai dưới dạng hệ thống kích thước rack,” Kaichao You, nhân sự duy trì chủ lực của vLLM, cho biết. “Điều này gây khó khăn cho các dự án như vLLM trong việc thử nghiệm và phát triển trực tiếp trên siêu chip GB300 mạnh mẽ. DGX Station thay đổi điều này. Bằng cách cung cấp GB300 trong một hệ thống nhỏ gọn, duy nhất đặt cạnh bàn làm việc, DGX Station cho phép vLLM thử nghiệm và phát triển các tính năng dành riêng cho GB300 với chi phí thấp hơn đáng kể. Nó giúp tăng tốc chu kỳ phát triển và giúp vLLM dễ dàng trong việc liên tục xác thực và tối ưu hóa dựa trên GB300.”

“DGX Station mang khả năng xử lý GPU cấp trung tâm dữ liệu trực tiếp vào phòng tôi,” Jerry Zhou, cộng tác viên cộng đồng của SGLang, cho biết. “Nó đủ mạnh để xử lý các mô hình rất lớn như Qwen3-235B, kiểm thử các framework huấn luyện với cấu hình mô hình lớn và phát triển các nhân CUDA với kích thước ma trận cực lớn, tất cả đều được thực hiện tại chỗ mà không cần dựa vào các chủ đám mây. Điều này giúp rút ngắn đáng kể chu kỳ lặp lại trong quá trình phát triển hệ thống và framework phần mềm.”

NVIDIA sẽ trình diễn trực tiếp các khả năng của DGX Station tại CES như:

  • Quá trình huấn luyện trước LLM diễn ra với tốc độ chóng mặt 250.000 token mỗi giây.
  • Hình ảnh trực quan hóa dữ liệu lớn với hàng triệu điểm dữ liệu được nhóm thành các cụm danh mục. Quy trình mô hình hóa chủ đề sử dụng các kỹ thuật và thuật toán học máy được tăng tốc bởi thư viện NVIDIA cuML.
  • Trực quan hóa các cơ sở dữ liệu tri thức khổng lồ với độ chính xác cao bằng cách sử dụng Text to Knowledge Graph và Llama 3.3 Nemotron Super 49B.

Mở rộng quy trình công việc AI và nhà sáng tạo

DGX Spark và Station được thiết kế chuyên dụng để hỗ trợ toàn bộ vòng đời phát triển AI, từ tạo mẫu và tinh chỉnh đến suy luận và khoa học dữ liệu, cho nhiều ứng dụng AI chuyên biệt trong các ngành như y tế, robot, bán lẻ, quy trình công việc sáng tạo và nhiều lĩnh vực khác.

Đối với nhà sáng tạo nội dung, các mô hình khuếch tán và tạo video mới nhất, bao gồm FLUX.2 và FLUX.1 của Black Forest Labs, và Qwen-Image của Alibaba, hiện hỗ trợ NVFP4, giúp giảm dung lượng bộ nhớ và tăng tốc hiệu năng. Và mô hình video LTX-2 mới của Lightricks hiện đã có sẵn để tải xuống, bao gồm các checkpoint đã được lượng hóa với NVFP8 dành cho GPU NVIDIA, mang lại chất lượng tương đương với các mô hình đám mây hàng đầu.

Các buổi trình diễn trực tiếp tại CES cho thấy DGX Spark có thể giảm tải workload tạo video nặng nề khỏi máy tính xách tay của nhà sáng tạo, mang lại khả năng tăng tốc gấp 8 lần so với MacBook Pro M4 Max cao cấp nhất, giải phóng hệ thống cục bộ để tập trung vào công việc sáng tạo mà không bị gián đoạn.

Nền tảng modding mã nguồn mở RTX Remix dự kiến ​​sẽ sớm giúp các nghệ sĩ 3D và người tạo mod sử dụng DGX Spark để tạo ra nội dung nhanh hơn với trí tuệ nhân tạo tạo sinh. Các bản trình diễn khác tại CES cho thấy cách một nhóm mod có thể chuyển toàn bộ quá trình tạo nội dung của họ sang DGX Spark, giải phóng máy tính của họ để thực hiện mod mà không bị gián đoạn và cho phép họ xem các thay đổi trong game theo thời gian thực.

Các trợ lý lập trình AI cũng đang làm thay đổi năng suất của nhà phát triển. Tại CES, NVIDIA đã trình diễn một trợ lý lập trình CUDA cục bộ được hỗ trợ bởi NVIDIA Nsight trên DGX Spark, cho phép các nhà phát triển giữ mã nguồn cục bộ và an toàn trong khi vẫn được hưởng lợi từ quá trình phát triển doanh nghiệp có sự hỗ trợ của AI.

Các công ty đầu ngành xác nhận sự chuyển đổi sang AI tại chỗ

Trước nhu cầu ngày càng tăng về trí tuệ nhân tạo (AI) hiệu năng cao, bảo mật tại biên, DGX Spark đang ngày càng được ưa chuộng trong tất cả các lĩnh vực.

Các công ty phần mềm đi đầu, những nhà tiên phong trong lĩnh vực mã nguồn mở và các đối tác máy trạm toàn cầu đang áp dụng DGX Spark để hỗ trợ suy luận tại chỗ, quy trình làm việc dựa trên tác nhân và tạo nội dung được tăng cường bằng khả năng truy xuất mà không cần đến sự phức tạp của hạ tầng tập trung.

Quan điểm của họ nhấn mạnh cách DGX Spark cho phép lặp lại nhanh hơn, kiểm soát tốt hơn dữ liệu và sở hữu trí tuệ, cũng như trải nghiệm AI mới, tương tác hơn trên máy tính để bàn.

Tại CES, NVIDIA đang trình diễn cách sử dụng sức mạnh xử lý của DGX Spark với robot Hugging Face Reachy Mini để đưa các tác nhân AI vào thế giới thực.

“Các mô hình mở cho phép các nhà phát triển tự do xây dựng AI theo cách riêng của họ, và DGX Spark mang sức mạnh đó trực tiếp đến máy tính để bàn,” Jeff Boudier, phó chủ tịch sản phẩm tại Hugging Face, cho biết. “Khi bạn kết nối nó với Reachy Mini, các tác nhân AI cục bộ của bạn sẽ trở nên hiện hữu và có giọng nói riêng. Chúng có thể nhìn thấy bạn, lắng nghe bạn và phản hồi bằng chuyển động biểu cảm — biến AI mạnh mẽ thành thứ mà bạn thực sự có thể tương tác.”

Hugging Face và NVIDIA đã phát hành hướng dẫn từng bước xây dựng một tác nhân AI tương tác bằng cách sử dụng DGX Spark và Reachy Mini.

“DGX Spark đưa khả năng suy luận AI đến tận biên,” Ed Anuff, phó chủ tịch chiến lược nền tảng dữ liệu và AI tại IBM, cho biết. “Với OpenRAG trên Spark, người dùng có được một bộ RAG hoàn chỉnh, khép kín – từ trích xuất, nhúng, truy xuất đến suy luận.”

“Đối với các tổ chức cần kiểm soát hoàn toàn về bảo mật, quản trị và sở hữu trí tuệ, NVIDIA DGX Spark mang lại hiệu năng AI cấp petaflop cho khách hàng của JetBrains,” Kirill Skrygan, Giám đốc điều hành của JetBrains cho biết. “Cho dù khách hàng ưa thích triển khai trên nền tảng đám mây, tại chỗ hay kết hợp, JetBrains AI được thiết kế để đáp ứng nhu cầu của họ.”

TRINITY, một phương tiện ba bánh tự cân bằng thông minh dành cho một hành khách, được thiết kế cho giao thông đô thị, sẽ được trưng bày tại CES, sử dụng DGX Spark làm bộ não được hỗ trợ bởi trí tuệ nhân tạo để suy luận các tải xử lý mô hình ngôn ngữ thị giác thời gian thực mã nguồn mở.

“TRINITY đại diện cho tương lai của phương tiện di chuyển siêu nhỏ – nơi con người, phương tiện và các tác nhân AI cùng nhau làm việc một cách liền mạch,” will.i.am cho biết. “Với NVIDIA DGX Spark làm bộ não AI, TRINITY cung cấp các quy trình làm việc theo dõi mục tiêu và hội thoại, giúp thay đổi cách mọi người tương tác với phương tiện di chuyển trong các thành phố kết nối. Đó là những bộ não trên bánh xe, được thiết kế từ chính tác nhân.”

Thúc đẩy việc ứng dụng AI trong phát triển phần mềm

Các playbook của DGX Spark giúp các nhà phát triển nhanh chóng bắt đầu các dự án AI thực tế. Tại CES, NVIDIA cho thấy họ đang mở rộng thư viện này với sáu playbook mới và bốn bản cập nhật lớn, bao gồm các chủ đề như mô hình NVIDIA Nemotron 3 Nano mới nhất, huấn luyện robot, mô hình ngôn ngữ thị giác, tinh chỉnh mô hình AI bằng hai hệ thống DGX Spark, gen học và phân tích tài chính.

Khi DGX Station ra mắt vào cuối năm nay, sẽ có thêm nhiều playbook được bổ sung để giúp các nhà phát triển bắt đầu sử dụng hệ thống NVIDIA GB300.

Hiện tại, phần mềm NVIDIA AI Enterprise đã hỗ trợ các hệ thống DGX Spark và GB10 từ các đối tác sản xuất. Bao gồm các thư viện, khung phần mềm và microservice để phát triển ứng dụng AI và cài đặt mô hình, cũng như các toán tử và trình điều khiển để tối ưu hóa GPU, NVIDIA AI Enterprise cho phép kỹ thuật và triển khai AI nhanh chóng và đáng tin cậy. Dự kiến ​​giấy phép sẽ có sẵn vào cuối tháng Giêng.

Kế hoạch bán ra

Các hệ thống DGX Spark và GB10 của các nhà sản xuất đối tác hiện có bán tại ASUSMSI, Dell Technologies, GIGABYTE, HP Inc., Lenovo, Micro Center, Acer, Amazon và PNY.

DGX Station sẽ được ASUS , Boxx, Dell Technologies, GIGABYTE, HP Inc., MSI và Supermicro bán ra bắt đầu từ mùa xuân năm 2026.

Hãy cùng tìm hiểu sâu hơn về DGX Spark trong bài viết kỹ thuật này.