Các nhà phát triển AI không chỉ chạy một mô hình duy nhất nữa, mà đang điều phối nhiều mô hình song song, nối chuỗi các lệnh gọi suy luận và thử nghiệm những kiến trúc hàng đầu đòi hỏi hàng trăm gigabyte bộ nhớ. NVIDIA DGX Spark được xây dựng để đưa việc phát triển AI lên bàn làm việc, và giờ đây bạn có thể kết nối nhiều nút Spark hơn nữa.
Tại GTC Berlin, NVIDIA đã công bố hỗ trợ chính thức cho cụm DGX Spark tám nút, nâng bộ nhớ thống nhất lên 1 TB và mở ra khả năng chạy các mô hình hàng đầu, các tác vụ đa agent và huấn luyện trước với mức mở rộng gần tuyến tính, tất cả đều chạy cục bộ.
NVIDIA Sync giúp việc tạo cụm (clustering) trở nên dễ dàng. Tính năng Cluster Assistant của Sync đảm nhận việc thiết lập và quản lý thiết bị. Hỗ trợ cụm 8 nút trong NVIDIA Sync sẽ được triển khai trước cuối năm nay.
Hãy đọc tiếp để xem dữ liệu benchmark về khả năng mở rộng của suy luận (inference), điều phối (orchestration) và huấn luyện (training) khi cụm lớn dần.
Chạy các mô hình hàng đầu (frontier) lớn hơn, mới hơn
Lợi ích lớn nhất của cụm 8 nút là bộ nhớ. Một DGX Spark đơn lẻ có 128 GB bộ nhớ thống nhất; bốn nút đạt 512 GB; tám nút đạt 1 TB. Dung lượng này mở đường cho cả một lớp mô hình trước đây không thể khởi chạy trên hệ thống bốn nút, bao gồm mô hình GLM 5.3 (753B) đầy đủ của Z.ai.
Không chỉ đủ chỗ chứa các mô hình này, cụm còn được thiết kế để phục vụ chúng ở tốc độ tương tác. Trong thử nghiệm ban đầu, chúng tôi chạy GLM 5.3 Flash trên cụm tám nút và đo được khoảng 80 token mỗi giây (TPS) khi sinh văn bản, đủ nhanh cho việc phát triển cục bộ tương tác với một mô hình mixture-of-experts hàng đầu.
Checkpoint đầy đủ của GLM 5.3 (753B) chạy được trên cụm 8 × 128 GB, trở thành một trong những mô hình mã nguồn mở lớn nhất mà bạn có thể triển khai cục bộ.
| Mức đồng thời | Prefill tổng (TPS) | Prefill mỗi người dùng (TPS) | Decode tổng (TPS) | Decode mỗi người dùng (TPS) |
| 1 | 1.600 | 1.600 | 31 | 31 |
| 4 | 1.600 | 750 | 51 | 21 |
| 8 | 1.600 | 473 | 67 | 18 |
Thao tác tập thể nhanh hơn với backend tối ưu cho Spark
Suy luận song song tensor (tensor parallel) dành một phần đáng kể thời gian cho các thao tác tập thể (collective) như all-reduce. Trên các cụm kết nối qua switch, chúng tôi đã đánh giá RoCEnante, một backend tập thể được tối ưu cho Spark, giúp giảm độ trễ tập thể trong trường hợp thông điệp nhỏ, mức đồng thời thấp và số rank vừa phải, vốn là đặc trưng của decode song song tensor trên phần cứng AI cục bộ.
Backend này thực hiện trao đổi all-to-all, sau đó là bước reduce cục bộ. Mỗi rank chia sẻ dữ liệu đầu vào của mình với mọi rank khác, rồi cộng các đầu vào lại một cách cục bộ. Một kernel GPU duy nhất điều phối cả bước trao đổi lẫn bước reduce.
Lợi ích chính là giảm số bước truyền thông. Ring all-reduce chuyển dữ liệu giữa các rank kề nhau qua nhiều vòng lặp. Cách tiếp cận này trao đổi dữ liệu trực tiếp với tất cả các peer, tránh được chuỗi chuyển tiếp đó. Với thông điệp nhỏ và số rank khiêm tốn, điều này có thể giảm độ trễ.
Đổi lại, lượng dữ liệu phải di chuyển nhiều hơn. Mỗi rank gửi toàn bộ đầu vào của mình đến mọi peer và tự reduce tất cả các đầu vào. Khi kích thước thông điệp hoặc số rank (nút) tăng lên, lưu lượng bổ sung này càng tốn kém, khiến ring all-reduce với hiệu quả băng thông cao hơn ngày càng hấp dẫn. Nếu bạn cần hỗ trợ mức đồng thời cao, cụm lớn hơn hoặc topology vòng, NVIDIA Collective Communications Library (NCCL) sẽ là lựa chọn tốt hơn.
Trong thực tế, chúng tôi ghi nhận thông lượng prefill cao hơn khoảng 5% và thông lượng decode cao hơn 21% ở bốn nút (NVFP4), cùng thông lượng decode cao hơn khoảng 18% ở tám nút với mô hình không lượng tử hóa, đúng với sự đánh đổi giữa độ trễ và băng thông nêu trên. Backend này đã được tích hợp vào FlashInfer và tự động chuyển về NCCL nếu bài kiểm tra khi khởi động thất bại.
Backend này chỉ áp dụng cho topology kết nối qua switch, vì nó dựa vào trao đổi điểm-điểm trực tiếp giữa mọi nút. Nó không thay thế NCCL, vốn vẫn là lựa chọn mặc định được hỗ trợ và phù hợp hơn khi quy mô cụm và mức đồng thời tăng lên. Phương pháp all-reduce one-shot ban đầu do cộng đồng đóng góp (Jason Cook/el8).
Hai, bốn, tám: mở rộng cụm
Card mạng NVIDIA ConnectX-7 với độ trễ thấp và giao thức RDMA over Converged Ethernet (RoCE) cho phép các nút DGX Spark trao đổi tensor hiệu quả, giúp bạn phân chia mô hình trên nhiều nút hơn để vừa bộ nhớ và tăng thông lượng. Để tách riêng hành vi mở rộng cụm khỏi các yếu tố phụ thuộc ngữ cảnh, chúng tôi đã benchmark mô hình dense Qwen3.8-27B (NVFP4), không dùng speculative decoding/MTP, trên một đến tám nút:
| Số nút Spark | Topology | Prefill (TPS) | Mức mở rộng prefill | Decode (TPS) | Mức mở rộng decode |
| 1 | — | 2.635 | 1,00x | 11,86 | 1,00x |
| 2 | Kết nối trực tiếp | 3.285 | 1,25x | 21,71 | 1,83x |
| 4 | Vòng vật lý | 4.446 | 1,69x | 32,82 | 2,77x |
| 4 | Switch (RoCEnante) | 4.556 | 1,73x | 36,34 | 3,06x |
| 8 | Vòng vật lý | 4.962 | 1,88x | 40,11 | 3,38x |
| 8 | Switch (RoCEnante) | 5.105 | 1,94x | 52,58 | 4,43x |
Có hai xu hướng nổi bật. Thứ nhất, thông lượng decode tăng mạnh theo số nút, từ khoảng 12 TPS trên một nút lên 52 TPS trên tám nút.
Thứ hai, topology tối ưu phụ thuộc vào workload: một vòng vật lý (physical ring) mang lại thông lượng decode rất tốt cho một mô hình duy nhất được phân bổ trên tất cả các nút. Bạn cần switch khi muốn chia cụm thành các nhóm độc lập, hoặc chạy các workload đòi hỏi kết nối trực tiếp giữa mọi cặp nút (any-to-any).
Để tự thử nghiệm, tài liệu hướng dẫn kết nối mạng này sẽ giúp bạn thiết lập cụm, bắt đầu từ cấu hình hai nút rồi mở rộng dần.
Topology vòng không cần switch: thiết lập đơn giản
Không phải cụm nào cũng cần switch. Các nút DGX Spark có thể nối trực tiếp với nhau thành một vòng, giúp giảm chi phí và đơn giản hóa việc thiết lập, một lựa chọn hấp dẫn cho người đam mê công nghệ và các triển khai quy mô nhỏ.
Trong triển khai DGX Spark bốn nút, NCCL mặc định dùng các thuật toán dựa trên vòng cho giao tiếp song song tensor, nên cấu hình vòng không cần switch khớp hoàn toàn với luồng lưu lượng và mang lại thông lượng ấn tượng với chi phí thấp hơn. Như Bảng 2 cho thấy, cấu hình vòng bốn nút cho thông lượng prefill và decode tốt với workload này.
Tình hình sẽ khác khi bạn mở rộng quy mô hoặc chuyên biệt hóa:
- Tám nút hoặc phân bổ tách rời: nếu bạn muốn chia cụm thành, chẳng hạn, hai nhóm bốn nút, cấu trúc vòng không đáp ứng được; bạn cần switch.
- Workload all-to-all và HPC truyền thống: mọi thứ phụ thuộc vào mẫu giao tiếp điểm-điểm (ví dụ cụm dựa trên MPI) đều cần switch; dùng vòng sẽ bị giảm hiệu năng do số bước nhảy (hop penalty).
- Backend tập thể tối ưu: backend tối ưu cho Spark mô tả ở trên cần kết nối điểm-điểm trực tiếp giữa mọi nút, nên chỉ áp dụng cho cấu hình có switch.
Tóm lại: hãy chọn cấu hình vòng không cần switch khi bạn muốn một hệ thống suy luận bốn nút đơn giản với chi phí thấp nhất, và chọn switch khi bạn cần mở rộng lên tám nút, chia cụm hoặc chạy các mẫu giao tiếp mà cấu trúc vòng không đáp ứng được.
Điều phối đa mô hình với Switchyard
Không phải yêu cầu nào cũng cần đến mô hình lớn nhất. Trên một cụm tám nút dùng chung, bạn có thể đạt thông lượng tổng cao hơn đáng kể bằng cách định tuyến các yêu cầu dễ đến một mô hình nhỏ, nhanh và dành mô hình lớn cho các yêu cầu khó.
NVIDIA NeMo Switchyard giúp điều này trở nên khả thi: một bộ phân loại gọn nhẹ kiểm tra từng yêu cầu (hoặc phiên) và định tuyến đến nhóm mô hình phù hợp, trong khi bộ cân bằng tải phân phối lưu lượng giữa các bản sao. Vì cấu hình này chia tám nút thành các nhóm mô hình độc lập, Switchyard chạy trên cụm kết nối qua switch, vốn cung cấp kết nối any-to-any cần thiết để định tuyến yêu cầu giữa các bản sao.
Trong nguyên mẫu, chúng tôi dùng MiniCPM5 2B của OpenBMB làm mô hình phân loại, đồng thời xử lý các tác vụ đơn giản, và Qwen3.8 Flash Next cho các tác vụ phức tạp. Trên bộ benchmark sử dụng công cụ (tool-use) gồm ba mức thường, khó và rất khó, agent có định tuyến đạt chất lượng tương đương cấu hình chỉ dùng Qwen trong khi giải phóng tài nguyên trên cụm.
Trên bộ benchmark sử dụng công cụ gồm 92 trường hợp (bao gồm các trường hợp khó), agent có định tuyến đạt 91/100 điểm, ngang với cấu hình chỉ dùng Qwen.
Vì mỗi bản sao (replica) MiniCPM xử lý số yêu cầu mỗi giây nhiều gấp khoảng 10 lần so với Qwen, việc chuyển một phần lưu lượng sang mô hình nhỏ sẽ nâng giới hạn thông lượng của toàn cụm. Với ba bản sao Qwen (mỗi bản sao chạy trên hai nút Spark) và hai bản sao MiniCPM (mỗi bản sao chạy trên một nút Spark) trên tám nút, chúng tôi đạt được:
- ~1,5x thông lượng tổng so với cấu hình cơ sở chỉ dùng Qwen khi một nửa số yêu cầu được định tuyến đến Qwen.
- ~3,0x thông lượng tổng khi một phần tư số yêu cầu được định tuyến đến Qwen và phần còn lại đến MiniCPM.
Chính sách định tuyến chỉ là một tệp YAML đơn giản, và NVIDIA cung cấp sẵn một chính sách mẫu làm điểm khởi đầu; nhà phát triển có thể điều chỉnh tỷ lệ phân bổ và bộ phân loại cho workload của riêng mình.
Huấn luyện trước từ đầu: mở rộng gần tuyến tính với nanochat
Huấn luyện hoạt động khác với suy luận. Khi mỗi nút giữ một bản sao đầy đủ của mô hình, giao tiếp duy nhất giữa các nút là đồng bộ gradient một lần mỗi bước, nên cụm mở rộng gần như tuyến tính. Để minh họa, chúng tôi huấn luyện trước một mô hình nanochat từ đầu (khoảng 896,5 triệu tham số, 20 lớp transformer, chiều ẩn 1.280 và độ dài chuỗi 2.048 token) và đo thông lượng huấn luyện khi thêm nút.
| Số nút | TPS | Tốc độ tăng | Hiệu quả mở rộng |
| 1 | 8.741 | 1,00x | 100,0% |
| 2 | 17.202 | 1,97x | 98,4% |
| 4 | 33.640 | 3,85x | 96,2% |
| 8 | 68.079 | 7,79x | 97,4% |
Với tám nút, tốc độ tăng đạt 7,79x ở hiệu quả 97,4%. Mức mở rộng gần tuyến tính này biến cụm Spark tám nút thành nền tảng đáng tin cậy để huấn luyện các mô hình nhỏ từ đầu, chứ không chỉ để phục vụ mô hình lớn. Đây cũng là một quy trình tự nhiên để bắt đầu: tạo nguyên mẫu và huấn luyện trước cục bộ, rồi mở rộng khi mô hình phát triển.
Để tái hiện thí nghiệm huấn luyện trước nanochat hoặc điều chỉnh cho mô hình của riêng bạn, toàn bộ mã nguồn có sẵn trên GitHub.
Bắt đầu với cụm DGX Spark nhiều nút
Cụm DGX Spark tám nút mang đến cho bạn đủ bộ nhớ để chạy các mô hình hàng đầu, sự linh hoạt để điều phối nhiều mô hình cùng lúc và hiệu quả để huấn luyện mô hình nhỏ từ đầu, tất cả ngay trên bàn làm việc.
Để tìm hiểu thêm, hãy xem:
Bài viết liên quan
- 5 bước tạo tài nguyên SimReady cho robot với các mô hình AI tiên phong
- Phân tích hình ảnh khoa học nhanh hơn với NVIDIA cuPhoton
- Xác nhận mức độ sẵn sàng của cụm GPU trước khi triển khai các tác vụ AI
- Cách sử dụng AI Agents để chuẩn bị cảnh 3D cho mô phỏng
- NVIDIA PAIR Virtual Inference Router mở rộng khả năng tính toán có sẵn trên mạng nội bộ của bạn