Khi các tổ chức chuyển từ giai đoạn thử nghiệm AI sang giai đoạn sản xuất hàng loạt AI, các quyết định về cơ sở hạ tầng đã chuyển từ thông số kỹ thuật chip tối ưu sang chi phí trên mỗi token: họ có thể cung cấp bao nhiêu token hữu ích trên mỗi đô la, mỗi watt và trong phạm vi độ trễ đáp ứng yêu cầu.
Được thiết kế đồng bộ với GPU, CPU, hệ thống mạng và các hệ thống khác của NVIDIA, và được hỗ trợ bởi một hệ sinh thái mã nguồn mở rộng lớn, phần mềm suy luận toàn diện của NVIDIA liên tục cải thiện hiệu năng phần cứng. Trên nền tảng NVIDIA Blackwell, bộ phần mềm này đã giảm chi phí token lên đến 5 lần trên mô hình DeepSeek V4 chỉ trong một tháng.
Kết quả SemiAnalysis InferenceX so sánh chi phí token và tính tương tác cho hệ thống NVIDIA GB300 NVL72 với SGLang và khung suy luận NVIDIA Dynamo.
Các công ty hàng đầu và nhà cung cấp giải pháp suy luận đã và đang nhận thấy giá trị gia tăng của bộ phần mềm suy luận của NVIDIA trên nền tảng Blackwell:
- Baseten đã sử dụng thư viện mã nguồn mở NVIDIA TensorRT-LLM để chạy DeepSeek V4 Pro trên GPU Blackwell cho các tác vụ suy luận, lập trình và xử lý dữ liệu ngữ cảnh dài, áp dụng các tối ưu hóa thời gian chạy độc quyền để cung cấp nhiều hơn tới 50% số token mỗi giây.
- Cognition đang sử dụng khung suy luận NVIDIA Dynamo để quản lý các GPU suy luận, cung cấp cho nhóm của họ một lộ trình sẵn có để mở rộng quy mô khối lượng công việc học tăng cường mà không cần phải xây dựng cơ sở hạ tầng đó từ đầu.
- Deep Infra sử dụng bộ phần mềm suy luận của NVIDIA để phục vụ các mô hình mã nguồn mở tiên tiến một cách hiệu quả trên nền tảng Blackwell ngay từ đầu, bao gồm cả DeepSeek V4.
- DigitalOcean đã hỗ trợ Hippocratic AI sử dụng phần mềm suy luận của NVIDIA trên GPU Blackwell để phục vụ AI chăm sóc sức khỏe nhanh hơn và hiệu quả hơn, tăng thông lượng suy luận lên 30% trong khi vẫn duy trì thời gian phản hồi đầu tiên dưới nửa giây cho 10 triệu cuộc gọi của bệnh nhân.
- Together AI đã sử dụng NVIDIA TensorRT-LLM trên Blackwell để giúp Cursor tăng tốc quá trình từ tối ưu hóa mô hình đến các điểm cuối sản xuất, mang lại trải nghiệm lập trình thời gian thực.
Tại sao phần mềm lại quan trọng đối với lĩnh vực suy luận?
Các workload dựa trên web, search và phần mềm dưới dạng dịch vụ (SaaS) tương đối dễ dự đoán: Người dùng có thể tải một trang web, làm mới nguồn cấp dữ liệu hoặc cập nhật dữ liệu kinh doanh. Các yêu cầu này thường tuân theo các đường dẫn phần mềm tương tự, đọc hoặc ghi dữ liệu vào cơ sở dữ liệu, và được mở rộng bằng cách thêm nhiều máy chủ cùng loại.
Trí tuệ nhân tạo dựa trên tác nhân tự chủ (Agent AI) thì khác.
Trí tuệ nhân tạo tác nhân (Agentic AI) vận hành các quy trình công việc phân tán, có trạng thái, trải rộng trên các hệ thống quản lý vòng đời dữ liệu (LLM), công cụ, bộ nhớ, bảo mật, mạng lưới và điện toán tăng tốc trong toàn bộ trung tâm dữ liệu.
Các agent có thể suy luận, lập kế hoạch, gọi các công cụ, tạo ra các agent phụ chuyên biệt và quản lý ngữ cảnh khổng lồ trên các quy trình làm việc nhiều lượt. Chúng biến một yêu cầu duy nhất thành một bài toán tính toán phân tán có thể trải rộng trên hàng trăm agent phụ trợ, hàng nghìn tác vụ và nhiều mô hình ngôn ngữ lớn, chạy trên GPU, CPU, DPU và hệ thống lưu trữ.
Cấu trúc phần mềm quyết định liệu sự phức tạp đó dẫn đến lãng phí năng lực hay giảm chi phí trên mỗi token .
Chi phí mỗi token thấp hơn đến từ việc chuyển đổi các tối ưu hóa riêng lẻ thành hiệu năng cấp hệ thống. Bộ phần mềm suy luận của NVIDIA thực hiện điều này bằng cách kết nối ba lớp:
- Vận hành sản xuất: Điều phối việc phân bổ máy chủ, điều hành, tự động mở rộng quy mô và quản lý bộ nhớ để quá trình suy luận có thể chạy trên các tài nguyên tính toán và lưu trữ phù hợp.
- Tăng tốc ứng dụng: Chạy các mô hình với hiệu năng cao đồng thời cho phép các nhà phát triển tinh chỉnh và tùy chỉnh, sử dụng các tối ưu hóa thời gian chạy như tính toán và giao tiếp chồng chéo cũng như hợp nhất nhân hệ điều hành.
- Truy cập cơ sở hạ tầng: Cho phép truy cập vào GPU, mạng, bộ nhớ và khả năng hệ thống của NVIDIA mà không yêu cầu các nhà phát triển phải quản lý trực tiếp từng tập lệnh thiết bị hoặc giao thức truyền dữ liệu.
Bộ phần mềm của NVIDIA bao gồm việc phục vụ mô hình, lập lịch thời gian chạy, nhân hệ điều hành, thư viện truyền thông và các tối ưu hóa nhận biết phần cứng, cho phép tăng hiệu suất nhanh chóng và giảm chi phí phục vụ khi các cải tiến được tích lũy trên nhiều lớp.
Khi các lớp này hoạt động như một hệ thống thống nhất, các tối ưu hóa riêng lẻ sẽ cộng hưởng với nhau.
Phân tách dịch vụ, khả năng xử lý song song quy mô lớn thông qua công nghệ kết nối NVIDIA NVLink , độ chính xác NVFP4 và khả năng dự đoán đa token đều mang lại những lợi ích đáng kể khi được tích hợp riêng lẻ. Khi kết hợp lại, chúng có thể tăng thông lượng lên đến 20 lần.
Biểu đồ bên dưới thể hiện kết quả. Việc đạt được hiệu quả đó trong sản xuất rất phức tạp, đòi hỏi sự phối hợp trên toàn bộ hệ thống suy luận — từ các hoạt động sản xuất và thời gian chạy mô hình đến các nhân, thư viện truyền thông và truy cập phần cứng. Hệ thống phần mềm suy luận của NVIDIA được thiết kế để các lớp này hoạt động cùng nhau, sao cho mỗi tối ưu hóa có thể dựa trên những tối ưu hóa trước đó.
Việc kết hợp các tối ưu hóa phần mềm giúp tăng hiệu suất đáng kể, tăng thông lượng token NVIDIA Blackwell trên mỗi GPU từ mức cơ bản lên đến 20 lần với khả năng phân bổ tài nguyên, song song hóa chuyên gia quy mô lớn (Large EP), NVFP4 và dự đoán đa token (MTP).
Mã nguồn mở khuếch đại lợi thế của tính toàn diện (full-stack).
Nền tảng full-stack đó được khuếch đại bởi hệ sinh thái mã nguồn mở. Nhiều software framework AI và dự án suy luận mã nguồn mở được sử dụng rộng rãi nhất hiện nay được xây dựng nguyên bản trên NVIDIA CUDA, điều đó có nghĩa là các nghiên cứu mới và tối ưu hóa phần mềm hoạt động với hiệu năng hàng đầu trên GPU của NVIDIA ngay từ đầu.
PyTorch là một ví dụ điển hình. Ra mắt năm 2016 với hỗ trợ CUDA gốc, PyTorch đã cùng phát triển với kiến trúc của NVIDIA, cho phép các nhà phát triển tiếp cận những cải tiến như Tensor Cores, Transformer Engine và NVFP4 trực tiếp thông qua một framework quen thuộc.
Khi những đột phá như giải mã dự đoán DFlash, mang lại hiệu suất cao hơn tới 15 lần trên phần cứng hiện có, hoặc FastVideo, tạo ra video 1080p trong chưa đầy năm giây, được tích hợp vào PyTorch, chúng có thể chạy ngay lập tức trên NVIDIA, giúp các nhà máy AI chuyển đổi tiến bộ nghiên cứu thành chi phí token thấp hơn.
Việc hợp tác phát triển giữa NVIDIA và PyTorch giúp mang đến những cải tiến phần mềm AI mới cho các nhà phát triển, góp phần biến những tiến bộ về CUDA thành hiệu năng sản xuất khi PyTorch ngày càng được sử dụng rộng rãi.
Động lực mạnh mẽ từ mã nguồn mở cũng là lý do tại sao khi một mô hình mở tiên tiến như DeepSeek V4 được phát hành, các framework suy luận hàng đầu như vLLM và SGLang đã có sẵn các công thức triển khai ngay từ ngày đầu tiên cho kiến trúc NVIDIA Blackwell — giúp mô hình này có thể truy cập được trên hàng triệu GPU Blackwell. Đó cũng là lý do tại sao hiệu năng của DeepSeek V4 trên Blackwell được cải thiện lên đến 5 lần chỉ trong khoảng một tháng trên các framework vLLM và SGLang , giảm chi phí token xuống còn khoảng một phần năm so với trước đây.
Kết quả SemiAnalysis InferenceX so sánh thông lượng token ở cùng mức độ tương tác cho hệ thống NVIDIA GB200 NVL72 với vLLM và khung suy luận NVIDIA Dynamo.
Đó chính là vòng quay mã nguồn mở: càng nhiều nhà phát triển tối ưu hóa các đường dẫn suy luận thuần CUDA, càng nhiều triển khai sản phẩm càng đóng góp trở lại vào hệ sinh thái và mỗi cải tiến phần mềm sẽ làm tăng sản lượng token được cung cấp đồng thời giảm chi phí trên mỗi token theo thời gian.
Bài viết liên quan