Sự tiến hóa của Trí tuệ Nhân tạo đang chứng kiến một bước ngoặt mang tính hệ hình, chuyển dịch từ các mô hình ngôn ngữ lớn (LLM) phản hồi đơn lẻ, phi trạng thái sang các hệ sinh thái Tác nhân AI (AI Agents) tự trị. Các luồng công việc này yêu cầu hệ thống duy trì ngữ cảnh (context) siêu dài, thực thi suy luận đa tầng, và liên tục tương tác với môi trường bên ngoài theo thời gian thực.
Sự thay đổi về mặt bản chất của khối lượng công việc này tạo ra gánh nặng chưa từng có đối với các hệ thống cơ sở hạ tầng suy luận tĩnh. Để giải bài toán cốt lõi về tính kinh tế của chi phí trên mỗi token (cost/token economics), giới hạn độ trễ và nút thắt thông lượng, một kiến trúc hợp nhất đã được định hình: sự kết hợp giữa NVIDIA NeMo Agent Toolkit ở lớp máy khách (Client) và khung điều phối NVIDIA Dynamo ở lớp máy chủ (Server). Sự đồng thiết kế này đánh dấu quá trình chuyển đổi sang một hạ tầng AI-native thực thụ, biến đổi hoàn toàn cách chúng ta định nghĩa và mở rộng quy mô điện toán AI.
Vấn đề cốt lõi của suy luận nguyên khối và kiến trúc phân tách (Disaggregated inference)
Trong lịch sử phục vụ mô hình ngôn ngữ, quá trình suy luận thường được triển khai theo một đường ống nguyên khối (monolithic). Tuy nhiên, kiến trúc này bộc lộ điểm yếu chí mạng ở cấp độ vi kiến trúc phần cứng khi đối mặt với tải trọng của Tác nhân AI.
Về bản chất điện toán, suy luận Transformer chia thành hai giai đoạn với đặc tính vật lý hoàn toàn trái ngược:
Giai đoạn Prefill (Tiền điền): Phụ thuộc hoàn toàn vào năng lực tính toán cốt lõi (compute-bound). Các lõi Tensor của GPU được vắt kiệt để thực hiện các phép nhân ma trận cường độ cao trên toàn bộ độ dài chuỗi đầu vào nhằm tạo ra Trạng thái Chú ý (KV cache).
Giai đoạn Decode (Giải mã): Phụ thuộc nghiêm trọng vào băng thông bộ nhớ (memory-bandwidth-bound). Từng token được sinh ra tuần tự, đòi hỏi toàn bộ dung lượng KV cache phải được nạp lại từ bộ nhớ HBM vào thanh ghi GPU, trong khi khối lượng tính toán thực tế rất nhỏ.
Khi bị ép chạy đồng thời trên cùng một GPU, một yêu cầu Prefill lớn từ Tác nhân có thể làm bão hòa mảng lõi Tensor, chặn đứng quá trình Decode của các luồng truy vấn song song, tạo ra các “bong bóng tính toán” (compute bubbles) và làm tăng vọt độ trễ giữa các token. Nhận diện được nút thắt này, NVIDIA Dynamo đã đưa ra giải pháp Phân tách Suy luận (Disaggregated Inference). Bằng cách tách biệt triệt để Prefill và Decode lên các nhóm GPU (Worker pools) khác nhau, hệ thống cho phép cấu hình và mở rộng quy mô độc lập dựa trên đặc tính vật lý của vi xử lý.
Tủ mạng (Rack-scale) như một đơn vị điện toán nguyên khối
Khi triển khai hệ thống suy luận ở cấp độ trung tâm dữ liệu, triết lý thiết kế của NVIDIA đang tái định nghĩa ranh giới vật lý của máy tính. Với các nền tảng kiến trúc thế hệ mới như GB200 NVL72 hay Vera Rubin NVL72, chúng ta không còn nhìn nhận GPU như những vi xử lý đơn lẻ.
Thông qua xương sống mạng bằng đồng (copper spine) NVLink tốc độ siêu cao, tủ mạng (rack) giờ đây đóng vai trò như một đơn vị điện toán nguyên khối (unit of compute). Trong miền NVLink khổng lồ này, Dynamo điều phối các cụm Prefill và Decode luân chuyển trạng thái ngang hàng (peer-to-peer) với độ trễ tối thiểu. Cấu trúc liên kết mạng (Topology) và API lập lịch Dynamo’s Grove cho phép các vùng chứa (Pods) của Tác nhân được khởi tạo với tính Ái lực (Affinity) nghiêm ngặt—nằm cùng một không gian máy chủ vật lý hoặc cùng rack với các cụm GPU để tối ưu hóa triệt để độ trễ nội bộ.
AI-Native Infrastructure: Biến KV Cache thành tầng hạ tầng cốt lõi
Các Tác nhân AI không hoạt động tuyến tính; chúng tiến hóa ngữ cảnh qua hàng tá vòng lặp gọi công cụ (tool calling) và lập luận. Thay vì tư duy theo hướng “microservices backend” cũ kỹ, NVIDIA thúc đẩy kiến trúc AI-native infrastructure, trong đó KV cache được nâng cấp trở thành một tầng hạ tầng độc lập.
Sức mạnh của Dynamo nằm ở hệ thống quản lý bộ nhớ đệm và định tuyến thông minh:
Định tuyến nhận thức KV (KV-aware routing): Hệ thống kiểm tra sâu vào trạng thái phân bổ toàn mạng lưới. Khi một truy vấn Tác nhân quay lại, hệ thống ưu tiên các “prefix hits” (Khớp tiền tố), tái sử dụng ngay lập tức khối KV cache đã tính toán.
Phân cấp và di dời bộ nhớ (KV Cache Tiering / Offloading): Nếu một Tác nhân phải thực thi tác vụ tốn thời gian (ví dụ: chờ biên dịch mã nguồn), ngữ cảnh đắt giá này sẽ không bị xóa. Nó được đẩy (offload) từ bộ nhớ HBM siêu tốc xuống bộ nhớ RAM máy chủ (Host memory), hoặc lưu trữ NVMe. Cơ chế này thiết lập một Mạng lưới Bộ nhớ Đệm Phân tán (Distributed Tiered KV Cache), cho phép bảo toàn 100% tài nguyên tính toán khi Tác nhân quay trở lại vòng lặp.
Giao tiếp máy khách thông minh: NeMo Agent Toolkit và Agentic Hints
Sự tối ưu hóa ở tầng máy chủ sẽ bị hạn chế nếu hệ thống “mù” trước mục đích của luồng công việc. Đây là lúc NeMo Agent Toolkit (NAT)—một bộ SDK chuyên biệt—phát huy tác dụng. NAT chèn các siêu dữ liệu gọi là Agentic Hints (Gợi ý cho Tác nhân) vào khối payload gửi đến Dynamo, tạo ra khả năng định tuyến nhận thức tải trọng (workload-aware routing):
Dự đoán OSL (Output Sequence Length): Hệ thống dự đoán trước độ dài chuỗi LLM sắp sinh ra, cho phép Dynamo cấp phát khối VRAM vật lý chính xác ngay từ đầu, ngăn chặn triệt để tình trạng phân mảnh bộ nhớ.
Mức độ ưu tiên và nhạy cảm độ trễ (Latency Sensitivity & Priority): Một Tác nhân chính (Lead Agent) đang tương tác trực tiếp với con người sẽ được cấp lệnh bứt phá hàng đợi để duy trì thời gian phản hồi tức thời. Ngược lại, các tác vụ chạy nền (Background Agents) sẽ bị hạ cấp độ ưu tiên, nhường tài nguyên giải mã đắt tiền cho các quy trình khẩn cấp.
Đột phá thông lượng qua định tuyến xác suất (Probabilistic Routing)
Việc áp dụng các thuật toán định tuyến cổ điển dạng xoay vòng (round-robin) nhanh chóng làm phân mảnh KV cache và làm sụp đổ thông lượng của hệ sinh thái Tác nhân.
Để giải quyết vấn đề này, kiến trúc mới tích hợp cơ chế Định tuyến xác suất dựa trên hàm chi phí (Cost-based Probabilistic Routing) kết hợp kỹ thuật lấy mẫu Softmax (Softmax Sampling). Thuật toán này liên tục cân nhắc (trade-off) giữa “phần thưởng” của việc tái sử dụng KV cache và “chi phí” của tải trọng giải mã hiện tại tại mỗi node GPU. Hệ thống tự động đẩy các luồng công việc có tỷ lệ trùng lặp ngữ cảnh cao vào các node đang bận rộn, từ đó giải phóng hoàn toàn các phân vùng HBM rảnh rỗi cho các truy vấn hoàn toàn mới.
Về mặt hiệu năng, tùy thuộc vào đặc tính tải (độ dài ngữ cảnh tĩnh và tỷ lệ luân chuyển của Tác nhân), kiến trúc phân tách kết hợp định tuyến nhận thức KV có thể mang lại mức tăng thông lượng từ 2x đến hơn 30x so với các hệ thống nguyên khối truyền thống. Đặc biệt, trong các khối lượng công việc nghiên cứu chuyên sâu (như môi trường đánh giá AIQ Blueprint), việc kết hợp các chỉ thị Agentic Hints từ phía máy khách giúp bộ định tuyến tinh chỉnh lịch trình chính xác hơn, mang lại mức cải thiện thêm từ 40% đến 50% thông lượng trên nền tảng của hệ thống đã phân tách.
Sự hội tụ giữa NVIDIA NeMo Agent Toolkit và kiến trúc phân tách suy luận của Dynamo đã bẻ gãy ranh giới vật lý của cơ sở hạ tầng truyền thống. Bằng cách thiết lập tủ mạng thành một đơn vị điện toán đồng nhất, biến bộ nhớ đệm KV thành nền tảng hạ tầng luân chuyển, và sử dụng dữ liệu đo lường máy khách để điều phối định tuyến xác suất, NVIDIA đang thiết lập một tiêu chuẩn công nghiệp mới. Đây là bước tiến bản lề, giải quyết triệt để bài toán chi phí tính toán, mở đường cho kỷ nguyên triển khai Trí thông minh siêu tự trị tại quy mô đám mây.