AI agents đã thay đổi cơ bản độ phức tạp của các khối lượng công việc suy luận. Cho đến nay, ngành công nghiệp đã lay hoay để xác định một tiêu chuẩn để đo lường hiệu suất của các hệ thống suy luận trong những điều kiện này.
Bài đăng này giải thích cách AA-AgentPerf thiết lập một tiêu chuẩn mới để đo lường hiệu suất khối lượng công việc của tác nhân (agentic workload performance), và cách thiết kế đồng bộ cực đoan của NVIDIA giúp mang lại hiệu suất mã hóa tác nhân tốt hơn tới 20 lần so với các thế hệ trước.
AA-AgentPerf là gì?
AA-AgentPerf là một bài kiểm tra hiệu năng phần cứng được tạo bởi Artificial Analysis, đo lường số lượng tác nhân AI đồng thời mà một hệ thống suy luận có thể hỗ trợ trong khi đáp ứng các cấp độ mục tiêu mức dịch vụ (SLO) hiệu suất cụ thể theo mô hình đã xác định trước. SLO được định nghĩa là một ngưỡng cụ thể về tốc độ token đầu ra và thời gian đến token đầu tiên (TTFT). Kết quả của bài kiểm tra được chuẩn hóa trên mỗi bộ tăng tốc và trên mỗi megawatt để cho phép so sánh giữa các cấu hình phần cứng.
Hình 1. Bài kiểm tra phần cứng AA-AgentPerf đo lường thông lượng và hiệu quả của việc chạy nhiều tác nhân AI song song
Đo lường hiệu suất lập trình tác nhân đại diện
Tải công việc mang tính tác nhân là độc đáo vì các quyết định do LLM điều khiển thường tạo ra các chuỗi yêu cầu và lời gọi công cụ không xác định. Phần khó nhất của việc đo lường hiệu suất của tác nhân là nắm bắt chính xác tính không xác định này trong một quỹ đạo tác nhân đại diện—chuỗi hành động, quyết định và quan sát hoàn chỉnh được thực hiện bởi một tác nhân khi nó đi qua một nhiệm vụ từ đầu đến cuối (Hình 2).
Hình 2. Quỹ đạo của tác nhân từ yêu cầu của người dùng đến câu trả lời cuối cùng
AA-AgentPerf ghi lại điều này bằng cách đo hiệu suất GPU trên các quỹ đạo mã hóa tác nhân được ghi trước với suy luận xen kẽ và sử dụng công cụ, đồng thời mô phỏng độ trễ giữa các lượt bằng một đường cơ sở đại diện cho hiệu suất gọi công cụ của CPU. Các quỹ đạo này được xây dựng xung quanh việc giải quyết các vấn đề trong các kho lưu trữ mã công khai trên nhiều trường hợp sử dụng, 12+ ngôn ngữ lập trình và phản hồi từ các mô hình tiên tiến. Ngoài việc định nghĩa nghiêm ngặt các quỹ đạo, nhóm Phân tích Nhân tạo còn:
- Độ dài chuỗi đầu vào và đầu ra được lưu vào bộ nhớ đệm của đại diện, dao động từ 5K đến 131K với giá trị trung bình khoảng 27K.
- Các lệnh gọi công cụ được ánh xạ tới các tác vụ phía CPU đại diện trong quy trình làm việc mã hóa tác nhân và mô phỏng các lệnh gọi công cụ trên một phân phối với độ trễ trung vị là một giây. Sau đó, đường cơ sở lệnh gọi công cụ CPU tương tự đã được áp dụng trên tất cả các hệ thống được thử nghiệm.
- Giữ tập kiểm tra riêng tư để ngăn chặn tối ưu hóa nhắm mục tiêu vào điểm chuẩn.
Phương pháp thử nghiệm và đo lường AA-AgentPerf
Hệ thống AA-AgentPerf đo lường số lượng tác nhân đồng thời mà một hệ thống suy luận có thể hỗ trợ trong khi vẫn đáp ứng các yêu cầu SLO (Hình 3). Khi ra mắt, bài kiểm tra này tập trung vào việc kiểm tra DeepSeek-V4-Pro trên nhiều cấp độ SLO được rút ra từ dữ liệu kiểm chuẩn API serverless của Artificial Analysis. Điều này đảm bảo rằng các bài kiểm tra phản ánh các mức chất lượng dịch vụ được quan sát thấy ở các nhà cung cấp sản phẩm hiện nay.
Hình 3. Ngưỡng SLO quy định số lượng người dùng có thể được phục vụ ở tốc độ mục tiêu
Trong quá trình chạy benchmark, AA-AgentPerf gửi hàng nghìn yêu cầu đồng thời đến các GPU được lấy từ tập dữ liệu quỹ đạo tác nhân đã ghi trước của nó. Để đảm bảo kết quả độc lập cho mỗi lần chạy, các tiền tố động được thêm vào đầu mỗi giai đoạn quỹ đạo. Các ngưỡng SLO nghiêm ngặt được thực thi trong suốt quỹ đạo, và mức độ đồng thời cao nhất đáp ứng các yêu cầu đó được ghi lại là kết quả benchmark chính thức cho một SLO nhất định (Hình 3). Quá trình này sau đó được lặp lại trên nhiều cấp độ SLO để nắm bắt các mục tiêu trải nghiệm người dùng khác nhau (Bảng 1).
| Mô hình | Cấp độ SLO | Tốc độ đầu ra P25 (tokens/giây) | TTFT P95 (giây) |
| DeepSeek-V4-Pro | SLO #1 | 30 | 10 |
| SLO #2 | 100 | 5 | |
| SLO #3 | 300 | 3 |
Bảng 1. Các cấp độ SLO và yêu cầu TTFT cho các bài kiểm tra AA-AgentPerf DeepSeek-V4-PRO
Cách diễn giải kết quả AA-AgentPerf
Chỉ số cốt lõi của AA-AgentPerf là công suất thời gian trên megawatt—một chuẩn hóa thực tế để biểu thị hiệu suất quy mô trung tâm dữ liệu. Bảng 2 nêu rõ cách tận dụng hiệu suất được báo cáo để ước tính số lượng phiên tác nhân có thể được hỗ trợ cho một ngân sách điện năng nhất định.
| Benchmark | Giá trị của chỉ số | NVIDIA GB300 NVL72 | NVIDIA H200 |
| Số lượng tác nhân đồng thời trên MW | Hiệu suất năng lượng: Số lượng tác nhân hoạt động mà một hệ thống có thể hỗ trợ cho một ngân sách điện năng nhất định | 61.4K | 2.6K |
| Số lượng tác nhân đồng thời trên mỗi GPU | Hiệu suất phần cứng: Mức dung lượng phục vụ đạt được trên mỗi GPU | 57.5 | 1.4 |
Bảng 2. Cách tận dụng các số liệu do AgentPerf báo cáo để hỗ trợ lập kế hoạch dung lượng cho các trung tâm dữ liệu nhằm hỗ trợ các ứng dụng tác nhân ở quy mô lớn. Các con số phản ánh kết quả AA-AgentPerf cho cấu hình SLO=30
Vào ngày ra mắt, NVIDIA GB300 NVL72 cung cấp tới 20 lần số lượng tác nhân đồng thời trên mỗi megawatt so với thế hệ trước, NVIDIA H200 (Hình 4).
Hình 4. NVIDIA GB300 NVL72 hỗ trợ nhiều tác nhân mã hóa đồng thời hơn nhiều so với H200 trên mỗi megawatt ở cả hai mục tiêu mức dịch vụ 20 và 60 token mỗi giây, đạt được dung lượng tác nhân cao hơn khoảng 20 lần
Hiệu suất này nêu bật cách GB300 NVL72 có thể mang lại hiệu suất trên các khối lượng công việc mã hóa tác tử quy mô lớn, từ việc định tuyến các phiên dài hạn một cách hiệu quả đến việc tận dụng tối đa mixture of experts (MoEs) và GPU trên nhiều phiên tác tử đồng thời.
- SGLang, TensorRT LLM, hoặc vLLM: Các runtime tác tử áp dụng các tối ưu hóa như WideEP và DeepEP để phân tán việc thực thi chuyên gia MoE trên toàn bộ miền NVL72, tối đa hóa kích thước lô hiệu quả và mở rộng hiệu quả lên hàng nghìn tác tử.
- Các tối ưu hóa DeepGEMM và Mega MoE: Các kernel MXFP4/MXFP8 và MoE hợp nhất chồng lấp giao tiếp NVLink với tính toán tensor core để tăng thông lượng token cho suy luận và tạo mã.
- nvlink/" target="_blank" rel="nofollow noopener">NVIDIA NVLink miền mở rộng (scale-up domain): Các liên kết GB300 NVL72 kết nối 72 GPU thành một mạng NVLink băng thông cao duy nhất, do đó mọi GPU đều có thể nhanh chóng chia sẻ các tham số, KV cache và kết quả trung gian—điều này rất quan trọng cho việc thực thi nhanh chóng và phối hợp của các hệ thống mã hóa tác tử (agentic coding systems).
Hướng tới: NVIDIA Vera Rubin platform
AA-AgentPerf thiết lập tiêu chuẩn để đánh giá khả năng suy luận dựa trên tác nhân, và kết quả cho thấy sự tích hợp chặt chẽ giữa phần cứng và phần mềm có thể mở khóa những bước tiến vượt bậc về khả năng xử lý song song và hiệu quả. NVIDIA GB300 NVL72 thể hiện hiệu năng mã hóa dựa trên tác nhân cao hơn tới 20 lần.
Nền tảng NVIDIA Vera Rubin được kỳ vọng sẽ mở rộng những lợi ích này bằng cách tận dụng 50 PFLOPs của phép tính NVFP4 và tận dụng CPU Vera để tăng tốc các lệnh gọi công cụ LLM và cải thiện hiệu suất đầu cuối, kinh tế và hiệu quả cho các quy trình làm việc mang tính tác nhân.
Để tìm hiểu thêm về lý do tại sao các khối lượng công việc mang tính tác nhân (agentic workloads) đặt ra những yêu cầu riêng biệt đối với cơ sở hạ tầng suy luận và cách nền tảng NVIDIA Vera Rubin tối ưu hóa hiệu suất, hãy xem Xây dựng cho sự phức tạp ngày càng tăng của các hệ thống tác nhân với thiết kế đồng thời cực đoan.
Bài viết liên quan
- Hướng dẫn tạo LangChain Deep Agents Harness Profile cho NVIDIA Nemotron-3 Ultra để tối ưu hóa hiệu năng hệ thống Agent
- BioNeMo Agent Toolkit: Khi AI Agent bước vào phòng thí nghiệm số
- Cách các mô hình mở đang định hình và thúc đẩy nghiên cứu AI
- Bảo mật AI bắt nguồn từ phần cứng sẽ không làm bạn chậm lại
- Tăng tốc Tổng hợp BEV trên GPU NVIDIA cho các Ứng dụng AI Vật lý