Các hệ thống agent biến quá trình suy luận mô hình thành hành động thông qua các quy trình làm việc nhiều bước kết hợp suy luận, sử dụng công cụ, thực thi mã, truy xuất, điều phối và xử lý kết quả. Khi các hệ thống này mở rộng quy mô trong nhà máy AI, hiệu suất không chỉ phụ thuộc vào khả năng tăng tốc GPU mà còn phụ thuộc vào khối lượng công việc CPU diễn ra giữa các bước của mô hình.
Trong suốt quá trình tạo lập và triển khai một hệ thống tác tử, CPU đảm bảo tài nguyên GPU và toàn bộ nhà máy AI mang lại hiệu suất tối ưu. CPU nằm trên đường dẫn quan trọng cho quá trình suy luận, thời gian phản hồi và học tập vì nó thực hiện các công việc giữa các bước của mô hình: đánh giá trong môi trường biệt lập, gọi công cụ, thực thi mã, xử lý dữ liệu, điều phối bộ nhớ đệm KV và xử lý kết quả.
Đối với trí tuệ nhân tạo dựa trên tác nhân tự chủ (agentic AI), một trong những chỉ số CPU quan trọng nhất là hiệu năng duy trì trên mỗi lõi khi socket hoạt động hết công suất. Socket có thể chứa đầy các sandbox, công cụ, mô phỏng, tác vụ điều phối và dịch vụ dữ liệu chạy đồng thời, nhưng mỗi tác nhân hoặc quy trình làm việc của học tăng cường (RL) vẫn phụ thuộc vào các bước tuần tự phải hoàn thành trước khi bước tiếp theo có thể bắt đầu. Nhiều lõi hơn sẽ tăng khả năng song song hóa giữa các quy trình làm việc; các lõi nhanh hơn sẽ quyết định tốc độ tiến triển của mỗi quy trình, tạo mã thông báo, cập nhật mô hình hoặc phục vụ lượt tiếp theo.
Nếu quá trình thực thi phía CPU chậm lại, hệ thống GPU sẽ bị ảnh hưởng theo ba cách chính:
- RL nhận được ít đánh giá hữu ích hơn mỗi chu kỳ, dẫn đến thời gian huấn luyện bị kéo dài.
- Việc phục vụ từng người dùng riêng lẻ sẽ mất nhiều thời gian hơn.
- KV-cache bị loại bỏ, và toàn bộ hệ thống mất đi lợi ích tiết kiệm năng lượng từ ngữ cảnh được lưu trong bộ nhớ cache.
Các phần tiếp theo sẽ trình bày cách NVIDIA Vera giải quyết ba thách thức này và cách thiết kế CPU của NVIDIA Vera tối ưu hóa hiệu năng của toàn bộ hệ thống.
CPU Vera tạo ra các tác nhân thông minh và hiệu quả hơn.
Học tăng cường (RL) thay đổi mô hình tính toán bằng cách giới thiệu một vòng phản hồi tương tác liên tục giữa GPU và CPU. Không giống như huấn luyện AI, nơi dữ liệu chỉ đơn giản được truyền đến các bộ tăng tốc, RL đòi hỏi việc tạo ra dữ liệu kinh nghiệm một cách chủ động. Giai đoạn tạo dữ liệu này, thường được gọi là triển khai môi trường hoặc mô phỏng, phụ thuộc rất nhiều vào quá trình xử lý tuần tự, dựa trên logic.
Hình 1. Vai trò của CPU Vera trên đường dẫn quan trọng của quá trình huấn luyện RL.
Khi bộ xử lý bị kẹt trong các giai đoạn triển khai song song cao này, toàn bộ quy trình huấn luyện sẽ bị ảnh hưởng. Bộ xử lý chậm hơn có nghĩa là ít bước môi trường được hoàn thành mỗi giây hơn, làm giảm chất lượng của các bản cập nhật chính sách của mô hình, được gọi là độ dốc.
Các gradient này đóng vai trò như các chỉ dẫn toán học được gửi đến mạng nơ-ron để cho nó biết chính xác cách cải thiện chính sách của mình. Trong học tăng cường (RL), chúng hoàn toàn dựa vào các tín hiệu huấn luyện, chẳng hạn như phản hồi và phần thưởng được tạo ra bởi các môi trường CPU này. Bởi vì các bài toán khó có độ sâu tuần tự, hiệu năng trên mỗi lõi CPU ảnh hưởng đến số lượng môi trường có thể hoàn thành đánh giá trong cửa sổ huấn luyện. Ví dụ, một CPU cơ bản có thể chỉ hoàn thành 45% số lần đánh giá, khiến GPU phải chờ phản hồi có thể hành động được.
Hình 2. Các lõi CPU Vera nhanh hơn 1,8 lần dẫn đến phản hồi RL tốt hơn.
Với khả năng xử lý đơn luồng tối đa ở quy mô lớn, CPU Vera giải quyết được nút thắt cổ chai này bằng cách tối đa hóa hiệu năng ổn định trên mỗi lõi dưới tải trọng toàn socket. Với các lõi nhanh hơn 1,8 lần, CPU Vera có thể hoàn thành tới 85% các đánh giá trong cùng một khoảng thời gian. Cung cấp phản hồi RL phong phú hơn, CPU Vera mang đến tín hiệu huấn luyện chất lượng cao hơn. Điều này cho phép GPU tính toán các gradient chính xác hơn, tăng tốc thời gian hội tụ và tạo ra các mô hình thông minh hơn.
Sự cải tiến này đạt được nhờ lõi NVIDIA Olympus, được thiết kế cho các tác vụ CPU tuần tự, nặng về phân nhánh, chiếm ưu thế trong học tăng cường (RL) và thực thi tác nhân. Bảng 1 trình bày các tính năng của CPU Vera và ảnh hưởng của chúng đến khối lượng công việc RL.
| Các tính năng của CPU Vera | Tác động của RL |
| Bộ dự đoán nhánh thần kinh | Đảm bảo các quy trình vận hành trơn tru thông qua luồng điều khiển phức tạp bằng Python, trình mô phỏng, logic phần thưởng và các công cụ khác. |
| Đầu giải mã 10-wide | Cung cấp nhiều lệnh hơn để thực thi trong mỗi chu kỳ, cải thiện hiệu suất CPU. |
| Thực thi sai thứ tự nghiêm trọng | Đạt được tiến bộ trong các hoạt động có độ trễ cao, giảm thiểu tình trạng tắc nghẽn trong các tác vụ học tăng cường không đồng đều. |
| Đa luồng không gian NVIDIA | Duy trì hiệu năng cao trên mỗi lõi ngay cả khi mở rộng lên hàng nghìn môi trường song song. |
Bảng 1. Các tính năng chính của CPU Vera giúp cải thiện hiệu năng và khả năng mở rộng của RL
CPU Vera giúp phục vụ nhiều người dùng hơn trên mỗi giờ GPU.
Việc chuyển từ huấn luyện ngoại tuyến sang triển khai tác nhân tương tác trực tiếp sẽ chuyển tiêu chí tối ưu hóa chính từ thông lượng thuần túy sang độ trễ nghiêm ngặt và có thể dự đoán được. Trong môi trường này, tác nhân AI hoạt động tự động để giải quyết các truy vấn phức tạp của người dùng bằng cách thực hiện một chuỗi các hành động.
Mỗi bước trong chuỗi này đều yêu cầu khởi chạy một lệnh gọi công cụ, chạy mã, biên dịch một bài kiểm tra hoặc truy vấn dữ liệu trước khi mô hình có thể tiếp tục.
Hình 3. CPU Vera mang lại phản hồi tác nhân nhanh hơn
Để duy trì khả năng phản hồi này ở quy mô lớn, độ trễ trung bình thấp là chưa đủ. Các tác nhân cần độ trễ có thể dự đoán được khi socket bị quá tải với nhiều sandbox, dịch vụ và tác vụ xử lý dữ liệu đồng thời.
CPU Vera được thiết kế để giảm thiểu độ trễ khi tải, như thể hiện trong Hình 2. CPU Vera tránh được hiện tượng suy giảm hiệu năng thường gặp trong các thiết kế CPU đa chiplet, nơi khối lượng công việc có thể lan rộng giữa các chiplet hoặc các miền con NUMA, bằng cách sử dụng một chip tính toán nguyên khối cho 88 lõi Olympus của nó. Điều này tránh được các bước nhảy phức tạp giữa các lõi trong cùng một chiplet.
Hình 4. CPU Vera cung cấp băng thông cao hơn với độ trễ thấp hơn so với CPU x86.
Kết hợp với bộ nhớ đệm thống nhất dung lượng lớn và công nghệ NVIDIA Scalable Coherency Fabric (SCF), dữ liệu được di chuyển đồng đều hơn trên toàn hệ thống. Việc triển khai có chủ đích, tập trung vào tác nhân này cho phép CPU Vera đạt được độ trễ tải cao nhất thấp hơn 40% so với CPU x86. Kiến trúc mạng có thể dự đoán được này giúp giảm độ trễ đuôi, đảm bảo rằng phản hồi của công cụ luôn đúng theo lịch trình.
Ngoài độ trễ, các tác nhân cần băng thông bộ nhớ khổng lồ. Hàng ngàn môi trường thử nghiệm đồng thời, các lệnh gọi công cụ, các thao tác truy xuất, các truy vấn cơ sở dữ liệu và các tác vụ xử lý dữ liệu phải di chuyển các tập dữ liệu lớn, không đồng nhất trong khi vẫn giữ trạng thái, ngữ cảnh và đầu ra của mỗi tác nhân gần với các lõi xử lý. CPU Vera sử dụng LPDDR5x tiết kiệm năng lượng, cung cấp tổng băng thông bộ nhớ lên đến 1,2 TB/giây và lên đến 14 GB/giây trên mỗi lõi. Điều này gấp hơn 3 lần băng thông bộ nhớ trên mỗi lõi với công suất tiêu thụ chưa bằng một nửa so với các CPU trung tâm dữ liệu truyền thống — giúp các tác nhân duy trì thông lượng khi mọi lõi đều hoạt động.
Kết quả là một hệ thống trí tuệ nhân tạo (AI) phản hồi nhanh nhạy, có khả năng duy trì các thỏa thuận mức dịch vụ (SLA) nghiêm ngặt mà không gặp phải các trở ngại về phần cứng làm ảnh hưởng đến trải nghiệm người dùng.
CPU Vera tối đa hóa khả năng tính toán GPU mỗi phiên.
Trong suy luận dựa trên tác nhân, GPU không hoạt động liên tục trong một lần xử lý duy nhất. Một phiên làm việc có thể bao gồm nhiều bước mô hình được phân tách bởi các lệnh gọi công cụ phía CPU, thực thi mã, truy xuất, truy vấn cơ sở dữ liệu hoặc đánh giá trong môi trường biệt lập. Trong một trung tâm dữ liệu được sử dụng hết công suất, GPU không phải chờ đợi qua những khoảng thời gian gián đoạn đó. Trong khi CPU đang hoạt động, nó tiếp nhận các yêu cầu mới và các ngữ cảnh hoạt động mới. Khi các yêu cầu tích lũy, việc bảo toàn bộ nhớ đệm KV của dấu vết ban đầu trở nên khó khăn hơn.
Hình 5. Các lệnh gọi công cụ chậm có thể gây ra việc xóa bộ nhớ cache và tính toán lại tốn kém.
CPU chậm hơn làm tăng khoảng cách giữa các bước tính toán của GPU. Điều này làm tăng khả năng hệ thống cần phải loại bỏ bộ nhớ đệm KV của yêu cầu ban đầu khỏi bộ nhớ GPU để tạo chỗ cho những người dùng khác có công việc đã sẵn sàng chạy. Khi lệnh gọi công cụ hoàn tất, GPU có thể cần phải xây dựng lại ngữ cảnh trước đó bằng cách xử lý lại chuỗi trước đó dưới dạng một lời nhắc nhập liệu lớn thay vì tiếp tục từ trạng thái được lưu trong bộ nhớ đệm.
Các CPU Vera giúp nén phần xử lý dấu vết phía CPU. Việc thực thi công cụ nhanh hơn, hiệu năng mạnh mẽ hơn trên mỗi lõi khi chịu tải, băng thông bộ nhớ cao và độ trễ có thể dự đoán được giúp giảm thời gian chờ đợi của các tác nhân giữa các bước GPU. Điều này rút ngắn khoảng thời gian mà bộ nhớ đệm KV phải chịu áp lực loại bỏ, giữ cho nhiều ngữ cảnh hoạt động hơn trong HBM và giảm nhu cầu tái tạo các trạng thái trước đó thông qua việc tính toán lại tốn kém.
Kết quả là, phần lớn thời gian của GPU được dành cho việc tạo ra các token hữu ích thay vì xây dựng lại ngữ cảnh, khiến hiệu năng CPU trở thành yếu tố đóng góp trực tiếp vào hiệu quả của GPU trong các hệ thống tác nhân bão hòa.
Thúc đẩy tương lai của các nhà máy AI
CPU Vera kết hợp những khả năng CPU quan trọng nhất cho các nhà máy AI dựa trên tác nhân: hiệu năng ổn định trên mỗi lõi, độ trễ thấp có thể dự đoán được khi chịu tải, băng thông bộ nhớ lớn và khả năng di chuyển dữ liệu hiệu quả ở quy mô lớn. Khi AI dựa trên tác nhân mở rộng quy mô, CPU không còn là cơ sở hạ tầng chạy ngầm nữa. Nó là động lực trực tiếp thúc đẩy thông lượng, khả năng phản hồi và hiệu quả GPU của nhà máy AI. Bằng cách giảm thiểu tình trạng tắc nghẽn, hạn chế tính toán lại và giúp toàn bộ hệ thống duy trì năng suất khi chịu tải, NVIDIA Vera CPU được xây dựng để tối đa hóa hiệu năng trên các nhà máy AI dựa trên tác nhân thế hệ tiếp theo.
Để xem những khả năng này được thể hiện như thế nào trong hiệu năng thực tế, hãy tìm hiểu thêm về Vera CPU , NVIDIA Vera Rubin NVL72 và bài kiểm tra hiệu năng Vera CPU của Phoronix .
Bài viết liên quan