Tốc độ giải mã LLM cục bộ cực nhanh khiến nút thắt hiệu năng chuyển sang CPU
Một nhà phát triển đang tối ưu hóa động cơ suy luận LLM cục bộ trên Nvidia RTX 5090 đã đạt tốc độ giải mã khoảng 700 token/giây trên 12 khe máy chủ, nhưng phát hiện ra việc xử lý gọi công cụ (tool call) trên CPU mới là nút thắt hiệu năng chính. Khi chạy 25 tác tử AI đồng thời, CPU AMD Ryzen 7 9800X3D bị chiếm dụng 100% trên tất cả các luồng trong khi GPU vẫn rảnh rỗi. Khi các GPU thế hệ mới tăng tốc đáng kể giai đoạn nạp trước (prefill) và giải mã (decode) của LLM, nút thắt hệ thống đang chuyển từ băng thông VRAM và năng lực tính toán GPU sang các tác vụ CPU và I/O truyền thống. Điều này cho thấy việc mở rộng các quy trình lập trình đa tác tử phức tạp đòi hỏi cấu hình phần cứng cân bằng thay vì chỉ dựa vào sức mạnh GPU. Nhờ tái sử dụng bộ nhớ đệm nạp trước (prefill cache) cho các tác vụ chung ngữ cảnh ban đầu và tinh chỉnh câu lệnh để gửi ít tác vụ gọn gàng hơn (giảm từ 20.000 xuống 7.000 câu lệnh), thời gian chạy tổng thể đã giảm từ 43 phút xuống 18 phút. Tác giả cũng nhận thấy việc duy trì số lượng tác tử nhiều hơn số khe máy chủ sẵn có giúp lấp đầy các khoảng dừng do gọi công cụ và kiểm thử trên CPU.
## KIẾN THỨC NỀN
Suy luận LLM bao gồm giai đoạn nạp trước (prefill), nơi câu lệnh đầu vào được xử lý song song để xây dựng bộ nhớ đệm KV, và giai đoạn giải mã (decode), nơi các token được tạo ra tuần tự. Trong các quy trình làm việc dựa trên tác tử AI (agentic AI), mô hình dựa vào tính năng gọi công cụ (tool calling hoặc function calling) để thực thi mã bên ngoài, chạy kiểm thử hoặc truy vấn hệ thống. Khi tốc độ giải mã của GPU đủ nhanh, việc thực thi các công cụ bên ngoài phụ thuộc vào CPU sẽ trở thành yếu tố giới hạn tốc độ trong môi trường đa tác tử.