Tại sao tốc độ suy luận LLM quan trọng hơn trí thông minh đối với AI Agent

Một cuộc thảo luận của các nhà phát triển nhấn mạnh sự đánh đổi giữa khả năng của LLM và tốc độ suy luận, lập luận rằng một khi mô hình đạt mức cơ bản cho các tác vụ agentic, tốc độ sẽ trở thành nút thắt cổ chai chính cho việc thử nghiệm. Tác giả chỉ ra mức hiệu năng mục tiêu là khoảng 500 token mỗi giây (tps) cho giai đoạn prefill và 25 tps cho giai đoạn decode. Trong các quy trình làm việc agentic nơi mô hình phải thực hiện nhiều bước tuần tự và gọi công cụ, tốc độ suy luận chậm có thể khiến việc phát triển và gỡ lỗi trở nên bất khả thi. Việc ưu tiên tốc độ hơn là những cải tiến nhỏ về trí thông minh giúp các nhà phát triển thử nghiệm nhanh hơn và xây dựng các hệ thống tự trị phản hồi nhanh hơn. Tác giả xác định điểm tối ưu trên phần cứng của họ là khoảng 500 tps prefill và 25 tps decode, sẵn sàng chạy các mô hình nhanh hơn nhưng kém thông minh hơn một chút nếu mô hình thông minh hơn không đạt ngưỡng này. Điều này làm nổi bật cách các giới hạn phần cứng ảnh hưởng trực tiếp đến việc lựa chọn LLM trong các ứng dụng agentic thực tế.