NVIDIA tối ưu hóa tốc độ suy luận của mô hình Kimi K3 tăng gấp 1,68 lần
NVIDIA đã đạt được hiệu suất suy luận nhanh hơn 1,68 lần cho mô hình Kimi K3 có 2.800 tỷ tham số trên phần cứng GB300 NVL72. Thành tựu này được thực hiện thông qua việc tối ưu hóa vLLM thượng nguồn và tích hợp Megakernel quy mô lớn. Bước nhảy vọt về hiệu suất này minh chứng cho việc tích hợp kernel nâng cao và tối ưu hóa phần mềm có thể cải thiện đáng kể hiệu quả phục vụ của các mô hình hàng nghìn tỷ tham số. Điều này nhấn mạnh vai trò ngày càng lớn của việc tạo mã hỗ trợ bởi AI trong việc tối đa hóa năng lực phần cứng cao cấp. Tối ưu hóa này đã đẩy tốc độ suy luận lên tới 423 token/giây/người dùng bằng cách sử dụng Megakernel gồm 12.000 dòng mã được viết bằng Cute DSL dành riêng cho các tác vụ giải mã. Dự án được phát triển bởi Benjamin, một kỹ sư tại NVIDIA CentML.
## KIẾN THỨC NỀN
vLLM là một mã nguồn mở phổ biến chuyên dùng để tối đa hóa thông lượng và hiệu quả bộ nhớ cho các mô hình ngôn ngữ lớn. Việc hợp nhất kernel kết hợp nhiều thao tác GPU thành một bước thực thi duy nhất để giảm thiểu tình trạng nghẽn băng thông bộ nhớ, trong khi CuTe DSL cung cấp các tính năng bố cục và tạo mã nâng cao trong khuôn khổ CUTLASS của NVIDIA.