Lập trình viên đẩy tốc độ suy luận LLM 27B lên 2.000 token/giây trên RTX 3090
Lập trình viên /u/iamMess đã phát hành các tối ưu hóa CUDA tùy chỉnh cho việc suy luận mô hình Qwen 27B trên một GPU RTX 3090 tiêu dùng, đạt tốc độ prefill gần 2.000 token/giây và decode 132 token/giây. Mức tăng hiệu năng này dựa vào một kernel INT8 tùy chỉnh giúp gia tốc đáng kể giai đoạn prefill câu lệnh trong khi vẫn giữ nguyên chất lượng đầu ra. Việc đạt được băng thông xử lý cấp doanh nghiệp trên mô hình 27 tỷ tham số chỉ bằng một GPU tiêu dùng giúp việc tự triển khai LLM cục bộ trở nên nhanh và thực tế hơn nhiều cho các nhà phát triển cá nhân. Điều này cho thấy các kỹ thuật lượng hóa cấp thấp và suy luận dự đoán có thể mở rộng giới hạn của phần cứng AI tiêu dùng đến mức nào. Kernel INT8 tùy chỉnh của nhà phát triển đạt độ tương đồng 0,99997 so với tính toán số thực FP32, khiến sự suy giảm chất lượng gần như không thể nhận biết. Mã nguồn và bộ kiểm thử chuẩn cho các tối ưu hóa này đã được công khai trên GitHub.
## KIẾN THỨC NỀN
Suy luận LLM gồm hai giai đoạn: prefill (nơi toàn bộ câu lệnh đầu vào được xử lý song song) và decode (nơi các token mới được tạo ra tuần tự từng từ một). Suy luận dự đoán (speculative decoding) giúp tăng tốc giai đoạn decode bằng cách dùng một mô hình nháp nhỏ hơn để đề xuất token, sau đó mô hình chính lớn hơn sẽ xác thực tất cả song song.