Tối ưu hóa llama.cpp giảm một nửa bộ nhớ Indexer Score cho các mô hình Qwen
Một yêu cầu kéo (pull request #29825) được gộp vào llama.cpp bởi nhà đóng góp ServeurpersoCom đã giảm một nửa lượng VRAM cho indexer score đối với các triển khai kiến trúc Qwen. Tối ưu hóa này giúp giảm trực tiếp mức tiêu thụ bộ nhớ khi chạy các mô hình như Qwen Flash Next trên máy cục bộ. Dung lượng VRAM thường là điểm nghẽn chính khi chạy các mô hình ngôn ngữ lớn cục bộ trên GPU người dùng. Việc giảm mức tiêu thụ bộ nhớ cho phép người dùng có phần cứng hạn chế chạy các biến thể mô hình Qwen mới mượt mà hơn hoặc với cửa sổ ngữ cảnh dài hơn. Bản vá tối ưu hóa việc cấp phát bộ nhớ liên quan đến indexer score trong cờ hỗ trợ Qwen thử nghiệm (`qwen4exp`). Bằng cách giảm một nửa bộ nhớ indexer score bắt buộc, tổng dung lượng VRAM khi chạy thực tế trong quá trình suy luận giảm đáng kể.
## KIẾN THỨC NỀN
llama.cpp là một khung suy luận C/C++ được sử dụng rộng rãi nhằm chạy các LLM lượng hóa một cách hiệu quả trên phần cứng người dùng. Qwen là dòng LLM trọng số mở do Alibaba phát triển, thường xuyên giới thiệu các cập nhật kiến trúc đòi hỏi các thao tác tensor chuyên biệt trong llama.cpp.