llama.cpp Cập Nhật Các Bản Sửa Lỗi và Hỗ Trợ Multi-Token Prediction Cho Họ Mô Hình Qwen
Các nhà đóng góp mã nguồn mở đã gửi nhiều pull request vào llama.cpp để sửa lỗi và nâng cao khả năng hỗ trợ cho các biến thể mô hình Qwen thử nghiệm, bao gồm Qwen Flash. Các PR quan trọng đã hợp nhất và đang phát triển tập trung vào việc cải thiện độ ổn định cũng như tích hợp tính năng Multi-Token Prediction (MTP). Vì Qwen tiếp tục là một trong những họ mô hình LLM mở được sử dụng phổ biến nhất, các cập nhật nhanh chóng trên llama.cpp giúp người dùng AI cục bộ có thể chạy mượt mà các biến thể kiến trúc mới ra mắt trên phần cứng cá nhân. Việc hỗ trợ các tính năng nâng cao như MTP giúp tăng tốc độ suy luận cục bộ mà không cần đến mô hình nháp riêng biệt. Các pull request đã được hợp nhất bao gồm #27978, #28011, #28023, #28123 (bởi ServeurpersoCom) và #28032 (bởi 0cc4m), cùng với công việc đang tiếp tục triển khai cho MTP tại PR #27836 và PR #27941. Người dùng và nhà phát triển đang thử nghiệm các mô hình Qwen Flash mới nhất được khuyên nên biên dịch lại llama.cpp thường xuyên để cập nhật các bản sửa lỗi mới nhất.
## KIẾN THỨC NỀN
llama.cpp là một công cụ suy luận LLM bằng C/C++ mã nguồn mở nhẹ, được tối ưu hóa để chạy cục bộ trên nhiều nền tảng phần cứng khác nhau. Qwen là họ mô hình ngôn ngữ lớn mã nguồn mở hiệu năng cao do Alibaba Cloud phát triển. Multi-Token Prediction (MTP) là một kỹ thuật suy luận trong đó mô hình sử dụng các đầu dự đoán phụ để tạo ra nhiều token trong một lượt xử lý, giúp gia tăng tốc độ sinh văn bản.