llama.cpp v0.6.0 phát hành với hỗ trợ suy luận đoán nhận MTP

Trình chạy mô hình ngôn ngữ lớn nguồn mở llama.cpp đã chính thức phát hành phiên bản v0.6.0, hỗ trợ kỹ thuật suy luận đoán nhận Dự đoán đa Token (MTP) cho Qwen4Exp cùng nhiều cải tiến hiệu năng khác. Là một trong những công cụ chạy LLM cục bộ phổ biến nhất, việc llama.cpp bổ sung hỗ trợ MTP giúp tăng tốc độ suy luận đáng kể mà không cần đến mô hình nháp riêng biệt. Điều này nâng cao hiệu suất chạy các LLM tiên tiến trên phần cứng cá nhân và môi trường cục bộ. Khác với các phương pháp suy luận đoán nhận truyền thống cần một mô hình phụ bên ngoài để tạo token ứng viên, MTP sử dụng ngay đầu dự đoán đa token tích hợp sẵn của mô hình chính để dự phóng các token tiếp theo và xác minh chúng trong một lượt xử lý duy nhất.