MTP được tích hợp vào ik_llama.cpp, gấp đôi tốc độ suy luận Qwen khi lập trình
PR #2369 đã chính thức hợp nhất tính năng hỗ trợ Dự đoán Đa-Token (Multi-Token Prediction - MTP) cho các mô hình Qwen vào ik_llama.cpp, cho phép đầu MTP 2.6B tự tạo bản thảo cho các token tiếp theo. Sự tích hợp này giúp gấp đôi tốc độ suy luận khi sinh mã nguồn trên các cấu hình cao cấp như RTX 5090 lên 90 token/giây, đồng thời cải thiện hiệu năng trên các GPU tầm trung như RTX 4070 12GB. Cập nhật này mang đến khả năng giải mã suy đoán đa-token trực tiếp vào công cụ suy luận LLM mã nguồn mở phổ biến mà không cần dùng đến các bản fork thử nghiệm hay bản vá bên ngoài. Nhờ cấu trúc mã nguồn có độ dự đoán cao mang lại tỷ lệ chấp nhận bản thảo 93–99%, các nhà phát triển chạy mô hình cục bộ có thể tăng đáng kể hiệu năng cho các trợ lý lập trình. Tốc độ được cải thiện nhờ cơ chế giải mã suy đoán, trong đó các token bản thảo tạo bởi đầu 2.6B được mô hình chính xác thực, bảo đảm kết quả đầu ra giống hệt như khi không dùng MTP. Các hạn chế hiện tại bao gồm việc giới hạn xử lý đơn luồng (-np 1) và tỷ lệ chấp nhận bản thảo thấp hơn (60–65%) đối với văn bản thông thường hoặc chuỗi suy luận.
## KIẾN THỨC NỀN
ik_llama.cpp là một bản fork hiệu năng cao của llama.cpp, tập trung vào các thuật toán lượng hóa tiên tiến và tối ưu hóa suy luận kết hợp CPU/GPU. Dự đoán Đa-Token (Multi-Token Prediction - MTP) là một kỹ thuật kiến trúc cho phép mô hình LLM dự đoán đồng thời nhiều token tương lai thay vì chỉ một token kế tiếp, giúp tăng tốc độ suy luận khi kết hợp với giải mã suy đoán.