llama.cpp b10251 Hỗ Trợ Dự Đoán Đa Token Cho GLM-4.7-Flash
Bản phát hành mới nhất của llama.cpp (bản dựng b10251) giới thiệu tính năng hỗ trợ Dự đoán Đa Token (MTP) dành riêng cho mô hình GLM-4.7-Flash. Dự đoán Đa Token cho phép các mô hình tạo ra nhiều token cùng một lúc, giúp cải thiện đáng kể tốc độ và hiệu suất suy luận cho các triển khai gọn nhẹ của GLM-4.7-Flash. Bản cập nhật này được theo dõi trong pull request #24868 và có sẵn trên nhiều bản dựng nhị phân khác nhau cho macOS, Windows, Linux và Android.
## KIẾN THỨC NỀN
llama.cpp là một công cụ suy luận bằng C/C++ được tối ưu hóa cao, thiết kế để chạy các mô hình ngôn ngữ lớn một cách hiệu quả trên phần cứng của người dùng thông thường. GLM-4.7-Flash là một mô hình đa ngôn ngữ gọn nhẹ được tối ưu hóa cho tốc độ và tích hợp công cụ, trong khi Dự đoán Đa Token (MTP) là một kỹ thuật mới giúp tăng tốc độ tạo văn bản bằng cách dự đoán đồng thời nhiều token tiếp theo thay vì chỉ một token.