llama.cpp phát hành bản dựng b10184 để giải quyết phản hồi về Multi-Token Prediction
llama.cpp đã phát hành bản dựng b10184, một bản cập nhật nhỏ nhằm giải quyết các phản hồi đánh giá cho tính năng Multi-Token Prediction (MTP) trong pull request "mimo2". Mặc dù đây chỉ là một bản phát hành nhỏ định kỳ, các cập nhật liên tục cho tính năng Multi-Token Prediction giúp tối ưu hóa tốc độ và hiệu suất suy luận LLM trong hệ sinh thái llama.cpp. Bản phát hành này chỉ chứa một commit duy nhất giải quyết phản hồi đánh giá MTP và cung cấp các tệp thực thi được biên dịch sẵn cho nhiều nền tảng bao gồm macOS, Linux, Windows và Android.
## KIẾN THỨC NỀN
llama.cpp là một công cụ suy luận LLM mã nguồn mở phổ biến được thiết kế để chạy các mô hình ngôn ngữ lớn trên phần cứng tiêu dùng với thiết lập tối thiểu. Multi-Token Prediction (MTP) là một kỹ thuật tiên tiến cho phép mô hình dự đoán đồng thời nhiều token tiếp theo, giúp tăng tốc độ suy luận và cải thiện khả năng tạo mã nguồn.