llama.cpp b10094 Tự Động Suy Luận Kiểu Giải Mã Đầu Cơ
Phiên bản llama.cpp b10094 giới thiệu tính năng tự động suy luận kiểu giải mã đầu cơ (speculative decoding) từ các sidecar của kho lưu trữ nháp (draft repository). Điều này cho phép người dùng chạy giải mã đầu cơ mà không cần chỉ định thủ công cờ --spec-type khi sử dụng các kho lưu trữ nháp chứa các sidecar như mtp, dflash, hoặc eagle3. Bản cập nhật này đơn giản hóa giao diện dòng lệnh và cải thiện trải nghiệm người dùng bằng cách giảm bớt các cấu hình phức tạp cho giải mã đầu cơ, một kỹ thuật quan trọng giúp tăng tốc độ suy luận của LLM. Cơ chế suy luận ưu tiên các sidecar theo thứ tự mtp > dflash > eagle3. Việc cung cấp rõ ràng cờ --spec-type sẽ vô hiệu hóa tính năng tự động suy luận này, và các kho lưu trữ nháp không có sidecar sẽ tiếp tục được xử lý như một mô hình đầy đủ.
## KIẾN THỨC NỀN
Giải mã đầu cơ (speculative decoding) là một kỹ thuật tối ưu hóa giúp tăng tốc độ suy luận của LLM bằng cách sử dụng một mô hình "nháp" (draft) nhỏ hơn và nhanh hơn để tạo ra các token dự kiến, sau đó được xác thực song song bởi một mô hình "mục tiêu" (target) lớn hơn. Các dự án như llama.cpp hỗ trợ nhiều triển khai giải mã đầu cơ khác nhau, chẳng hạn như EAGLE, để đạt được tốc độ xử lý nhanh hơn đáng kể mà không làm giảm chất lượng đầu ra.