llama.cpp b10828 Bổ Sung Hỗ Trợ Kiến Trúc Mô Hình Spark2_5ForCausalLM
Phiên bản llama.cpp build b10828 vừa bổ sung hỗ trợ gốc cho kiến trúc mô hình Spark2_5ForCausalLM thông qua Pull Request #27868. Cập nhật này bao gồm tập lệnh chuyển đổi sang định dạng GGUF, đăng ký kiến trúc và ánh xạ tensor cho các mô hình Spark 2.5. Cập nhật này cho phép các nhà phát triển và nghiên cứu chạy cục bộ các mô hình thuộc dòng Spark 2.5 trên nhiều nền tảng phần cứng bằng môi trường thực thi C/C++ nhẹ của llama.cpp. Việc liên tục mở rộng hỗ trợ các kiến trúc mới giúp llama.cpp duy trì vị thế là công cụ suy luận hàng đầu cho các LLM mã nguồn mở mới ra mắt. Pull request này được đồng tác giả bởi các nhà đóng góp từ Hugging Face, ban đầu triển khai hỗ trợ dưới tên gọi 'spark3' trước khi đổi tên thành 'spark2_5'. Các bản biên dịch sẵn (binary) cho b10828 hiện có sẵn cho macOS, Windows, Linux, Android và iOS cùng với các backend như CUDA, Vulkan, SYCL, OpenVINO và ROCm.
## KIẾN THỨC NỀN
llama.cpp là một khung suy luận LLM mã nguồn mở hiệu năng cao được viết bằng C và C++, cho phép các mô hình ngôn ngữ chạy cục bộ trên phần cứng thương mại. Để hỗ trợ một họ mô hình mới, llama.cpp cần các triển khai tầng C++ cụ thể và công cụ chuyển đổi để dịch trọng số mô hình từ Hugging Face sang định dạng nhị phân GGUF lượng hóa của nó.