llama.cpp Phát Hành Bản Dựng b10708 Sửa Lỗi Backend GGML
Dự án llama.cpp đã phát hành bản dựng b10708, mang đến một bản sửa lỗi nhỏ cho cơ chế bảo vệ kích thước cấp phát bộ đệm của backend ggml. Cụ thể, bản phát hành này khắc phục một sự cố trong hàm `ggml_backend_buft_get_alloc_size()`. Vì llama.cpp đóng vai trò là công cụ cốt lõi cho nhiều công cụ suy luận LLM cục bộ như Ollama và LM Studio, nên ngay cả những bản sửa lỗi ổn định nhỏ trong thư viện tensor GGML bên dưới cũng giúp đảm bảo việc cấp phát bộ nhớ đáng tin cậy trong quá trình chạy mô hình. Bản phát hành bao gồm các tệp thực thi được biên dịch sẵn cho nhiều nền tảng khác nhau như macOS, Linux, Windows và Android, hỗ trợ các backend như CUDA, Vulkan, ROCm và OpenVINO. Đáng chú ý, các bản dựng cho macOS Apple Silicon kích hoạt KleidiAI hiện đang bị tắt trong bản phát hành này.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở C/C++ phổ biến được thiết kế để suy luận hiệu quả các mô hình ngôn ngữ lớn trên thiết bị cục bộ. Thư viện này phụ thuộc nhiều vào GGML, một thư viện tensor đa dụng do Georgi Gerganov phát triển, nhằm xử lý các tính toán học máy cấp thấp và quản lý bộ nhớ trên các backend phần cứng khác nhau.