ggerganov/llama.cpp phát hành phiên bản b12410
Bản phát hành b12410 của llama.cpp giới thiệu bản cập nhật máy chủ giúp tự động xóa bộ nhớ đệm khe cắm (slot cache) khi các cấu hình LoRA toàn cục thay đổi. Cải tiến này giúp khắc phục các vấn đề đồng bộ hóa trong thành phần máy chủ trong quá trình cập nhật cấu hình thời gian chạy. Bản cập nhật này đảm bảo rằng các phiên bản mô hình chạy trên máy chủ llama.cpp không trả về các phản hồi cũ hoặc bị lỗi sau khi trọng số của bộ chuyển đổi (adapter) được sửa đổi. Điều này cải thiện tính ổn định và độ tin cậy cho các môi trường phục vụ LLM cục bộ có sử dụng nhiều tính năng điều chỉnh tham số động. Được theo dõi trong yêu cầu kéo (pull request) #30367, bản phát hành này bao gồm các gói tệp nhị phân được biên dịch sẵn trên nhiều nền tảng và phần cứng khác nhau như macOS, Linux (CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL), Android và Windows.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở cho phép thực thi suy luận hiệu quả trên các mô hình ngôn ngữ lớn bằng cách sử dụng thư viện tensor GGML, đóng vai trò là tiêu chuẩn cốt lõi cho các công cụ AI chạy cục bộ. LoRA (Low-Rank Adaptation) là một kỹ thuật tinh chỉnh hiệu quả về tham số, cho phép điều chỉnh các mô hình lớn đã được huấn luyện sẵn cho các tác vụ cụ thể mà không cần cập nhật toàn bộ tham số của chúng.