ggerganov/llama.cpp Phát Hành Phiên Bản b12255
Phiên bản b12255 của llama.cpp giới thiệu các bản vá lỗi nhỏ, cụ thể là ngừng việc đổi tên các tensor bộ đệm tái phát (recurrent cache tensors) trong plamo2. Bản cập nhật này đảm bảo tính ổn định và khả năng tương thích cho các nhà phát triển đang sử dụng các kiến trúc mô hình cụ thể trong hệ sinh thái. Bản phát hành bao gồm các tệp nhị phân được biên dịch sẵn trên nhiều nền tảng và phần cứng hỗ trợ khác nhau như CUDA, Vulkan và macOS Metal.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở cho phép suy luận LLM hiệu quả bằng ngôn ngữ C/C++, đóng vai trò là nền tảng cốt lõi cho nhiều công cụ AI chạy cục bộ. Thư viện này được đồng phát triển cùng với GGML, một thư viện tensor đa năng được thiết kế cho các tác vụ học máy.