llama.cpp Phát Hành Phiên Bản b12415 Cùng Bản Vá Lỗi Máy Chủ
Phiên bản llama.cpp b12415 vừa được phát hành, khắc phục lỗi tham số output_config.effort bị bỏ qua một cách không chính xác trong điểm cuối API /v1/messages. Bản cập nhật nhỏ này bao gồm các tệp nhị phân được biên dịch sẵn trên nhiều nền tảng như macOS, Linux và Windows với các phần cứng tăng tốc khác nhau. Bản cập nhật này đảm bảo tính tương thích API và xử lý tham số chính xác cho các ứng dụng giao tiếp với thành phần máy chủ llama.cpp. Việc duy trì hành vi ổn định của điểm cuối là rất quan trọng đối với các nhà phát triển phụ thuộc vào các công cụ suy luận mô hình ngôn ngữ lớn cục bộ. Bản vá nhắm cụ thể vào yêu cầu kéo #32321 trong mô-đun máy chủ, giải quyết vấn đề thuộc tính cấu hình bị bỏ sót. Bản phát hành cung cấp nhiều biến thể bản dựng khác nhau bao gồm các cấu hình CPU, CUDA, Vulkan và OpenVINO.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở thực hiện suy luận hiệu quả trên nhiều mô hình ngôn ngữ lớn khác nhau bằng cách sử dụng thư viện tensor GGML. Thư viện này đóng vai trò là thành phần nền tảng cho nhiều ứng dụng AI cục bộ, cho phép người dùng chạy các mô hình trực tiếp trên phần cứng của chính họ.