ggerganov/llama.cpp phát hành phiên bản b11908
Phiên bản llama.cpp b11908 giới thiệu đợt tái cấu trúc mã nguồn nội bộ bằng cách chuyển thuộc tính no_alloc ra khỏi llama_hparams, đồng thời cung cấp các gói nhị phân được xây dựng sẵn tiêu chuẩn cho nhiều nền tảng khác nhau. Bản phát hành điểm định kỳ này giúp cải thiện cấu trúc mã nguồn nội bộ và khả năng bảo trì của llama.cpp, dự án đóng vai trò là côngengine suy luận lõi cho nhiều công cụ mô hình ngôn ngữ lớn chạy cục bộ. Bản cập nhật bao gồm thay đổi mã nguồn cụ thể theo yêu cầu kéo #31141 nhằm tách no_alloc khỏi llama_hparams, đi kèm với các trường hợp kiểm thử mới được bổ sung vào test-llama-context.
## KIẾN THỨC NỀN
Llama.cpp là một thư viện phần mềm mã nguồn mở do Georgi Gerganov phát triển, thực hiện suy luận hiệu quả trên nhiều mô hình ngôn ngữ lớn khác nhau như Llama của Meta. Thư viện này được đồng phát triển cùng với thư viện tensor GGML và đóng vai trò là nền tảng cốt lõi cho các công cụ AI cục bộ phổ biến như Ollama và LM Studio.