ggerganov/llama.cpp phát hành phiên bản b11765
Bản phát hành b11765 của llama.cpp bao gồm các tối ưu hóa nhỏ cho bộ định tuyến mô hình, cụ thể là loại bỏ các lệnh ghi đè độ chính xác dư thừa trong bộ định tuyến Kolibri-1. Bản phát hành định kỳ này giúp tinh giản các luồng thực thi mô hình và quá trình bảo trì mã nguồn, góp phần nâng cao độ ổn định chung cho các công cụ suy luận LLM cục bộ. Bản cập nhật loại bỏ hai lệnh gọi ggml_prec_set_* vì phép nhân ma trận của bộ định tuyến hoạt động chính xác bằng cách sử dụng độ chính xác mặc định.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở được phát triển bằng C/C++ cho phép thực hiện suy luận cục bộ hiệu quả trên nhiều mô hình ngôn ngữ lớn khác nhau bằng sử dụng thư viện tensor GGML. Nó đóng vai trò là cốt lõi nền tảng cho nhiều ứng dụng AI cục bộ và công cụ suy luận trên nhiều hệ điều hành và nền tảng phần cứng khác nhau.