ggerganov/llama.cpp Phát Hành Phiên Bản b11793

Phiên bản b11793 của llama.cpp giới thiệu một bản tối ưu hóa cho quá trình tải từ vựng nhằm cải thiện giai đoạn khởi động của mô hình. Bản cập nhật này cũng bao gồm các cải tiến mã nguồn như bổ sung hàm dự trữ trong gguf_kv_to_str. Các bản tối ưu hóa như thế này giúp giảm độ trễ khởi động khi tải các mô hình ngôn ngữ lớn cục bộ, mang lại trải nghiệm người dùng mượt hơn. Những cải tiến gia tăng này góp phần nâng cao hiệu quả tổng thể khi chạy LLM trên phần cứng phổ thông. Bản cập nhật tập trung chủ yếu vào các thay đổi mã nguồn để tối ưu hóa việc tải từ vựng trong yêu cầu kéo #30679, do Georgi Gerganov và các cộng sự thực hiện. Các gói phần mềm biên dịch sẵn được cung cấp cho nhiều hệ điều hành khác nhau bao gồm macOS, Linux, Android và Windows.