llama.cpp Phát Hành Phiên Bản b11900 Cải Thiện Kiểm Thử Phân Giải Mô Hình
Phiên bản phát hành b11900 của llama.cpp giới thiệu các cải tiến thử nghiệm nhằm ghim chính xác quá trình phân giải mô hình dựa trên bố cục kho lưu trữ thực tế của Hugging Face và các quy ước đặt tên tệp. Nó mở rộng khung kiểm thử phân giải bằng cách tích hợp hàng chục danh sách kho lưu trữ thực tế được thu thập trực tiếp từ API của Hugging Face. Bản cập nhật này đảm bảo tính tương thích mạnh mẽ và thử nghiệm tự động đáng tin cậy khi tải các mô hình lượng tử hóa trực tiếp từ các kho lưu trữ Hugging Face. Các nhà phát triển và công cụ AI cục bộ phụ thuộc vào llama.cpp sẽ được hưởng lợi từ hành vi tải mô hình ổn định và dễ dự đoán hơn. Bản cập nhật tích hợp 63 danh sách kho lưu trữ nguyên bản và 171 danh sách tuân theo quy ước để phát hiện các lỗi phân giải bằng cách xác minh phần tiêu đề tệp. Nó cũng bao gồm các biện pháp xử lý hệ thống tệp để bỏ qua một cách an toàn các đường dẫn chia tách quá dài vượt quá giới hạn độ dài đường dẫn trên Windows.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở thực hiện suy luận nhanh chóng trên các mô hình ngôn ngữ lớn bằng ngôn ngữ C/C++, sử dụng định dạng tệp GGUF để lưu trữ trọng số lượng tử hóa một cách hiệu quả. Hugging Face đóng vai trò là nền tảng chính nơi các nhà phát triển lưu trữ và chia sẻ các điểm kiểm tra mô hình này để triển khai cục bộ.