ggerganov/llama.cpp phát hành phiên bản b12478
Phiên bản b12478 của llama.cpp giới thiệu các cập nhật nhỏ bao gồm từ điển tts_dict cho mẫu kokoro G2P và các hàm xử lý siêu dữ liệu mô hình mới. Bản phát hành này cũng đi kèm với các bản sửa lỗi khác nhau và kiểm tra phạm vi giá trị cho số thực dấu phẩy động. Những cải tiến gia tăng này giúp nâng cao tính linh hoạt và độ ổn định trong việc xử lý siêu dữ liệu của thư viện, mang lại lợi ích cho các nhà phát triển tích hợp các mô hình ngôn ngữ lớn chạy cục bộ. Điều này đảm bảo việc quản lý mẫu mượt mà hơn và thực thi mô hình đáng tin cậy hơn. Bản cập nhật bổ sung các hàm `llama_model_meta_arr_str/_n` để thay thế cách tiếp cận dùng JSON trong siêu dữ liệu trước đây và triển khai tính năng kiểm tra phạm vi value_float_t. Ngoài ra, phiên bản này cung cấp các tệp nhị phân cho nhiều nền tảng bao gồm macOS, Linux, Android và Windows.
## KIẾN THỨC NỀN
Llama.cpp là một thư viện phần mềm mã nguồn mở được thiết kế để thực hiện suy luận hiệu quả trên các mô hình ngôn ngữ lớn như Llama của Meta bằng các đoạn mã C/C++. Được đồng phát triển cùng thư viện tensor GGML, nó đóng vai trò là cốt lõi nền tảng cho nhiều ứng dụng AI cục bộ và công cụ đa nền tảng.