Bản phát hành b11913 của llama.cpp bổ sung cấu hình Hexagon VTCM

Bản phát hành b11913 của llama.cpp giới thiệu các tùy chọn ghi đè cấu hình kích thước Hexagon VTCM nhằm cải thiện khả năng hỗ trợ phần cứng cho các nền tảng Snapdragon. Bản cập nhật này bổ sung tính năng GGML_HEXAGON_VTCM_SIZE, cho phép các nhà phát triển cấu hình các tham số bộ nhớ đệm gắn chặt vector. Cải tiến này giúp nâng cao hiệu quả chạy các mô hình ngôn ngữ lớn trên thiết bị di động và thiết bị biên sử dụng phần cứng Qualcomm Snapdragon. Nó tối ưu hóa quản lý bộ nhớ trên các NPU Hexagon, từ đó mang lại hiệu suất tốt hơn trong việc suy luận AI trực tiếp trên thiết bị. Bản cập nhật giới thiệu tham số GGML_HEXAGON_VTCM_SIZE dưới dạng tùy chọn ghi đè chấp nhận các hậu tố bộ nhớ chuẩn như K, M và G. Nó cũng loại bỏ giới hạn NTHREADS cũ để quản lý bộ nhớ được hợp lý hóa hơn.