Bản phát hành llama.cpp b11601 bổ sung chế độ nguồn Hexagon HTP của Qualcomm

Phiên bản llama.cpp b11601 giới thiệu các chế độ nguồn Qualcomm Hexagon HTP DCVS và HMX có thể cấu hình thông qua cờ trình chạy --hex-power-mode mới. Bản cập nhật này cho phép người dùng tinh chỉnh quản lý phần cứng và giữ cho Bộ xử lý Tensor Hexagon luôn hoạt động trong các cấu hình điều chỉnh điện áp và tần số động. Bản phát hành này nâng cao hiệu quả triển khai AI biên trên các thiết bị Snapdragon bằng cách cho phép nhà phát triển kiểm soát trực tiếp các cấu hình năng lượng và hiệu suất cho NPU Hexagon. Việc quản lý phần cứng tốt hơn giúp tối ưu hóa mức tiêu thụ điện năng và tốc độ thực thi khi chạy các mô hình ngôn ngữ lớn trên phần cứng di động và nhúng. Cài đặt chế độ nguồn được tích hợp vào tập lệnh run.py thống nhất và thiết lập biến môi trường GGML_HEXAGON_POWER_MODE trước khi khởiinitialize sổ đăng ký phụ trợ Hexagon. Việc thực thi này tránh việc phân tích cú pháp tham số dòng lệnh thông chuẩn vì biến môi trường phải được thiết lập trước khi phụ trợ khởi tạo.