Bản phát hành b11840 của llama.cpp bổ sung toán tử CEIL cho Hexagon
Bản phát hành b11840 giới thiệu toán tử CEIL cho phần phụ trợ Qualcomm Hexagon ở cả hai biến thể f32 và f16, đi kèm với các gói phân phối nhị phân đa nền tảng toàn diện. Cập nhật này cải thiện khả năng suy luận mô hình ngôn ngữ lớn được tăng tốc phần cứng trên các thiết bị di động và biên Qualcomm Snapdragon, đồng thời mở rộng phạm vi hỗ trợ chức năng cho phần phụ trợ NPU Hexagon. Bản cập nhật triển khai cụ thể toán tử hex-ceil cho các kiểu dữ liệu f32 và f16, đồng thời cập nhật tài liệu về các toán tử được hỗ trợ cho phần phụ trợ Hexagon.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở cho phép suy luận hiệu quả các mô hình ngôn ngữ lớn trên phần cứng cục bộ. Qualcomm Hexagon là bộ xử lý tín hiệu số và kiến trúc đơn vị xử lý thần kinh được thiết kế để mang lại hiệu suất cao cho các phép toán tensor với mức tiêu thụ điện năng thấp trên các thiết bị Snapdragon.