Bản phát hành b11703 của llama.cpp bổ sung vector hóa Hexagon HVX cho hàm softplus
Bản phát hành b11703 của llama.cpp giới thiệu tính năng vector hóa Hexagon HVX cho hàm kích hoạt softplus nhằm thay thế các vòng lặp vô hướng bằng các phép toán vector hiệu suất cao. Bản cập nhật này dựa trên các nguyên hàm backend hiện có mà không giới thiệu thêm các phép xấp xỉ số học mới. Cải tiến hiệu suất này giúp nâng cao hiệu quả thực thi trên các phần cứng trang bị bộ xử lý Qualcomm Hexagon, chẳng hạn như thiết bị di động và thiết bị biên sử dụng chip Snapdragon. Điều này góp phần giúp việc chạy suy luận mô hình ngôn ngữ lớn cục bộ trên các kiến trúc phần cứng đa dạng trở nên nhanh chóng và hiệu quả hơn. Phần cài đặt thay thế các vòng lặp vô hướng logf(1.0f + expf(x)) bằng hàm hỗ trợ chung hvx_softplus_f32_aa(). Nó bảo toàn điều kiện bảo vệ x > 20 của tham chiếu vô hướng thông qua một lệnh chọn để tránh các sự cố bão hòa số học đối với các đầu vào lớn.
## KIẾN THỨC NỀN
Qualcomm Hexagon Vector eXtensions (HVX) là bộ đồng xử lý SIMD hiệu suất cao được tích hợp vào các bộ xử lý tín hiệu số Hexagon nhằm tăng tốc các khối lượng công việc song song như thị giác máy tính và học máy. Trong khi đó, llama.cpp là một thư viện mã nguồn mở cho phép suy luận hiệu quả trên CPU và phần cứng tăng tốc cho các mô hình ngôn ngữ lớn.