~/LLAMA CPP/llama-cpp-release-b12373-adds-qualcomm-hexagon-ssm-scan-support

Bản phát hành b12373 của llama.cpp bổ sung hỗ trợ SSM_SCAN cho phần cứng Qualcomm Hexagon

Bản phát hành b12373 của llama.cpp giới thiệu tính năng hỗ trợ phép toán SSM_SCAN trên phần cứng Qualcomm Hexagon. Bản cập nhật này tối ưu hóa các vòng lặp HVX, vector hóa hàm softplus và tích hợp hỗ trợ HMX nhằm nâng cao hiệu suất trên các thiết bị biên Snapdragon. Bản phát hành này nâng cao hiệu suất AI cục bộ và khả năng tăng tốc phần cứng trên các thiết bị di động và thiết bị biên sử dụng bộ vi xử lý Qualcomm Snapdragon. Nó mở rộng phạm vi các kiến trúc mô hình có thể chạy hiệu quả trên các NPU và DSP di động chuyên dụng. Yêu cầu kéo (pull request) tối ưu hóa đường ống DMA để tương thích với các phép toán khác, loại bỏ các đường dẫn dự phòng để ưu tiên sử dụng trực tiếp DMA/VTCM, đồng thời cải thiện thuật toán chia hàng trên nhiều thiết bị. Những thay đổi này nhắm trực tiếp vào các bộ xử lý tín hiệu số và bộ xử lý thần kinh Hexagon của Qualcomm.

## KIẾN THỨC NỀN

Llama.cpp là một thư viện phần mềm mã nguồn mở cho phép suy luận hiệu quả cho các mô hình ngôn ngữ lớn trên phần cứng cục bộ thông qua thư viện tensor GGML. Qualcomm Hexagon là dòng sản phẩm bộ xử lý tín hiệu số và bộ xử lý thần kinh được thiết kế để mang lại hiệu suất cao với mức tiêu thụ điện năng thấp trên các nền tảng di động.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#ai-hardware#qualcomm#edge-ai

$ subscribe --daily