~/LLAMA CPP/llama-cpp-release-b12403-adds-qualcomm-hexagon-hvx-kernel

llama.cpp Phát Hành Bản b12403 Bổ Sung Kernel Qualcomm Hexagon HVX

Phiên bản phát hành b12403 của llama.cpp giới thiệu một kernel Hexagon HVX mới được thiết kế đặc biệt cho nhúng bước thời gian (timestep embeddings). Bản cập nhật này mang lại các cải tiến về hiệu suất và các trường hợp thử nghiệm bao gồm WAN2.2 trên phần cứng Qualcomm. Tối ưu hóa này nâng cao năng lực suy luận trí tuệ nhân tạo biên trên các thiết bị di động và nhúng chạy bằng bộ vi xử lý Qualcomm Snapdragon. Nó cho phép thực thi các tác vụ máy học một cách hiệu quả hơn trực tiếp trên phần cứng cục bộ. Yêu cầu kéo này bổ sung các thao tác DMA, cải thiện các tham số kernel, phân chia công việc và theo dõi cho phần phụ trợ Hexagon. Nó cũng nới lỏng các cổng thành các hàng liên tục để đảm bảo tính năng hoạt động chính xác.

## KIẾN THỨC NỀN

Qualcomm Hexagon là một dòng bộ xử lý tín hiệu số (DSP) và bộ xử lý thần kinh (NPU) được tích hợp sẵn trong các hệ thống trên vi mạch Snapdragon để tăng tốc hiệu quả các tác vụ đa phương tiện và trí tuệ nhân tạo. llama.cpp là một framework phần mềm mã nguồn mở được thiết kế để chạy các mô hình ngôn ngữ lớn cục bộ trên nhiều nền tảng phần cứng phổ thông khác nhau với mức tiêu thụ tài nguyên tối thiểu.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#llm#hardware acceleration#qualcomm#edge ai

$ subscribe --daily