llama.cpp Phát Hành Bản b11560 Bổ Sung Hỗ Trợ IM2COL_3D Cho Qualcomm Hexagon
Bản dựng b11560 của llama.cpp giới thiệu hỗ trợ IM2COL_3D cho phần cứng Qualcomm Hexagon cùng với các tối ưu hóa hiệu suất. Bản cập nhật viết lại thao tác im2col để sử dụng đường ống đệm đôi DMA chuẩn hóa và loại bỏ các phép chuyển đổi dấu phẩy động kém hiệu quả. Bản phát hành này cải thiện khả năng suy luận mô hình ngôn ngữ lớn được tăng tốc phần cứng trên các thiết bị di động và biên chạy chip Qualcomm Snapdragon. Nó mang lại hiệu quả và tốc độ xử lý tốt hơn cho các nhà phát triển chạy khối lượng công việc AI cục bộ trên kiến trúc di động. Bản cập nhật bao gồm các đường dẫn truy cập bộ nhớ trực tiếp (DMA) cho IM2COL_3D, chuyển việc tính toán trước tham số hạt nhân và bố cục bộ nhớ kết hợp chặt chẽ vector (VTCM) sang máy chủ, đồng thời hỗ trợ các chế độ xem không liền kề.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở thực hiện việc suy luận trên các mô hình ngôn ngữ lớn như Llama của Meta bằng cách sử dụng thư viện tensor GGML. Qualcomm Hexagon là một dòng sản phẩm bộ xử lý tín hiệu số (DSP) và đơn vị xử lý thần kinh được tích hợp trong bộ xử lý di động Snapdragon để xử lý các tác vụ tính toán nặng với mức tiêu thụ điện năng thấp.