ggerganov/llama.cpp Phát Hành Phiên Bản b12179 Cải Tiến Hexagon DSP
Phiên bản b12179 của llama.cpp giới thiệu các tối ưu hóa quan trọng cho phép toán tích chập 2D và bổ sung hỗ trợ đầy đủ cho tích chập 3D trên phần cứng Qualcomm Hexagon DSP. Bản cập nhật này tổng quát hóa đường dẫn tính toán GEMM ẩn lát cắt HMX hiện có và chuyển các phép tính chia sang máy chủ để tránh rủi ro chia cho không trên thiết bị. Những cải tiến dành riêng cho phần cứng này giúp nâng cao hiệu suất của các tác vụ máy học trên các thiết bị biên chạy bằng bộ vi xử lý Qualcomm. Các nhà phát triển hướng tới phần cứng di động và Internet vạn vật (IoT) có thể kỳ vọng hiệu năng tốt hơn khi chạy các mô hình đa phương thức hoặc thị giác phức tạp. Bản cập nhật tích hợp thao tác HTP_OP_CONV_3D mới thông qua htp-ops.h và htp-kparams.cpp đồng thời ngăn chặn khả năng tràn hàng đợi DMA 256 mục. Ngoài ra, nó cải thiện việc lựa chọn kích thước lát cắt bằng cách tối đa hóa các khối kênh đầu ra và khớp dung lượng phân đoạn không gian với việc sử dụng VTCM.
## KIẾN THỨC NỀN
Qualcomm Hexagon là dòng bộ xử lý tín hiệu số (DSP) và đơn vị xử lý thần kinh (NPU) tích hợp trên các nền tảng Snapdragon để xử lý các tác vụ đa phương thức và máy học tiêu thụ điện năng thấp. Implicit GEMM là một kỹ thuật tích chập giúp biến đổi các phép tích chập không gian thành các phép nhân ma trận tổng quát trực tiếp trên các tensor đầu vào và trọng số, loại bỏ sự cần thiết phải sắp xếp lại dữ liệu một cách rõ ràng trong bộ nhớ.