ggerganov/llama.cpp phát hành phiên bản b11875 với các tối ưu hóa DSP Hexagon
Phiên bản b11875 của llama.cpp giới thiệu các tối ưu hóa thu gọn chiều và thay đổi hình dạng tổng quát được thiết kế riêng cho các phép toán đơn nguyên, nhị phân và nhân ma trận trên Hexagon của Qualcomm. Bản phát hành này cũng bổ sung hỗ trợ tùy chọn --compare trong tập lệnh tiện ích profile.py. Những cải tiến dành riêng cho phần cứng này giúp nâng cao hiệu suất thực thi các mô hình ngôn ngữ lớn trên các thiết bị biên chạy bằng bộ xử lý Qualcomm Snapdragon. Bản cập nhật này mang lại lợi ích cho các nhà phát triển ứng dụng di động và thiết bị nhúng nhằm đạt hiệu suất AI cục bộ tốt hơn. Bản cập nhật tinh chỉnh logic thu gọn để thực hiện việc chia tách khi số lượng hàng nhỏ, đồng thời xử lý toàn bộ việc thu gọn chiều ở cấp độ máy chủ và loại bỏ các hàm trợ giúp đơn nguyên lỗi thời.
## KIẾN THỨC NỀN
Llama.cpp là một thư viện mã nguồn mở cho phép suy luận hiệu quả cho các mô hình ngôn ngữ lớn như Llama bằng ngôn ngữ C/C++. Qualcomm Hexagon là một kiến trúc bộ xử lý tín hiệu số chuyên dụng được tích hợp trong các hệ thống trên chip Snapdragon nhằm tăng tốc các khối lượng công việc toán học và AI phức tạp.