ggerganov/llama.cpp phát hành phiên bản b11574 với các tối ưu hóa Hexagon DSP

Phiên bản b11574 của llama.cpp giới thiệu các tối ưu hóa hiệu suất cho các thao tác sao chép và nối tensor trên Qualcomm Hexagon DSP. Bản cập nhật này tập trung vào việc cải thiện xử lý các hàng ngắn và giảm độ trễ DMA cho các thiết bị biên. Những tối ưu hóa này cải thiện đáng kể hiệu suất và hiệu năng suy luận AI trên thiết bị của phần cứng Qualcomm. Điều này mang lại lợi ích cho hệ sinh thái triển khai trên thiết bị di động và biên, nơi mức tiêu thụ điện năng và tốc độ xử lý là các ràng buộc cốt lõi. Bản cập nhật tích hợp bộ trợ giúp thu thập hàng DMA và HVX đa luồng, mở cuộn các vòng lặp thu thập hàng, đồng thời bổ sung đường dẫn nhanh cho các kiểu dữ liệu f16. Nó cũng khắc phục các sự cố treo ngẫu nhiên trong các thiết lập mdev bằng cách làm cho trạng thái đồng bộ vtcm_acquire trở thành nguyên tử (atomic).