Bản phát hành llama.cpp b10075 bổ sung phép toán CLAMP cho Hexagon DSP
Dự án mã nguồn mở llama.cpp đã phát hành phiên bản b10075, giới thiệu phép toán CLAMP dành riêng cho các bộ xử lý tín hiệu số Hexagon DSP. Bản cập nhật này là một bản dựng định kỳ nhỏ, tập trung vào tối ưu hóa cụ thể này. Việc bổ sung hỗ trợ cho phép toán CLAMP trên Hexagon DSP giúp tối ưu hóa khối lượng công việc suy luận AI trên các thiết bị sử dụng bộ vi xử lý Qualcomm Snapdragon. Điều này cho phép thực thi các mô hình ngôn ngữ lớn (LLM) hiệu quả hơn trên các thiết bị biên sử dụng các bộ tăng tốc phần cứng cụ thể này. Bản cập nhật này được theo dõi dưới dạng pull request #25934 và nhắm mục tiêu cụ thể vào kiến trúc Hexagon DSP. Ngoài ra, ghi chú phát hành cho thấy bản dựng hỗ trợ KleidiAI cho macOS Apple Silicon hiện đang bị vô hiệu hóa.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến cho phép suy luận LLM hiệu quả trên nhiều nền tảng phần cứng khác nhau. Hexagon là kiến trúc bộ xử lý tín hiệu số (DSP) do Qualcomm phát triển, được tích hợp vào các hệ thống trên vi mạch (SoC) Snapdragon để tăng tốc các tác vụ như xử lý âm thanh, giọng nói và AI. Phép toán CLAMP thường được sử dụng trong các mạng thần kinh để giới hạn các giá trị trong một phạm vi cụ thể, ngăn chặn các giá trị cực đoan làm mất ổn định các phép tính.