llama.cpp Phát Hành b10852 Bổ Sung ReLU Và Leaky ReLU Cho Backend Hexagon
Dự án llama.cpp đã phát hành phiên bản b10852, bổ sung hỗ trợ cho các phép toán kích hoạt RELU và LEAKY_RELU trong backend Qualcomm Hexagon. Bản phát hành tự động này cũng cập nhật các tệp thực thi biên dịch sẵn trên nhiều hệ điều hành như macOS, Linux, Windows và Android. Mở rộng khả năng hỗ trợ toán tử cho backend Hexagon cho phép nhiều thành phần mạng nơ-ron vận hành trực tiếp hơn trên các bộ tăng tốc phần cứng của Qualcomm. Điều này giúp cải thiện từng bước hiệu suất và khả năng suy luận AI trực tiếp trên các thiết bị di động và thiết bị biên dùng vi xử lý Snapdragon. Bản phát hành nhỏ này tích hợp PR #28585 nhằm triển khai hai phép toán ReLU tiêu chuẩn và Leaky ReLU cho Hexagon DSP. Các tệp biên dịch sẵn được cung cấp cho nhiều nền tảng mục tiêu, mặc dù các bản build macOS ARM64 bật KleidiAI và openEuler vẫn tiếp tục bị tắt trong thẻ phát hành này.
## KIẾN THỨC NỀN
llama.cpp là một khung mã nguồn mở C/C++ phổ biến cho phép suy luận hiệu quả các mô hình ngôn ngữ lớn trên nhiều phần cứng khác nhau, từ CPU đến các backend phần cứng chuyên dụng. Qualcomm Hexagon là kiến trúc Bộ xử lý tín hiệu số (DSP) và NPU tích hợp trong vi xử lý Snapdragon của Qualcomm nhằm tăng tốc tác vụ AI. ReLU và Leaky ReLU là các hàm kích hoạt cốt lõi trong học sâu, trong đó Leaky ReLU duy trì một độ dốc nhỏ khác 0 cho các giá trị đầu vào âm để tránh nơ-ron rơi vào trạng thái ngưng hoạt động.