llama.cpp Phiên Bản b10772 Bổ Sung Phép Toán Một Ngôi F16 ABS Cho Backend Qualcomm Hexagon
Phiên bản b10772 của llama.cpp bổ sung hỗ trợ phép toán một ngôi giá trị tuyệt đối (ABS) dùng kiểu dữ liệu dấu phẩy động nửa chính xác (F16) cho backend Qualcomm Hexagon HTP. Bản cập nhật này tái cấu trúc backend để gộp logic phân phối phép toán một ngôi F32 và F16 thành một hàm duy nhất, đồng thời vượt qua toàn bộ các thử nghiệm xác minh trực tiếp trên phần cứng Hexagon v81. Việc mở rộng khả năng hỗ trợ toán tử F16 trên DSP Qualcomm Hexagon cho phép llama.cpp thực thi nhiều lớp mạng thần kinh hơn trực tiếp trên bộ tăng tốc phần cứng di động. Điều này giúp giảm bớt việc phải chuyển giao xử lý về CPU (fallback), từ đó cải thiện hiệu năng suy luận và tiết kiệm năng lượng trên các thiết bị chạy chip Snapdragon. Bản cập nhật hợp nhất các luồng thực thi một ngôi F32 và F16 riêng biệt thành một hàm execute_op_unary duy nhất, tránh việc lặp lại mã nguồn trong quản lý bộ nhớ VTCM và DMA dùng chung. Quá trình xác minh phần cứng đã hoàn tất trên thiết bị QRD8850 (Hexagon v81), đạt 8/8 bài kiểm tra cho toán tử F16 ABS mà không cần chuyển về CPU.
## KIẾN THỨC NỀN
llama.cpp là một thư viện C/C++ hiệu năng cao giúp chạy các mô hình ngôn ngữ lớn (LLM) cục bộ trên nhiều kiến trúc phần cứng khác nhau. Qualcomm Hexagon là kiến trúc bộ xử lý tín hiệu số (DSP) trong các vi xử lý Snapdragon, sở hữu các nhân Hexagon Tensor Processor (HTP) và Hexagon Vector eXtensions (HVX) nhằm tăng tốc các tác vụ máy học. Phép toán một ngôi (unary operations), chẳng hạn như lấy giá trị tuyệt đối (ABS) hay căn bậc hai (SQRT), là các phép toán nhận một tensor đầu vào và áp dụng biến đổi toán học trên từng phần tử.