llama.cpp b10693 Hỗ Trợ Phát Hiện Thiết Bị và Cấp Phát Trễ Cho Qualcomm Hexagon NPU
Dự án llama.cpp đã phát hành phiên bản b10693, giới thiệu tính năng phát hiện thiết bị khi chạy và cấp phát phiên trễ cho các bộ xử lý Qualcomm Hexagon NPU. Bản cập nhật này cũng bổ sung khả năng từ chối sớm các thiết bị không tồn tại trong giai đoạn khởi tạo. Bản phát hành này cải thiện hiệu suất sử dụng phần cứng và hiệu quả chạy AI cục bộ trên các thiết bị biên chạy chip Snapdragon. Bằng cách phát hiện động các lõi NPU và chỉ cấp phát phiên khi cần thiết, nó giúp giảm mức tiêu thụ bộ nhớ và thời gian khởi động. Bản cập nhật triển khai các giao diện cấp phát phiên trễ và dọn dẹp cho thiết bị Hexagon, cùng với khả năng phát hiện khi chạy các lõi NPU khả dụng. Nó cũng từ chối sớm các thiết bị không tồn tại trong quá trình khởi tạo để tránh xảy ra lỗi crash khi chạy.
## KIẾN THỨC NỀN
llama.cpp là một dự án mã nguồn mở phổ biến cho phép suy luận các mô hình ngôn ngữ lớn (LLM) hiệu quả trên phần cứng tiêu dùng bằng ngôn ngữ C/C++. Qualcomm Hexagon NPU là các bộ tăng tốc phần cứng chuyên dụng được tích hợp trong bộ vi xử lý Snapdragon, được thiết kế để tăng tốc các tác vụ học máy trên thiết bị di động và máy tính xách tay. Cấp phát trễ (lazy allocation) là một mô hình lập trình trì hoãn việc tạo ra tài nguyên cho đến khi nó thực sự cần thiết, giúp tiết kiệm bộ nhớ hệ thống.