Bản phát hành b11982 của llama.cpp bổ sung hỗ trợ phần cứng Hexagon cho phép toán UPSCALE
Phiên bản b11982 của llama.cpp giới thiệu tính năng hỗ trợ phần cứng Hexagon cho phép toán UPSCALE, được tối ưu hóa đặc biệt cho các kịch bản hình ảnh sang văn bản như qwen3-vl. Bản cập nhật bao gồm các thao tác upscale cơ bản, tối ưu hóa thuật toán phóng đại nearest và bilinear, cùng với các cải tiến về lệnh véc-tơ sử dụng vgather. Bản cập nhật này cải thiện hiệu suất và độ hiệu quả khi chạy các mô hình AI đa phương thức trên các thiết bị di động và thiết bị biên được trang bị bộ xử lý Qualcomm Snapdragon. Nó mở rộng khả năng xử lý các tác vụ thị giác - ngôn ngữ phức tạp trực tiếp trên thiết bị của nhiều loại phần cứng hơn. Yêu cầu kéo (pull request) bổ sung hỗ trợ cho các hàng không liên tục (non-contiguous rows) và thu gọn chiều (dimension collapsing), bên cạnh các bài kiểm tra chuyên biệt cho phép toán UPSCALE đã hoán vị nhằm đảm bảo tính ổn định. Logic lựa chọn kernel cũng được chuyển về phía host để dễ bảo trì và làm sạch mã nguồn hơn.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở thực hiện suy luận trên các mô hình ngôn ngữ lớn bằng ngôn ngữ C và C++, đóng vai trò là công cụ cốt lõi cho nhiều ứng dụng AI chạy cục bộ. Qualcomm Hexagon là bộ xử lý tín hiệu số và đơn vị xử lý thần kinh chuyên dụng có mặt trong các con chip Snapdragon, được thiết kế để tăng tốc hiệu quả các tác vụ xử lý tín hiệu và trí tuệ nhân tạo.