ggerganov/llama.cpp Phát Hành Phiên Bản b12123 Cập Nhật OpenCL
Phiên bản b12123 của llama.cpp giới thiệu các bổ sung và cải tiến OpenCL dành riêng cho các thao tác DSV4, bao gồm việc thêm các hàm DSV4_HC_PRE và DSV4_HC_POST. Những cập nhật này giúp nâng cao hiệu suất và khả năng tương thích cho các nền tảng phần cứng tận dụng OpenCL để chạy các mô hình ngôn ngữ lớn cục bộ. Bản vá tích hợp các đóng góp từ các nhà phát triển tại Qualcomm nhằm mục đích tăng tốc thiết bị OpenCL thông qua các thao tác xử lý trước và sau được tối ưu hóa.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở cho phép suy luận hiệu quả các mô hình ngôn ngữ lớn trên nhiều kiến trúc phần cứng khác nhau sử dụng thư viện tensor GGML. OpenCL là một khung tiêu chuẩn mở, miễn phí bản quyền, cho phép phần mềm chạy trên các nền tảng tính toán dị thể bao gồm CPU, GPU và các bộ tăng tốc phần cứng khác.