ggerganov/llama.cpp phát hành phiên bản b11874 với các tối ưu hóa OpenCL
Phiên bản b11874 của llama.cpp giới thiệu các tối ưu hóa OpenCL mới, bao gồm các nhân topk được tối ưu hóa và bộ chỉ mục lightning dạng dấu phẩy động. Các bản cập nhật này giúp cải thiện hiệu suất và khả năng tận dụng phần cứng cho các thiết bị sử dụng phần phụ trợ OpenCL trong quá trình suy luận mô hình ngôn ngữ lớn cục bộ. Yêu cầu kéo này cụ thể bổ sung, tối ưu hóa và cấu trúc lại các nhân topk dạng ô cùng với bộ chỉ mục lightning dấu phẩy động mới cho OpenCL.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở được thiết kế để chạy suy luận hiệu quả trên các mô hình ngôn ngữ lớn khác nhau bằng ngôn ngữ C/C++. OpenCL là một tiêu chuẩn mở, miễn phí bản quyền dành cho lập trình song song đa nền tảng trên các bộ tăng tốc phần cứng đa dạng như GPU và CPU.