ggerganov/llama.cpp phát hành phiên bản b11919 với các cải tiến OpenCL
Bản phát hành b11919 của llama.cpp giới thiệu một cải tiến về việc lập chỉ mục nhân ma trận OpenCL đi kèm với các tệp nhị phân đa nền tảng thông thường. Bản cập nhật này cải thiện tính ổn định và hiệu suất khi chạy các mô hình ngôn ngữ lớn sử dụng các bộ gia tốc phần cứng được hỗ trợ bởi OpenCL. Bản phát hành bao gồm một bản sửa lỗi cụ thể cho việc lập chỉ mục nhân ma trận OpenCL theo yêu cầu kéo #31170, với sự hỗ trợ từ Codex, bên cạnh các tệp nhị phân biên dịch sẵn tiêu chuẩn trên nhiều hệ điều hành khác nhau.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở cho phép thực thi hiệu quả các mô hình ngôn ngữ lớn trên phần cứng phổ thông thông qua thư viện tensor GGML. OpenCL là một framework tiêu chuẩn mở cho phép phần mềm chạy trên các nền tảng tính toán dị thể bao gồm nhiều loại CPU, GPU và các bộ gia tốc phần cứng khác nhau.