ggerganov/llama.cpp phát hành phiên bản b11558 sửa lỗi OpenCL
Bản phát hành b11558 của llama.cpp mang đến một số bản vá lỗi cho backend OpenCL, bao gồm việc xử lý giới hạn hình ảnh cho các kernel nhị phân dày đặc Q4_K, sửa lỗi phát sóng cho Q4_0 và ngăn chặn nhóm con không hoàn chỉnh trong rms_norm. Các bản sửa lỗi này giúp cải thiện tính ổn định và hiệu năng khi chạy các mô hình ngôn ngữ lớn cục bộ trên phần cứng tăng tốc bằng OpenCL, ngăn chặn tình trạng sự cố hoặc tính toán sai lệch khi xử lý trọng số lượng tử hóa và các phép toán tensor cụ thể. Bản cập nhật cụ thể bổ sung cơ chế dự phòng (fallback) khi các hình ảnh trọng số Q4_K vượt quá giới hạn thiết bị, tinh chỉnh điều kiện cho các kernel nhị phân dày đặc và khắc phục các vấn đề phát sóng cho tensor Q4_0.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến được sử dụng để chạy suy luận trên các mô hình ngôn ngữ lớn cục bộ trên nhiều nền tảng phần cứng khác nhau. OpenCL là một framework mở dùng để viết các chương trình chạy trên các nền tảng dị thể, cho phép tăng tốc phần cứng trên các thiết bị như GPU.