~/LLAMA CPP/llama-cpp-release-b12389-improves-opencl-backend-and-fixes-bugs

llama.cpp Phát Hành Phiên Bản b12389 Cải Tiến OpenCL và Sửa Lỗi

Phiên bản b12389 của llama.cpp đã được phát hành với nhiều bản sửa lỗi và cải tiến cho phần phụ trợ OpenCL. Bản cập nhật này giải quyết cụ thể các vấn đề truy cập bộ nhớ ngoài giới hạn, lỗi điều phối hạt nhân và các vấn đề tối ưu hóa trên nhiều thao tác khác nhau. Các bản sửa lỗi này đảm bảo tính ổn định và độ tin cậy cao hơn cho người dùng chạy suy luận mô hình ngôn ngữ lớn bằng các bộ tăng tốc phần cứng được hỗ trợ bởi OpenCL. Nó cải thiện khả năng tương thích tổng thể và độ ổn định hiệu suất cho các GPU và thiết bị được hỗ trợ. Bản cập nhật khắc phục các vấn đề đọc ngoài giới hạn trong các phép toán ma trận-véc-tơ q4_K, sửa lỗi điều phối hạt nhân và ghi ngoài giới hạn đối với f16 swiglu_oai, đồng thời sửa lỗi phát sóng hàng và bước nhảy tensor cho các thao tác sao chép. Ngoài ra, nó xử lý chuẩn hóa nhóm theo lô và ngăn chặn việc làm tròn kép cho bf16 sigmoid.

## KIẾN THỨC NỀN

llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến được thiết kế để thực hiện suy luận hiệu quả trên nhiều mô hình ngôn ngữ lớn khác nhau bằng cách sử dụng thư viện tensor GGML. Phần phụ trợ OpenCL cho phép các mô hình này chạy trên nhiều loại bộ tăng tốc phần cứng khác nhau, bao gồm GPU di động và card đồ họa máy tính để bàn hỗ trợ tiêu chuẩn OpenCL.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#opencl#ai-inference#llm#software-release

$ subscribe --daily