~/LLAMA CPP/llama-cpp-release-b12466-adds-opencl-support-for-f16-and-silu

Phiên bản llama.cpp b12466 bổ sung hỗ trợ OpenCL cho f16 và Silu

Dự án llama.cpp đã phát hành phiên bản b12466, mang đến hỗ trợ backend OpenCL cho các phép toán f16 và silu f32 không liên tục. Những cải tiến này giúp tối ưu hóa việc tính toán cho các bộ tăng tốc phần cứng được hỗ trợ. Bản cập nhật này cải thiện hiệu suất và khả năng tương thích cho những người dùng chạy các mô hình ngôn ngữ lớn trên các backend phần cứng dựa vào OpenCL. Nó đảm bảo quá trình thực thi diễn ra mượt mà và hiệu quả hơn trên nhiều loại bộ xử lý đồ họa và tính toán khác nhau. Pull request (#32319) đã bổ sung cụ thể hỗ trợ cho silu không liên tục và silu f16 dưới framework OpenCL với sự hỗ trợ từ Claude Opus 5.5. Bản phát hành này cũng đóng gói các tệp nhị phân cho nhiều hệ điều hành khác nhau bao gồm macOS, Linux, Android và Windows.

## KIẾN THỨC NỀN

llama.cpp là một thư viện mã nguồn mở cho phép chạy các mô hình ngôn ngữ lớn cục bộ trên nhiều phần cứng khác nhau bằng cách sử dụng thư viện tensor GGML. OpenCL là một tiêu chuẩn mở, miễn phí bản quyền dành cho lập trình song song đa nền tảng trên các bộ xử lý khác nhau có trong máy tính cá nhân, máy chủ và thiết bị di động.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#opencl#ai-hardware#llm

$ subscribe --daily

Phiên bản llama.cpp b12466 bổ sung hỗ trợ OpenCL cho f16 và Silu | Daily News