~/LLAMA CPP/ggerganov-llama-cpp-released-b12200-with-opencl-updates

ggerganov/llama.cpp phát hành phiên bản b12200 với các bản cập nhật OpenCL

Phiên bản llama.cpp b12200 mang đến các cải tiến hiệu suất OpenCL cho các mô hình lượng tử hóa q8_0 và xác thực mô hình hỗn hợp chuyên gia (MoE) kích thước nhỏ. Bản phát hành này cũng bổ sung các tối ưu hóa kernel GPU Adreno và các quy trình nhân ma trận chuyên biệt. Các bản cập nhật này nâng cao khả năng tăng tốc phần cứng cục bộ cho các thiết bị sử dụng đồ họa OpenCL và Adreno, giúp việc thực thi các mô hình ngôn ngữ lớn lượng tử hóa trở nên hiệu quả hơn. Điều này cải thiện hiệu suất tổng thể cho người dùng chạy các kiến trúc AI hiện đại trên các dòng chip di động và máy tính được hỗ trợ. Bản cập nhật bao gồm các kernel mới như kernel_gemv_noshuffle_q8_0_f32_mc và các cài đặt MoE GEMV kích thước nhỏ cho các định dạng lượng tử q5_1 và q4_k. Quá trình đóng góp mã nguồn có sự hỗ trợ của Claude Opus 5.5 và các kỹ sư đồng tác giả từ Qualcomm.

## KIẾN THỨC NỀN

llama.cpp là một thư viện mã nguồn mở phổ biến cho phép thực thi hiệu quả các mô hình ngôn ngữ lớn trên thiết bị cục bộ thông qua các tensor GGML. Kỹ thuật lượng tử hóa giúp nén mô hình bằng cách giảm độ chính xác của trọng số để tiết kiệm bộ nhớ, trong khi Mô hình hỗn hợp chuyên gia (MoE) là kiến trúc định tuyến các tác vụ đến các mạng con cụ thể để thúc đẩy hiệu suất.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#OpenCL#AI Hardware#LLM Quantization

$ subscribe --daily