~/LLAMA CPP/ggerganov-llama-cpp-released-build-b12469-with-metal-conv-2d-support

ggerganov/llama.cpp Phát Hành Bản Build b12469 Hỗ Trợ CONV_2D Trên Metal

Bản phát hành llama.cpp b12469 giới thiệu một nhân GEMM ẩn cho các phép toán CONV_2D trên framework Metal của Apple, đi kèm với các bản phân phối nhị phân đa nền tảng tiêu chuẩn cho các phần cứng khác nhau. Tối ưu hóa này cải thiện hiệu suất thực thi của các phép tích chập 2D trên GPU Apple Silicon, mang lại lợi ích cho các mô hình đa phương thức và mô hình ngôn ngữ thị giác (VLM) xử lý dữ liệu hình ảnh. Bản cập nhật bao gồm các tệp nhị phân được biên dịch sẵn cho macOS, Linux, Windows và Android, hỗ trợ nhiều backend đa dạng như CUDA, Vulkan, OpenVINO và SYCL bên cạnh cải tiến Metal mới.

## KIẾN THỨC NỀN

llama.cpp là một thư viện C/C++ phổ biến được thiết kế để chạy suy luận mô hình ngôn ngữ lớn và mô hình ngôn ngữ thị giác tại chỗ với hiệu suất cao và thiết lập tối thiểu. Framework Metal là API đồ họa và tính toán tăng tốc phần cứng có hiệu suất cao, độ trễ thấp của Apple dành cho các thiết bị macOS và iOS.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#machine-learning#ai-infrastructure#apple-silicon

$ subscribe --daily

ggerganov/llama.cpp Phát Hành Bản Build b12469 Hỗ Trợ CONV_2D Trên Metal | Daily News