ggerganov/llama.cpp Phát Hành Bản Xây Dựng b12135 Hỗ Trợ WebGPU MEAN
Bản phát hành b12135 của llama.cpp giới thiệu tính năng hỗ trợ WebGPU MEAN bên cạnh các gói phân phối nhị phân đa nền tảng tiêu chuẩn cho các hệ điều hành và phần cứng khác nhau. Bản cập nhật này mở rộng khả năng tăng tốc phần cứng cho các tác vụ học máy trên nền web và đa nền tảng bằng cách cải thiện tích hợp WebGPU trong thư viện suy luận phổ biến này. Bản phát hành bao gồm các tệp nhị phân và thư viện biên dịch sẵn cho macOS, Linux, Windows và Android, hỗ trợ các phần cứng như CUDA, Vulkan, OpenVINO, SYCL và Snapdragon.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở chuyên thực hiện suy luận trên các mô hình ngôn ngữ lớn và đóng vai trò là thành phần lõi cho nhiều công cụ AI cục bộ. WebGPU là một tiêu chuẩn API hiện đại giúp các ứng dụng web truy cập hiệu quả vào bộ xử lý đồ họa của hệ thống để đạt hiệu suất cao trong đồ họa và học máy.