ggerganov/llama.cpp Phát Hành Phiên Bản b12292
Dự án llama.cpp đã phát hành phiên bản b12292, mang đến tính năng hỗ trợ WebGPU PAD_REFLECT_1D cùng với các gói nhị phân biên dịch sẵn tiêu chuẩn cho nhiều nền tảng. Bản phát hành này tiếp tục cải thiện từng bước khả năng tăng tốc phần cứng và tính tương thích đa nền tảng cho việc suy luận mô hình ngôn ngữ lớn cục bộ. Bản cập nhật cụ thể bổ sung tính năng hỗ trợ WebGPU PAD_REFLECT_1D thông qua yêu cầu kéo #31877 và bao gồm các thiết lập được tinh gọn cho các bài kiểm tra liên quan.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở cho phép suy luận hiệu quả các mô hình ngôn ngữ lớn trên phần cứng cục bộ bằng sử dụng thư viện tensor GGML. WebGPU là một API tiêu chuẩn web hiện đại, cấp quyền truy cập GPU hiệu năng cao cho các tác vụ đồ họa và học máy trên trình duyệt lẫn môi trường thực thi gốc.