~/LLAMA CPP/ggerganov-llama-cpp-released-b12441-with-webgpu-fixes

ggerganov/llama.cpp phát hành phiên bản b12441 sửa lỗi WebGPU

Phiên bản b12441 của llama.cpp khắc phục các sự cố về lập chỉ mục mặt nạ flash attention trên WebGPU và tính toán bộ nhớ chia sẻ. Bản cập nhật đảm bảo mặt nạ flash attention cho từng đầu (per-head) tính đúng kích thước đầu và giải quyết tình trạng vượt quá giới hạn lưu trữ nhóm công việc. Bản phát hành này cải thiện độ ổn định và chính xác khi chạy các mô hình ngôn ngữ lớn sử dụng tính năng tăng tốc WebGPU. Các nhà phát triển và người dùng dựa vào nền tảng WebGPU sẽ gặp ít lỗi tính toán bộ nhớ hơn và nhận được kết quả mô hình chính xác hơn. Bộ đệm tham số đã được mở rộng lên 256 byte để chứa hai trường mặt nạ mới. Ngoài ra, ước tính bộ nhớ chia sẻ đã được điều chỉnh để ngăn chặn việc các cấu hình K f16 và V q8_0 vượt quá giới hạn lưu trữ nhóm công việc của phần cứng.

## KIẾN THỨC NỀN

Llama.cpp là một thư viện mã nguồn mở cho phép suy luận hiệu quả cho các mô hình ngôn ngữ lớn như Llama của Meta bằng ngôn ngữ C/C++. WebGPU là một API đồ họa và tính toán web hiện đại cho phép chạy các tác vụ học máy được tăng tốc phần cứng ngay trong các môi trường được hỗ trợ.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#webgpu#machine-learning#ai-hardware

$ subscribe --daily