ggerganov/llama.cpp phát hành phiên bản b12114 với các bản sửa lỗi WebGPU
Bản phát hành b12114 của llama.cpp giới thiệu các bản sửa lỗi WebGPU quan trọng, cụ thể là giải quyết việc quản lý kích thước bộ đệm và cải tiến bộ đổ bóng (shader) cho các thao tác memset. Các bản cập nhật này giải quyết các vấn đề liên quan đến việc xử lý bộ đệm lớn hơn kích thước liên kết tối đa. Những sửa lỗi này giúp cải thiện độ ổn định và hiệu suất khi chạy các mô hình ngôn ngữ lớn thông qua WebGPU, giúp tăng tính bền vững cho việc tăng tốc GPU trên trình duyệt và đa nền tảng. Cải tiến này mang lại lợi ích cho các nhà phát triển sử dụng các phần phụ trợ WebGPU nguyên bản hoặc dựa trên web để suy luận AI. Bản cập nhật sửa hàm get_max_size để trả về chính xác maxBufferSize và tránh các liên kết toàn bộ bộ đệm trong các thao tác memset hoặc clear. Điều này cho phép buffer_memset xử lý mượt mà các kích thước bộ đệm vượt quá kích thước liên kết tối đa.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở cho phép suy luận hiệu quả cho các mô hình ngôn ngữ lớn một cách cục bộ trên nhiều phần cứng khác nhau. WebGPU là một API tiêu chuẩn web hiện đại cấp cho các ứng dụng web quyền truy cập hiệu suất cao vào các đơn vị xử lý đồ họa của hệ thống để thực hiện các tác vụ tính toán và đồ họa.