Bản phát hành llama.cpp b12468 bổ sung hỗ trợ nhúng bước thời gian WebGPU
Bản phát hành b12468 của llama.cpp giới thiệu tính năng hỗ trợ nhúng bước thời gian WebGPU cùng với các bản cập nhật mã nguồn thông thường và các tệp nhị phân đã biên dịch. Bản cập nhật này bao gồm các bản sửa lỗi cho nhân WebGPU, cấu hình nhóm công việc và các cập nhật kiểm thử tương ứng. Bản cập nhật gia tăng này mở rộng khả năng tăng tốc phần cứng trên nền tảng trình duyệt và đa nền tảng thông qua WebGPU. Nó mở rộng phạm vi thực thi cục bộ hiệu quả cho các mô hình AI tiên tiến trên nhiều môi trường khác nhau. Yêu cầu kéo (#31695) đã triển khai việc nhúng bước thời gian WebGPU, cập nhật số lần gọi hàm và các biến nhóm công việc để sử dụng số nguyên 32-bit không dấu (u32). Bản phát hành này cũng cung cấp các tệp nhị phân được xây dựng sẵn trên nhiều nền tảng khác nhau bao gồm macOS, Linux và Android với nhiều tùy chọn phần cứng phụ trợ.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở được thiết kế để thực hiện suy luận hiệu quả trên các mô hình ngôn ngữ lớn với thiết lập tối thiểu, được đồng phát triển cùng với thư viện tensor GGML. WebGPU là một API đồ họa và tính toán web hiện đại cho phép các nhà phát triển tận dụng các khả năng phần cứng GPU trực tiếp trong trình duyệt web và các ứng dụng gốc đa nền tảng.