Phiên bản llama.cpp b11809 bổ sung hỗ trợ WebGPU Q2_0
Bản phát hành llama.cpp b11809 giới thiệu khả năng hỗ trợ WebGPU cho việc giải lượng tử hóa hàng Q2_0 và nhân ma trận. Bản cập nhật này mở rộng các tính năng cho việc suy luận mô hình ngôn ngữ lớn chạy trên trình duyệt và được tăng tốc qua web. Việc tối ưu hóa các định dạng lượng tử hóa bit thấp như Q2_0 cho WebGPU giúp giảm lượng chiếm dụng bộ nhớ và tăng tốc độ suy luận ngay trong trình duyệt web. Điều này mang các tính năng AI cục bộ hiệu năng cao đến gần hơn với các ứng dụng web thông thường mà không cần cài đặt ứng dụng gốc. Bản phát hành triển khai cụ thể các quy trình giải lượng tử hóa hàng và nhân ma trận cho định dạng Q2_0 chạy trên phần phụ trợ WebGPU. Những nhân (kernel) này giúp giảm thiểu các điểm nghẽn hiệu năng đối với các trọng số mô hình bị nén cực mạnh.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở thực hiện suy luận trên nhiều mô hình ngôn ngữ lớn khác nhau bằng cách sử dụng thư viện tensor GGML. WebGPU là một chuẩn web hiện đại được thiết kế để cung cấp khả năng tính toán và đồ họa hiệu năng cao, chẳng hạn như chạy các mô hình học máy ngay bên trong trình duyệt web.