llama.cpp phát hành bản b11067 với tối ưu hóa toán tử hợp nhất cho WebGPU
Khung suy luận mã nguồn mở llama.cpp đã phát hành phiên bản b11067. Bản cập nhật này bổ sung thao tác hợp nhất GDN và CPY nhằm nâng cao hiệu năng khi chạy mô hình trên backend WebGPU. WebGPU cho phép chạy trực tiếp các mô hình học máy trong trình duyệt web thông qua tăng tốc phần cứng GPU cục bộ. Việc tối ưu hóa đồ thị tính toán của WebGPU giúp giảm chi phí truy xuất bộ nhớ, hỗ trợ suy luận AI trên thiết bị người dùng nhanh hơn. Bản vá này kết hợp phép tính GDN với bước sao chép bộ nhớ (CPY) nhằm giảm bớt các vòng truy xuất bộ nhớ trong quá trình suy luận. Các tệp thực thi sẵn (pre-compiled binaries) của bản b11067 hiện đã có sẵn trên các nền tảng macOS, Linux, Windows, Android và iOS.
## KIẾN THỨC NỀN
Hợp nhất toán tử (operator fusion) là một kỹ thuật tối ưu hóa trong trình biên dịch học máy, kết hợp nhiều thao tác liên tiếp thành một nhân thực thi GPU duy nhất nhằm tránh ghi kết quả trung gian vào VRAM. llama.cpp là một thư viện C/C++ hiệu năng cao được thiết kế để chạy các mô hình ngôn ngữ lớn trên các môi trường máy tính, di động và trình duyệt hiện đại.