Hugging Face mở mã nguồn hơn 200 kernel WebGPU hiệu năng cao cho AI cục bộ

Hugging Face đã mở mã nguồn thư viện `@huggingface/kernels` bao gồm hơn 200 kernel WebGPU được tối ưu hóa để chạy các mô hình học máy trực tiếp trong trình duyệt web. Đội ngũ phát triển cũng đang làm việc để đóng góp các cải tiến hiệu năng này vào những web runtime phổ biến như Transformers.js, ONNX Runtime Web và LiteRT.js. Phát hành này cung cấp hạ tầng mở quan trọng cho AI trên trình duyệt, cho phép nhà phát triển thực thi các tác vụ học máy phức tạp cục bộ mà không phụ thuộc vào máy chủ backend. Việc tích hợp các kernel này vào các bộ chạy web sẽ giúp tăng tốc độ suy luận phía client trên toàn bộ hệ sinh thái web AI. Do hiệu năng WebGPU có sự khác biệt đáng kể giữa các GPU, trình duyệt và driver khác nhau, Hugging Face đã giới thiệu 'Fleet' để chạy thử nghiệm hiệu năng và độ chính xác trực tiếp trên trình duyệt của người dùng. Thư viện này tối ưu hóa hơn 200 thao tác học máy tiêu chuẩn dành riêng cho việc thực thi trên phần cứng WebGPU.