EmbeddingGemma 2 của Google Chạy Trực Tiếp Trên Trình Duyệt Nhờ WebGPU
Một bản demo triển khai trên Hugging Face cho phép mô hình EmbeddingGemma 2 của Google chạy cục bộ ngay trong trình duyệt web nhờ WebGPU. Được phát triển bởi người dùng xenovatech, tính năng này cho phép tạo vector embedding hoàn toàn ở phía client mà không cần phụ thuộc vào API đám mây. Việc chạy các mô hình embedding trực tiếp trong trình duyệt giúp giảm đáng kể chi phí hạ tầng đám mây và hỗ trợ các tính năng AI hoạt động ngoại tuyến. Ngoài ra, việc giữ dữ liệu người dùng hoàn toàn trên thiết bị đảm bảo tính bảo mật tối đa cho các ứng dụng nhạy cảm như tìm kiếm tài liệu cục bộ và RAG. Bản demo sử dụng chuẩn WebGPU để tận dụng phần cứng GPU của thiết bị người dùng cho các phép toán vector hiệu quả. Người dùng có thể thử nghiệm trực tiếp thông qua không gian Hugging Face Space webml-community.
## KIẾN THỨC NỀN
Vector embedding biểu diễn văn bản hoặc phương tiện khác dưới dạng các dãy số nhiều chiều, đóng vai trò làm nền tảng cho tìm kiếm ngữ nghĩa, hệ thống gợi ý và RAG (Retrieval-Augmented Generation). WebGPU là chuẩn web hiện đại cho phép ứng dụng truy cập hiệu năng cao vào GPU hệ thống, thay thế WebGL cho các tác vụ học máy trên trình duyệt. EmbeddingGemma của Google DeepMind là dòng mô hình mở nhỏ gọn nhưng đạt hiệu năng cao phục vụ cho tác vụ tạo embedding.