Tìm kiếm hình ảnh trên trình duyệt bằng EmbeddingGemma 2 và WebGPU
Một nhà phát triển đã chuyển đổi mô hình thị giác và văn bản của EmbeddingGemma 2 sang ruNNtime, một công cụ suy luận WebGPU bằng TypeScript. Triển khai này cho phép người dùng tìm kiếm thư viện ảnh bằng mô tả ngôn ngữ tự nhiên trực tiếp trong trình duyệt web. Dự án này thể hiện khả năng suy luận AI đa thức hoàn toàn ở phía máy khách, giúp tìm kiếm hình ảnh riêng tư và nhanh chóng mà không cần gửi dữ liệu hay truy vấn lên máy chủ. Nó cho thấy tiềm năng ngày càng lớn của WebGPU trong việc chạy các mô hình nhúng và thị giác máy tính phức tạp ngay trên thiết bị người dùng. Hệ thống ánh xạ cả hình ảnh và truy vấn văn bản vào một không gian vector 768 chiều chung để tính toán độ tương đồng trực tiếp trên GPU của người dùng. Được xây dựng bằng framework ruNNtime của Software Mansion, giải pháp này tận dụng WebGPU để tăng tốc phần cứng ngay trong trình duyệt web.
## KIẾN THỨC NỀN
EmbeddingGemma là mô hình nhúng mã nguồn mở do Google DeepMind phát triển, được thiết kế để chuyển đổi dữ liệu văn bản và hình ảnh thành các dạng biểu diễn vector cho các tác vụ truy xuất. WebGPU là một tiêu chuẩn web của W3C cho phép ứng dụng web truy cập cấp thấp vào phần cứng GPU hiện đại, hỗ trợ suy luận máy học hiệu năng cao trực tiếp trên trình duyệt.