Lập trình viên tạo tiện ích Chrome lọc YouTube bằng AI cục bộ chạy trên WebGPU

Lập trình viên Manjunath Shiva đã phát hành opendecider, một tiện ích mở rộng Chrome mã nguồn mở giúp lọc nguồn video YouTube cục bộ bằng mô hình quyết định ONNX chạy trực tiếp trong trình duyệt nhờ tăng tốc WebGPU. Tiện ích hoạt động hoàn toàn trên thiết bị mà không cần máy chủ hay khóa API bên ngoài, giúp ẩn các danh mục nội dung tùy chọn và YouTube Shorts ngoại tuyến sau khi tải mô hình lần đầu. Dự án này cho thấy tính khả thi ngày càng cao của việc suy luận AI phía máy khách, giúp bảo vệ quyền riêng tư của người dùng đồng thời loại bỏ chi phí máy chủ GPU cho các nhà phát triển. Nó chứng minh cách kết hợp các mô hình ML siêu nhẹ với WebGPU để mang lại khả năng lọc nội dung cá nhân hóa theo thời gian thực ngay trong trình duyệt. Được vận hành bởi ONNX Runtime Web, mô hình fp16 WebGPU (755 MiB) xử lý 40 tiêu đề video trong 1,1 giây, đạt độ chính xác cân bằng 0,934 trên các quy tắc lọc tùy chỉnh. Tiện ích tích hợp phiên bản CPU dự phòng q8 WASM (569 MiB), tự động giải phóng khỏi bộ nhớ RAM sau 10 phút không hoạt động và cung cấp công cụ kiểm tra prompt injection qua menu chuột phải.