Chạy mô hình omni-d1 600M của Liquid AI trực tiếp trên trình duyệt bằng TypeScript và WebGPU
Một nhà phát triển đã chuyển giao thành công mô hình ra quyết định d1-omni-600M của Liquid AI để chạy trực tiếp trên trình duyệt nhờ 'runntime', một thư viện suy luận WebGPU viết hoàn toàn bằng TypeScript. Cấu hình này thực thi các phép toán mô hình trực tiếp mà không tốn chi phí hiệu năng của WebAssembly (WASM) hay bước chuyển đổi mô hình phức tạp, đạt thời gian phản hồi dưới 200ms cho các tác vụ kiểm duyệt văn bản. Thành tựu kỹ thuật này chứng minh rằng quá trình suy luận máy học nhanh và bảo mật riêng tư có thể thực hiện hoàn toàn ở phía máy khách bằng các công nghệ chuẩn web hiện đại. Bằng cách loại bỏ nhu cầu về hạ tầng máy chủ backend và các công cụ biên dịch phức tạp như WASM, các nhà phát triển có thể tích hợp trực tiếp khả năng AI biên vào ứng dụng trình duyệt. Được phát triển trên thư viện TypeGPU của Software Mansion, thư viện suy luận này tải trọng số mô hình trực tiếp từ định dạng safetensors của Hugging Face và tính toán kết quả chỉ trong một lượt lan truyền tiến (forward pass) mà không cần sinh token theo chuỗi. Trong thử nghiệm kiểm duyệt trực tiếp đánh giá 4 tiêu chí cho mỗi bình luận (độc hại, spam, loại câu hỏi và thái độ), công cụ xử lý mỗi bình luận trong khoảng 180ms, trung bình 45ms cho mỗi câu hỏi.
## KIẾN THỨC NỀN
WebGPU là một API web cho phép trình duyệt truy cập cấp thấp và đạt hiệu năng cao vào phần cứng cạc đồ họa GPU, thay thế cho WebGL. Mô hình d1-omni-600M của Liquid AI là một mô hình AI chuyên ra quyết định, được thiết kế để trả lời các câu hỏi định sẵn trên dữ liệu đầu vào (như văn bản hoặc âm thanh) trong một lượt duy nhất thay vì sinh văn bản từng từ một. TypeGPU là thư viện TypeScript giúp thực thi mã shader WebGPU an toàn về kiểu dữ liệu giữa CPU và GPU.