Các mô hình Ternary Bonsai 2 được phát hành với hỗ trợ WebGPU trên trình duyệt
Prism-ML đã phát hành dòng mô hình Ternary Bonsai 2 (bao gồm các biến thể 2B, 4B và 9B) trên Hugging Face. Mô hình 2B có thể chạy hoàn toàn cục bộ trong trình duyệt web bằng các kernel WebGPU tùy chỉnh, đạt tốc độ lên tới 500 token mỗi giây trên máy M4 Max. Bản phát hành này đánh dấu một cột mốc quan trọng đối với AI biên và cục bộ, chứng minh rằng lượng tử hóa tam phân hiệu suất cao kết hợp với việc thực thi tối ưu hóa trên trình duyệt có thể mang lại hiệu suất tương đương đám mây trực tiếp trên phần cứng người tiêu dùng. Nó loại bỏ rào cản cài đặt bằng cách cho phép suy luận AI tức thì, không cần thiết lập bên trong các trình duyệt web thông chuẩn. Bộ sưu tập này bao gồm nhiều kích thước khác nhau được lưu trữ trên Hugging Face kèm theo bản demo WebGPU tương tác. Mốc hiệu suất ấn tượng 500 token mỗi giây được ghi nhận trên con chip M4 Max mạnh mẽ của Apple nhờ sử dụng các shader GPU chuyên dụng.
## KIẾN THỨC NỀN
Lượng tử hóa mô hình tam phân giới hạn các trọng số mạng thần kinh ở ba giá trị rời rạc (-1, 0 và +1), làm giảm đáng kể dung lượng bộ nhớ và yêu cầu tính toán so với các mô hình dấu phẩy động truyền thống. WebGPU là một tiêu chuẩn web hiện đại cung cấp quyền truy cập GPU hiệu suất cao, cấp thấp trực tiếp bên trong các trình duyệt web, cho phép các nhà phát triển chạy các tác vụ học máy nặng ở phía máy khách mà không cần máy chủ đám mây.