PrismML Ra Mắt Dòng Mô Hình AI Ternary Bonsai 2 Cho Thiết Bị Biên Cục Bộ
PrismML vừa phát hành dòng mô hình Ternary Bonsai 2 với các kích thước 2B, 4B và 9B, được xây dựng trên kiến trúc Qwen và sử dụng phương pháp biểu diễn trọng số tam phân -1, 0 và +1. Các mô hình này đạt tốc độ xử lý cục bộ cao, lên tới 120 token mỗi giây đối với phiên bản 2B trên iPhone 18 Pro Max. Sự ra mắt này đánh dấu một bước tiến quan trọng đối với AI biên, cho phép thực thi cục bộ các tác nhân AI phức tạp và gọi công cụ trên điện thoại thông minh cũng như PC phổ thông với dung lượng bộ nhớ giảm đáng kể và hiệu suất năng lượng cao. Việc hạ thấp rào cản tài nguyên phần cứng giúp đưa các tính năng AI tiên tiến đến gần hơn với các thiết bị di động và đeo tay hàng ngày. Dung lượng lưu trữ của các mô hình 2B, 4B và 9B lần lượt là khoảng 0,43GB, 0,95GB và 2GB, đồng thời các mô hình này được phát hành theo giấy phép mở Apache 2.0. Các nhà phát triển có thể chạy chúng thông qua llama.cpp trên GPU NVIDIA hoặc triển khai bằng MLX trên các thiết bị Apple Silicon như Mac, iPhone và iPad.
## KIẾN THỨC NỀN
Lượng hóa tam phân (ternary quantization), thường liên quan đến các mô hình 1.58-bit, giới hạn trọng số của mạng thần kinh ở ba giá trị rời rạc: -1, 0 và +1. Kỹ thuật này giúp nén đáng kể kích thước mô hình và thay thế các phép nhân tốn nhiều tài nguyên bằng các phép cộng trừ đơn giản hơn trong quá trình suy luận, từ đó đẩy nhanh tốc độ thực thi trên phần cứng thông thường.