Nhóm MNN của Taobao mã nguồn mở mô hình MNN-Pocket-0.3B cho AI biên hiệu năng cao
Nhóm MNN thuộc Taobao đã mã nguồn mở mô hình MNN-Pocket-0.3B, một mô hình ngôn ngữ 300 triệu tham số được tối ưu hóa cho thiết bị di động. Mô hình này đạt tốc độ giải mã hơn 350 token/s trên iPhone 18 Pro và duy trì mức tiêu thụ bộ nhớ đỉnh dưới 300MB. Sản phẩm này thiết lập một chuẩn mực mới về hiệu quả AI trên thiết bị, cho phép các ứng dụng di động phức tạp chạy các tác vụ ngôn ngữ nâng cao cục bộ mà không làm quá tải bộ nhớ hệ thống hay hao hụt pin thiết bị. Nó cung cấp cho các nhà phát triển một nền tảng mã nguồn mở mạnh mẽ, nhẹ nhàng được thiết kế riêng cho các môi trường bị hạn chế tài nguyên. Mô hình sử dụng tệp triển khai INT4 MNN chỉ có dung lượng 173MB và sở hữu bộ từ vựng 64K được tinh gọn nhằm giảm chi phí chiếu đầu ra. Trong các bài kiểm tra trên iPad Pro M5, mô hình đạt thông lượng prefill 8.721 token/s và thông lượng giải mã 466 token/s.
## KIẾN THỨC NỀN
MNN (Mobile Neural Network) là một công cụ suy luận và huấn luyện học sâu hiệu quả, nhẹ nhàng do Alibaba phát triển và đã được kiểm chứng thực tế qua hàng chục ứng dụng cốt lõi của họ như Taobao và Tmall. AI biên (Edge AI) đề cập đến việc chạy các mô hình học máy cục bộ trực tiếp trên phần cứng của người dùng cuối — như điện thoại thông minh và máy tính bảng — thay vì phụ thuộc vào các máy chủ đám mây từ xa, mang lại độ trễ thấp hơn và tính bảo mật tốt hơn.