Bản demo trích xuất tài liệu 52 trang cục bộ trên iPhone 16 bằng Bonsai 8B
Một bản thử nghiệm thực tế cho thấy ứng dụng di động KernelAI thực hiện trích xuất tài liệu 52 trang hoàn toàn cục bộ trên iPhone 16 bằng mô hình nhúng Snowflake Arctic Embed và LLM Bonsai 8B của PrismML. Bản cập nhật KernelAI v2 này cũng giới thiệu các tính năng mới như tìm kiếm web và nhập mô hình tùy chỉnh. Điều này chứng minh tính khả thi của việc chạy các quy trình RAG (Tạo lập tăng cường truy xuất) phức tạp cục bộ trên phần cứng di động, giúp tăng cường quyền riêng tư của người dùng và khả năng hoạt động ngoại tuyến. Việc sử dụng các mô hình tối ưu hóa cao như Bonsai 8B cho phép các thiết bị hạn chế về tài nguyên chạy các mô hình ngôn ngữ lớn một cách hiệu quả. Bonsai 8B là một LLM 1-bit được huấn luyện gốc chỉ chiếm 1,15 GB dung lượng lưu trữ, giúp nó cực kỳ phù hợp để triển khai trên thiết bị di động. Ứng dụng KernelAI hoàn toàn miễn phí, không có quảng cáo và cũng hỗ trợ tích hợp với các mô hình nền tảng tích hợp sẵn của Apple.
## KIẾN THỨC NỀN
RAG (Tạo lập tăng cường truy xuất) là một kỹ thuật giúp cải thiện câu trả lời của LLM bằng cách truy vấn các tài liệu bên ngoài để tìm thông tin liên quan trước khi tạo văn bản. Theo truyền thống, quy trình RAG và suy luận LLM yêu cầu các máy chủ đám mây mạnh mẽ do nhu cầu cao về bộ nhớ và tính toán. Tuy nhiên, những tiến bộ gần đây trong lượng tử hóa mô hình, chẳng hạn như kiến trúc 1-bit như Bonsai của PrismML, đã giảm đáng kể kích thước mô hình để vừa vặn trên các thiết bị di động cá nhân.