Nhà phát triển tích hợp mô hình Gemma cục bộ vào ứng dụng đọc sách điện tử bằng LiteRT-LM

Một nhà phát triển đã tích hợp các mô hình Gemma cục bộ (E2B và E4B) vào ứng dụng đọc sách điện tử Garden Reads bằng khung phát triển LiteRT-LM của Google. Sự tích hợp này cho phép người dùng tương tác với AI ngoại tuyến, riêng tư và tự động nhận ngữ cảnh từ siêu dữ liệu của sách cũng như đoạn văn hiện tại. Dự án này chứng minh tính khả thi của việc chạy các mô hình ngôn ngữ lớn (LLM) lượng tử hóa cục bộ trên các thiết bị biên của người dùng như máy đọc sách, đảm bảo quyền riêng tư và khả năng hoạt động ngoại tuyến. Nó nêu bật một trường hợp sử dụng thực tế của AI trên thiết bị trong việc nâng cao trải nghiệm đọc sách mà không phụ thuộc vào API đám mây. Ứng dụng sử dụng các mô hình lượng tử hóa INT4 (khoảng 2,5 GB đến 3,6 GB) và tối ưu hóa việc sử dụng RAM bằng cách chỉ tải mô hình khi giao diện trò chuyện hoạt động. Ứng dụng mặc định thực thi trên GPU và tự động chuyển sang CPU khi cần, đồng thời tích hợp các tính năng như chế độ "Deep Think" và bộ lọc "Spoilers" để tránh lộ cốt truyện.