Google giới thiệu Gemma Translator, thiết bị dịch thuật ngoại tuyến chạy trên Raspberry Pi 5
Creative Lab của Google đã trình diễn Gemma Translator, một thiết bị dịch thuật ngoại tuyến thử nghiệm chạy mô hình AI Gemma 4 E2B trên Raspberry Pi 5. Thiết bị này thực hiện dịch thuật trực tiếp từ giọng nói sang giọng nói hoàn toàn cục bộ mà không cần kết nối internet. Dự án này chứng minh tính khả thi của việc chạy các quy trình AI đa phương thức phức tạp—bao gồm nhận dạng giọng nói, dịch thuật bằng LLM và tổng hợp giọng nói—hoàn toàn trên phần cứng biên giá rẻ và hạn chế tài nguyên. Nó làm nổi bật tiềm năng dịch thuật riêng tư, không có độ trễ ở các khu vực vùng sâu vùng xa hoặc trong các tình huống không có kết nối mạng. Thiết bị sử dụng mô hình Gemma 4 E2B với tổng số 5,1 tỷ tham số và 2,3 tỷ tham số kích hoạt, được điều phối thông qua khung LiteRT-LM của Google. Việc chuyển đổi giọng nói thành văn bản và tổng hợp giọng nói được xử lý cục bộ bằng các mô hình AI Moonshine để đảm bảo xử lý với độ trễ thấp.
## KIẾN THỨC NỀN
Edge AI (AI biên) đề cập đến việc chạy các thuật toán trí tuệ nhân tạo cục bộ trên thiết bị phần cứng thay vì trên đám mây, mang lại lợi ích về quyền riêng tư, độ trễ và khả năng hoạt động ngoại tuyến. LiteRT-LM là khung suy luận mã nguồn mở của Google được thiết kế để triển khai các mô hình ngôn ngữ lớn một cách hiệu quả trên các thiết bị biên bị giới hạn tài nguyên. Moonshine là một nhóm các mô hình nhận dạng giọng nói được tối ưu hóa cho việc chuyển biên trực tiếp với độ trễ thấp trên phần cứng biên.