Chạy mô hình ngôn ngữ Gemma cục bộ chỉ với 500MB bộ nhớ

Một bản thử nghiệm từ cộng đồng đã trình diễn việc chạy mô hình ngôn ngữ Gemma cục bộ với dung lượng bộ nhớ cực kỳ hạn chế chỉ 500MB. Điều này làm nổi bật tính khả thi của việc triển khai các mô hình mã nguồn mở của Google trên phần cứng bị giới hạn tài nguyên. Việc đạt được mức sử dụng bộ nhớ nhỏ như vậy giúp các mô hình ngôn ngữ lớn có thể tiếp cận được trên các thiết bị biên và phần cứng tiêu dùng có RAM rất hạn chế. Điều này thúc đẩy việc triển khai các trợ lý AI cục bộ, riêng tư mà không cần phụ thuộc vào hạ tầng đám mây. Bản thử nghiệm này có thể sử dụng các kỹ thuật lượng tử hóa cực hạn để nén trọng số của mô hình, mặc dù nó có thể đang đề cập đến một phiên bản nhỏ hơn như mô hình 4B. Việc chạy các mô hình trong môi trường hạn chế như vậy thường đi kèm với sự đánh đổi về độ chính xác và độ hỗn loạn (perplexity).