Danh sách đề xuất cộng đồng gợi ý cải tiến kiến trúc cho các dòng mô hình Gemma trong tương lai

Một người dùng trên Reddit đã phác thảo danh sách toàn diện gồm các thay đổi về kiến trúc cho các dòng mô hình Gemma trong tương lai, bao gồm transformer lặp (looped transformer), mô-đun bộ nhớ Engram theo phong cách DeepSeek và cơ chế chú ý hiệu quả hơn. Những đề xuất do cộng đồng định hướng này nhấn mạnh mong muốn liên tục của ngành nhằm cân bằng giữa việc nén mô hình hiệu quả với khả năng suy luận và lưu trữ kiến thức được nâng cao, đồng thời cung cấp một bản thiết kế cho các thế hệ LLM trong tương lai. Các đề xuất khuyến nghị giữ lại phương pháp Huấn luyện nhận thức lượng tử hóa (QAT) 4-bit trong khi loại bỏ lượng tử hóa di động 2-bit, cải thiện các mô hình phác thảo giải mã suy đoán (speculative decoding) và tránh việc tối ưu hóa quá mức (overfitting) vào các tác vụ lập trình.