Swiss-AI Ra Mắt Apertus-v1.5 Với Ngữ Cảnh 262k Và Chế Độ Suy Nghĩ
Swiss-AI đã phát hành Apertus-v1.5, một dòng mô hình ngôn ngữ mã nguồn mở gồm các phiên bản 8B và 70B tham số, sở hữu cửa sổ ngữ cảnh 262k, dữ liệu huấn luyện mở hoàn toàn và chế độ suy nghĩ mới để lập luận. Các mô hình này hiện hỗ trợ đầu vào đa phương thức, cho phép xử lý hình ảnh, âm thanh và văn bản để tạo ra văn bản đầu ra. Mô hình này thúc đẩy hệ sinh thái AI mã nguồn mở bằng cách cung cấp các mô hình hoàn toàn minh bạch (mở trọng số, dữ liệu và công thức huấn luyện) trong khi vẫn tôn trọng quyền từ chối (opt-out) của chủ sở hữu dữ liệu. Việc bổ sung khả năng đa phương thức gốc và chế độ lập luận có thể bật/tắt giúp nó cạnh tranh mạnh mẽ với các giải pháp thay thế độc quyền. Các mô hình được xây dựng trên kiến trúc transformer chỉ giải mã (decoder-only) sử dụng hàm kích hoạt xIELU và được huấn luyện bằng bộ tối ưu hóa AdEMAMix. Apertus-v1.5 được tạo ra bằng cách tiếp tục tiền huấn luyện Apertus 1.0, bổ sung thêm 4 nghìn tỷ token cho mô hình 8B và 2 nghìn tỷ token cho mô hình 70B.
## KIẾN THỨC NỀN
Bộ tối ưu hóa AdEMAMix là một cải tiến so với bộ tối ưu hóa AdamW tiêu chuẩn, sử dụng hai Trung bình Trượt Lũy thừa (EMA) của các gradient trong quá khứ để tăng tốc độ hội tụ và giảm tổn thất huấn luyện. Trong khi đó, xIELU (Expanded Integral of the Exponential Linear Unit) là một hàm kích hoạt từng phần có thể huấn luyện được thiết kế để cải thiện động lực huấn luyện của mạng thần kinh.