Baidu Mã nguồn mở Mô hình cơ sở ERNIE 5.5 Flash Base 280B
Baidu đã chính thức mã nguồn mở ERNIE 5.5 Flash Base, một mô hình ngôn ngữ thưa Mixture of Experts (MoE) có tổng tham số 280B được huấn luyện từ đầu trên 33,5 nghìn tỷ token. Mô hình hỗ trợ độ dài ngữ cảnh 128K trong quá trình huấn luyện và lên đến 1M token trong giai đoạn tinh chỉnh và suy luận. Việc phát hành này cung cấp cho các nhà nghiên cứu và lập trình viên các trọng số tiền huấn luyện có giá trị để phục vụ cho việc thích ứng miền, tinh chỉnh hướng dẫn và nghiên cứu học tăng cường. Đây đóng vai trò là một mốc nền tảng quan trọng trước khi phiên bản mô hình ERNIE 5.5 Flash hoàn thiện sau huấn luyện được ra mắt. Mô hình kích hoạt 14B tham số cho mỗi token và sử dụng bộ tối ưu hóa phân tán Muon cùng với độ chính xác hỗn hợp FP8. Mô hình đã được đánh giá qua 30 tác vụ chuẩn và được phát hành dưới cả định dạng FP8 lẫn BF16 trên nền tảng Hugging Face.
## KIẾN THỨC NỀN
Mô hình thưa Mixture of Experts (MoE) là một kiến trúc mạng nơ-ron trong đó chỉ một tập hợp con các tham số, gọi là các chuyên gia, được kích hoạt cho mỗi đầu vào cụ thể, giúp đạt dung lượng mô hình lớn với hiệu suất tính toán cao. Độ chính xác hỗn hợp FP8 sử dụng các định dạng dấu phẩy động 8-bit nhằm tăng tốc độ huấn luyện và giảm mức tiêu thụ bộ nhớ nhưng vẫn duy trì được độ chính xác của mô hình.