Baidu Phát Hành Mô Hình Ngôn Ngữ ERNIE 5.5 Flash Base
Baidu đã phát hành ERNIE 5.5 Flash Base, một điểm kiểm tra nền tảng được thiết kế cho các nhóm muốn tự tiếp tục huấn luyện mô hình. Thông tin về bản phát hành này được chia sẻ qua một bài đăng trên Reddit dẫn đến tài liệu chính thức và bộ sưu tập mô hình. Bản phát hành này cung cấp cho các nhà phát triển và nhà nghiên cứu một điểm kiểm tra mô hình nền tảng mới từ hệ sinh thái ERNIE của Baidu để tiếp tục tiền huấn luyện và tùy chỉnh. Nó mở rộng khả năng tiếp cận các kiến trúc mô hình ngôn ngữ lớn tiên tiến cho cộng đồng mở. Mô hình này sử dụng kiến trúc Mixture-of-Experts (MoE) thưa với tổng số 280 tỷ tham số và 14 tỷ tham số được kích hoạt cho mỗi token, được huấn luyện trên 33,5 nghìn tỷ token. Nó tận dụng các cơ chế chuyên biệt như các lớp MLA-DSA để duy trì hiệu suất mạnh mẽ trên các điểm chuẩn ngữ cảnh dài.
## KIẾN THỨC NỀN
Dòng mô hình ERNIE của Baidu là một họ mô hình ngôn ngữ lớn quan trọng được phát triển tại Trung Quốc, cạnh tranh toàn cầu trong lĩnh vực xử lý ngôn ngữ tự nhiên và các tác vụ đa phương thức. Các điểm kiểm tra nền tảng là trọng số mô hình thô được cung cấp trước khi tinh chỉnh hướng dẫn, cho phép các nhà phát triển thích ứng chúng cho các ứng dụng hạ nguồn cụ thể.