Baidu phát hành mô hình ERNIE 5.5 Flash Preview và cam kết mở mã nguồn trọng số
Baidu đã ra mắt ERNIE 5.5 Flash Preview, phiên bản hậu huấn luyện đầu tiên của mô hình cơ sở với kiến trúc tổng số 280 tỷ tham số, 14 tỷ tham số hoạt động và cửa sổ ngữ cảnh 1 triệu token. API của mô hình hiện đã có mặt trên nền tảng Qianfan của Baidu, và trọng số mở của mô hình được lên lịch phát hành trước ngày 25 tháng 11. Việc ra mắt này đánh dấu một bước tiến quan trọng trong hệ sinh thái trí tuệ nhân tạo khi kết hợp kiến trúc hỗn hợp chuyên gia quy mô lớn với tốc độ giải mã cao và cửa sổ ngữ cảnh rộng lớn, giúp các tính năng mô hình mạnh mẽ trở nên dễ tiếp cận hơn thông qua các trọng số mở sắp tới. Điều này mang lại cho các nhà phát triển những công cụ tiên tiến để lập trình, mô hình hóa 3D và sáng tạo nội dung. Mặc dù mô hình mang lại hiệu suất cạnh tranh trên nhiều tiêu chuẩn đánh giá khác nhau, Baidu lưu ý rằng đây là phiên bản xem trước trung gian và có thể vẫn còn một số khiếm khuyết nhỏ về năng lực do quá trình hậu huấn luyện chưa hoàn tất. Các tối ưu hóa tiếp theo dự kiến sẽ có trong phiên bản chính thức.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn sử dụng các kiến trúc như Hỗn hợp chuyên gia (MoE), nơi chỉ một phần nhỏ tham số hoạt động được sử dụng cho mỗi token để cân bằng giữa trí thông minh cao và hiệu suất suy luận. Cửa sổ ngữ cảnh xác định lượng văn bản hoặc token tối đa mà một mô hình có thể xử lý và ghi nhớ cùng một lúc, trong khi trọng số mở cung cấp cho các nhà phát triển các tham số mạng nơ-ron đã được huấn luyện để chạy và tinh chỉnh mô hình cục bộ.