Giới thiệu Hy4 Flash: Mô hình ngôn ngữ đa phương thức tiết kiệm chi phí với 224B tham số
Hy4 Flash vừa được giới thiệu là một mô hình ngôn ngữ đa phương thức bản địa, tiết kiệm chi phí với tổng số 224B tham số và cửa sổ ngữ cảnh 1 triệu token. Mô hình này chỉ kích hoạt 12B tham số cho mỗi token nhằm giảm đáng kể chi phí vận hành và giá API. Bản phát hành này mang đến một lựa chọn hợp túi tiền hơn cho các nhà phát triển và tổ chức muốn tận dụng khả năng đa phương thức quy mô lớn mà không tốn kém chi phí suy luận cao. Sự kết hợp giữa cửa sổ ngữ cảnh khổng lồ và ít tham số hoạt động giúp AI hiệu suất cao dễ tiếp cận hơn trên các phần cứng có cấu hình vừa phải. Tổng số 224B tham số của mô hình bao gồm 64B tham số Engram, trong khi vẫn duy trì số lượng tham số hoạt động chỉ 12B cho mỗi token. Mô hình này được thiết kế để mang lại hiệu suất tương đương với các dòng mô hình flash cạnh tranh trong khi vẫn hạ thấp chi phí.
## KIẾN THỨC NỀN
Tham số Engram đề cập đến các kiến trúc bộ nhớ giúp tối ưu hóa việc xử lý ngữ cảnh và giảm thiểu lãng phí tính toán trong các mô hình ngôn ngữ lớn. Các mô hình ngôn ngữ đa phương thức bản địa tích hợp thị giác, văn bản và các phương thức dữ liệu khác vào một kiến trúc thống nhất duy nhất, trong khi thiết kế Hỗn hợp chuyên gia (MoE) chỉ kích hoạt một phần nhỏ tổng số tham số cho mỗi token để duy trì hiệu suất cao.