inclusionAI ra mắt Ming-3.0-audio-flash, mô hình MoE âm thanh bản địa 126B
InclusionAI đã phát hành Ming-3.0-audio-flash, một mô hình Hỗn hợp Chuyên gia (MoE) ngôn ngữ-âm thanh bản địa với 126 tỷ tham số. Mô hình này nhận đầu vào là âm thanh và văn bản để hỗ trợ nhận dạng giọng nói phức tạp, hiểu âm thanh dài, lập luận âm thanh và đầu ra giọng nói tổng hợp bằng cả tiếng Trung và tiếng Anh. Bản phát hành này cung cấp cho cộng đồng mã nguồn mở một mô hình âm thanh bản địa quy mô lớn, mạnh mẽ, có khả năng nhận thức và lập luận đa chiều. Nó nâng cao năng lực AI cục bộ cho các tác vụ âm thanh và giọng nói phức tạp trong cả môi trường tiếng Trung và tiếng Anh. Ming-3.0-audio-flash có tổng cộng 126 tỷ tham số nhưng chỉ kích hoạt 6,5 tỷ tham số cho mỗi bước suy luận, hoạt động dưới giấy phép MIT. Mô hình này xử lý tốt môi trường nhiều tiếng ồn, bản ghi nhiều người nói, các phương ngữ, âm thanh phi giọng nói và âm nhạc đi kèm với tính năng tổng hợp giọng nói tùy chọn.
## KIẾN THỨC NỀN
Mô hình ngôn ngữ-âm thanh bản địa được thiết kế để xử lý và suy luận trực tiếp với tín hiệu âm thanh thay vì chỉ dựa vào các bản chép lại văn bản truyền thống. Hỗn hợp Chuyên gia (MoE) là một kiến trúc giúp mở rộng quy mô năng lực mô hình một cách lớn mà vẫn giữ chi phí tính toán ở mức thấp bằng cách định tuyến các token chỉ đến một tập hợp con nhỏ các mạng con chuyên gia trong mỗi bước suy luận.