inclusionAI phát hành mô hình MoE ngôn ngữ-âm thanh nguyên bản Ming-3.0-audio-tiny
inclusionAI đã phát hành Ming-3.0-audio-tiny, một mô hình Hỗn hợp Chuyên gia ngôn ngữ-âm thanh nguyên bản nhỏ gọn với tổng số 9,3 tỷ tham số và 2,7 tỷ tham số hoạt động trong mỗi bước suy luận. Mô hình hỗ trợ nhận dạng giọng nói, hiểu âm thanh, suy luận và tùy chọn tổng hợp giọng nói bằng cả tiếng Trung và tiếng Anh. Bản phát hành mã nguồn mở trọng số này mở rộng khả năng tiếp cận trí tuệ nhân tạo ngôn ngữ-âm thanh hiệu quả trong cộng đồng mã nguồn mở, cho phép các nhà phát triển xây dựng các ứng dụng đòi hỏi nhận dạng giọng nói mạnh mẽ, xử lý đa người nói và tương tác âm thanh thời gian thực. Kiến trúc Hỗn hợp Chuyên gia của nó mang lại hiệu suất cao trong khi vẫn duy trì số lượng tham số hoạt động tương đối thấp. Ming-3.0-audio-tiny chấp nhận cả hướng dẫn bằng âm thanh và văn bản, cho ra kết quả là văn bản hoặc văn bản kèm theo giọng nói tổng hợp tùy chọn sử dụng giọng có sẵn hoặc giọng tham chiếu. Mô hình được cấp phép theo giấy phép MIT và được tối ưu hóa để xử lý các thách thức phức tạp như môi trường nhiều tiếng ồn, các âm sắc, phương ngữ đa dạng và các bản ghi âm dài.
## KIẾN THỨC NỀN
Một mô hình ngôn ngữ-âm thanh nguyên bản được thiết kế từ gốc để xử lý trực tiếp các đầu vào âm thanh cùng với văn bản thay vì chỉ dựa vào các hệ thống nhận dạng giọng nói tự động được ghép nối. Kiến trúc Hỗn hợp Chuyên gia (MoE) định tuyến các đầu vào tới một tập hợp con các mạng nơ-ron phụ (chuyên gia) cho mỗi token, cho phép các mô hình mở rộng tổng dung lượng trong khi vẫn giữ chi phí tính toán ở mức có thể quản lý được trong quá trình suy luận.