~/AI/adventists-ai-releases-sophon-realtime-v1-open-source-voice-models

Adventists AI Ra Mắt Mô Hình Giọng Nói Mã Nguồn Mở Sophon-Realtime-v1

Adventists AI đã phát hành Sophon-Realtime-v1, một dòng mô hình giọng nói song công hoàn toàn mã nguồn mở mới, có khả năng xử lý tự nhiên ngữ điệu, sự ngắt lời và các tín hiệu phi ngôn ngữ biểu cảm. Dòng mô hình này bao gồm ba biến thể—Tag, Flash và E2E—được cung cấp năng lượng bởi một mô hình 32B dùng chung có chức năng lắng nghe, quyết định lượt lời và tạo phản hồi. Sự ra mắt này đánh dấu một cột mốc quan trọng đối với AI trò chuyện mã nguồn mở, mang lại hiệu suất tương đương với các mô hình độc quyền hàng đầu như GPT-4o-mini-Audio trên các bài kiểm tra chuẩn trong khi vẫn chạy được cục bộ. Điều này giúp các nhà phát triển xây dựng các ứng dụng giọng nói có độ trễ thấp, biểu cảm cảm xúc với giấy phép Apache-2.0 thân thiện với thương mại. Biến thể Tag đạt điểm số hàng đầu trên VoiceBench (82.8%) và khả năng hiểu ngôn ngữ cận ngôn từ, mang lại độ trễ âm thanh đầu tiên khoảng 0.6 giây và hỗ trợ tối đa 16 người dùng đồng thời trên một GPU 80 GB thông qua vLLM-Omni. Trong khi đó, biến thể Flash ưu tiên tốc độ, giảm độ trễ âm thanh đầu tiên xuống 0.31 giây và hỗ trợ tới 40 người dùng mỗi GPU.

## KIẾN THỨC NỀN

Các mô hình giọng nói song công hoàn toàn sử dụng kiến trúc phát trực tuyến âm thanh liên tục, cho phép hệ thống lắng nghe và nói đồng thời mà không phải đợi người dùng nói xong hoàn toàn. Điều này tạo ra động lực trò chuyện tự nhiên, bao gồm khả năng ngắt lời tức thì và điều chỉnh theo thời gian thực dựa trên ngữ điệu giọng nói và âm thanh phi ngôn ngữ.

## TỪ KHÓA

#AI#Voice Models#Open Source#LocalLLaMA#Speech Synthesis

$ subscribe --daily