Tencent phát hành mô hình dịch giọng nói thời gian thực Hy-SimulMT-30B-A3B

Tencent Hunyuan đã phát hành Hy-SimulMT-30B-A3B, một mô hình dịch giọng nói đồng thời thời gian thực có 30 tỷ tham số hỗ trợ giao tiếp hai chiều giữa tiếng Trung và tiếng Anh. Mô hình này liên tục xử lý các luồng âm thanh đầu vào để tạo ra văn bản và giọng nói được dịch, đồng thời giữ nguyên các đặc điểm giọng nói của người nói ban đầu thông qua tính năng nhân bản giọng nói. Bản phát hành này cung cấp cho cộng đồng nguồn mở một công cụ tiên tiến dành cho các bối cảnh giao tiếp trực tiếp như cuộc họp và bài phát biểu, đạt độ trễ thấp hơn và chất lượng dịch thuật cao hơn nhiều API thương mại. Công nghệ này giúp vượt qua rào cản ngôn ngữ đồng thời duy trì bản sắc giọng nói cá nhân trong các cuộc trò chuyện đa ngôn ngữ. Trong quá trình đánh giá, mô hình đạt chỉ số StreamLAAL khoảng 3 giây, thể hiện mức độ trễ thấp nhất trong số các hệ thống được so sánh, đồng thời vượt trội hơn một số API thương mại về điểm số GEMBA. Kho lưu trữ cung cấp dịch vụ suy luận SimulInfer và các công cụ đào tạo SimulTrain, mặc dù đầu ra giọng nói và nhân bản giọng nói đòi hỏi phải cấu hình riêng một dịch vụ tổng hợp giọng nói (TTS).