~/TEXT TO SPEE/tiny-voca-a-fully-open-4-5m-parameter-tts-running-70x-real

tiny-voca: Mô hình TTS 4,5 triệu tham số mã nguồn mở hoàn toàn chạy nhanh gấp 70 lần thời gian thực trên CPU

Một lập trình viên đã phát hành tiny-voca, một mô hình chuyển văn bản thành giọng nói mã nguồn mở chỉ có 4,5 triệu tham số, có thể chạy trực tiếp trên trình duyệt web và đạt tốc độ nhanh gấp 70 lần thời gian thực trên CPU. Dự án cung cấp sự minh bạch hoàn toàn bằng cách mã hóa nguồn mở toàn bộ mã nguồn, trọng số, bộ chuyển đổi âm vị tùy chỉnh và tập dữ liệu huấn luyện. Mô hình siêu nhẹ này hỗ trợ trí tuệ nhân tạo biên hiệu quả và tạo âm thanh phía máy khách mà không cần phụ thuộc vào cơ sở hạ tầng phía máy chủ hoặc các bộ chuyển đổi giọng nói thần kinh nặng nề. Bằng cách công khai toàn bộ các thành phần bao gồm cả tập dữ liệu, dự án cung cấp một nguồn tài nguyên quý giá cho các nhà nghiên cứu và phát triển làm việc trong lĩnh vực tổng hợp giọng nói bị giới hạn tài nguyên. Với dung lượng chỉ 18 MB, tiny-voca loại bỏ bộ chuyển đổi giọng nói thần kinh bằng cách sử dụng bộ tổng hợp nguồn-lọc nhỏ để tạo ra dạng sóng, đồng thời hỗ trợ PyTorch, ONNX và khả năng chạy trên trình duyệt. Tuy nhiên, mô hình hiện chỉ hỗ trợ tiếng Anh với hai giọng đọc, chưa hỗ trợ nhân bản giọng nói và đôi khi phát âm sai tên nước ngoài hoặc các từ có cách viết kỳ lạ.

## KIẾN THỨC NỀN

Bộ chuyển đổi giọng nói thần kinh (neural vocoder) là một mô hình học máy chuyển đổi các biểu diễn giọng nói trung gian như phổ đồ mel thành dạng sóng miền thời gian có thể nghe được. Bộ chuyển đổi âm vị (phonemizer) là công cụ chuyển văn bản viết thành các âm vị cấu thành, đây là các đơn vị âm thanh riêng biệt giúp phân biệt từ này với từ khác trong một ngôn ngữ.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#Text-to-Speech#Open Source#Machine Learning#Edge AI#Audio Generation

$ subscribe --daily