Mô hình Kokoro TTS giờ đây có thể sao chép bất kỳ giọng nói nào với rất ít VRAM bổ sung
Một lập trình viên đã kết hợp thành công mô hình chuyển văn bản thành giọng nói Kokoro với công cụ ToneColorConverter của OpenVoice để cho phép sao chép giọng nói bất kỳ. Tích hợp này đã được thêm vào như một công thức 'any-tts' trong audio.cpp, chỉ yêu cầu thêm khoảng 600 MB VRAM đỉnh. Phương pháp này cung cấp một cách tiếp cận nhẹ nhàng để trang bị khả năng sao chép giọng nói cho các mô hình chuyển văn bản thành giọng nói hiện có mà không cần huấn luyện lại tốn kém. Nó hạ thấp rào cản phần cứng để chạy các hệ thống tổng hợp âm thanh nâng cao và tùy chỉnh ngay trên máy cá nhân. Tích hợp này chỉ làm chậm khoảng 10% trên CUDA và hoạt động ở mức khoảng 0,5 lần tốc độ gốc trên CPU, nhưng vẫn đạt hiệu suất gấp 2 lần thời gian thực. Mô hình TTS cơ sở quyết định cách phát âm và ngữ điệu, trong khi ToneColorConverter áp dụng âm sắc của người nói mục tiêu.
## KIẾN THỨC NỀN
Kokoro là một mô hình chuyển văn bản thành giọng nói mã nguồn mở, trọng lượng nhẹ với 82 triệu tham số, nổi tiếng với khả năng tạo ra giọng nói tự nhiên một cách hiệu quả. OpenVoice là một khuôn khổ sao chép giọng nói có chứa thành phần ToneColorConverter độc lập, chịu trách nhiệm biến đổi âm sắc của âm thanh nguồn để khớp với người nói mục tiêu.