NVIDIA Phát Hành Mô Hình Cải Thiện Giọng Nói Đa Năng NemotronLabs RE-USE
NVIDIA đã phát hành NemotronLabs RE-USE, một mô hình cải thiện giọng nói đa năng đa ngôn ngữ với 9,6 triệu tham số được thiết kế để khôi phục âm thanh bị suy giảm trong khi vẫn giữ nguyên độ trung thực của người nói. Mô hình này sẵn sàng cho mục đích thương mại và hỗ trợ nhiều tốc độ lấy mẫu đầu vào cũng như các dạng suy giảm âm thanh khác nhau. Bản phát hành này cung cấp một công cụ nhẹ, có năng lực cao và sẵn sàng thương mại để làm sạch âm thanh bị nhiễu hoặc méo tiếng trên nhiều ngôn ngữ. Nó mang lại lợi ích cho các nhà phát triển và nhà sáng tạo đang làm việc trên các ứng dụng AI cục bộ, xử lý giọng nói và khôi phục âm thanh. Mô hình xử lý tiếng ồn cộng hưởng, hiện tượng vang, cắt xén biên độ, giới hạn băng thông, lỗi giả mã hóa (codec artifacts), mất gói tin và micrô chất lượng thấp ở các tốc độ lấy mẫu từ 8 kHz đến 48 kHz. Một biến thể chuyên biệt là NVIDIA-NemotronLabs-RE-USE-laughter có sẵn để bảo toàn tiếng cười tốt hơn, và mô hình tập trung vào việc giữ lại người nói chính trong các đoạn hội thoại chồng chéo.
## KIẾN THỨC NỀN
Các mô hình cải thiện giọng nói là các hệ thống học máy được huấn luyện để loại bỏ tiếng ồn nền, hiện tượng vang và độ méo tiếng khỏi âm thanh ghi lại nhằm cải thiện độ rõ ràng và dễ nghe. Lỗi giả mã hóa (codec artifacts) đề cập đến các hiện tượng méo tiếng hoặc suy giảm chất lượng âm thanh không mong muốn xảy ra trong quá trình nén và giải nén dữ liệu âm thanh bằng codec.