Lure-TTS và Lure-Turbo: Mô hình giọng nói 600M mã nguồn mở tốc độ cao
Một lập trình viên đã giới thiệu Lure-TTS và Lure-Turbo, các mô hình giọng nói mã nguồn mở 600 triệu tham số được huấn luyện với chi phí dưới 200 USD và đạt tốc độ suy luận nhanh gấp 4 lần thời gian thực. Các mô hình này hỗ trợ sao chép giọng nói, gắn thẻ nội tuyến cho cảm xúc hoặc sự kiện, và điều khiển giọng nói theo định hướng. Dự án này chứng minh rằng các trợ lý giọng nói hiệu năng cao, dễ tùy chỉnh có thể được xây dựng hiệu quả trên phần cứng tầm trung mà không cần ngân sách công nghiệp khổng lồ. Nó giúp hạ thấp đáng kể rào cản cho các nhà phát triển muốn chạy mô hình chuyển văn bản thành giọng nói cục bộ và phản hồi nhanh. Được huấn luyện bằng cách tinh chỉnh mô hình cơ sở sử dụng các kỹ thuật như chưng cất chính sách đồng thời đa giáo viên (multi-teacher on-policy distillation), Lure-Turbo tối ưu hóa bộ dự đoán mã từ 15 lượt xuống còn 3 lượt để đạt hệ số thời gian thực (RTF) là 0,14. Công cụ suy luận đi kèm hỗ trợ các nền tảng CUDA, Mac (mlx-audio) và CPU (audio.cpp) để tạo âm thanh khởi đầu nhanh chóng.
## KIẾN THỨC NỀN
Chưng cất chính sách (on-policy distillation) là một kỹ thuật học máy trong đó mô hình học sinh tạo ra các quỹ đạo được đánh giá và hướng dẫn bởi mô hình giáo viên nhằm nâng cao hiệu suất. Việc tối ưu hóa chuyển văn bản thành giọng nói (TTS) thường tập trung vào việc giảm hệ số thời gian thực, cho phép mô hình tổng hợp âm thanh nhanh hơn thời gian nghe thực tế.