Kitten-TTS 2: Mô hình TTS 1.58-bit mã nguồn mở hỗ trợ suy luận trên CPU
KittenML vừa phát hành Kitten-TTS 2, một mô hình chuyển văn bản thành giọng nói mã nguồn mở với 1,7 tỷ tham số sử dụng trọng số tam phân 1,58-bit. Mô hình này hỗ trợ suy luận thời gian thực trên CPU, nhân bản giọng nói không cần huấn luyện (zero-shot) từ các đoạn âm thanh ngắn, hỗ trợ đa ngôn ngữ và điều khiển cảm xúc biểu cảm. Mô hình này cung cấp một giải pháp thay thế mã nguồn mở cực kỳ hiệu quả cho các nhà cung cấp dịch vụ chuyển văn bản thành giọng nói trên đám mây thương mại như ElevenLabs, cho phép tự lưu trữ chi phí thấp và tạo giọng nói theo thời gian thực trên phần cứng phổ thông mà không cần GPU chuyên dụng. Mỗi trọng số tuyến tính trong mô hình bị giới hạn ở ba giá trị (-1, 0, +1), giúp giảm đáng kể dung lượng bộ nhớ. Mô hình hỗ trợ nhân bản giọng nói không cần huấn luyện trước bằng hơn 20 ngôn ngữ chỉ với chưa đầy 5 giây âm thanh mẫu.
## KIẾN THỨC NỀN
Mô hình 1,58-bit, còn được gọi là mô hình tam phân, giới hạn các trọng số mạng nơ-ron ở ba trạng thái (-1, 0 và +1), mang lại khoảng 1,58 bit thông tin cho mỗi trọng số nhằm đạt hiệu suất tính toán cao. Nhân bản giọng nói không cần huấn luyện (zero-shot) là kỹ thuật cho phép mạng nơ-ron mô phỏng ngay lập tức một giọng nói cụ thể bằng đoạn âm thanh mẫu ngắn mà không cần tinh chỉnh hay huấn luyện lại.