audio.cpp Cập Nhật Hỗ Trợ Trò Chuyện Thoại Ảo Thời Gian Thực Cục Bộ
Bản cập nhật cho audio.cpp giới thiệu một chuỗi xử lý trò chuyện thoại hình đại diện thời gian thực cục bộ, kết hợp các mô hình SoulX-FlashHead, OWSM v4 và LFM3-Audio ngay trong giao diện WebUI của nó. Thiết lập này cho phép người dùng trải nghiệm các cuộc trò chuyện giọng nói tương tác trực tiếp với một bức chân dung hoạt họa chạy cục bộ. Sự tích hợp này chứng minh tính khả thi của việc chạy các chuỗi sinh dữ liệu phức tạp gồm nhiều mô hình hoàn toàn ngoại tuyến trên phần cứng tiêu dùng với độ trễ thấp. Nó làm nổi bật sự tiến bộ nhanh chóng của hệ sinh thái AI cục bộ trong việc hợp nhất giọng nói, văn bản và tạo hình ảnh trực quan để mang lại trải nghiệm sống động. Việc đạt được hiệu suất thời gian thực đòi hỏi phần cứng cao cấp như RTX 4090 hoặc RTX 5090, cùng với cuDNN để tránh việc tốc độ suy luận bị giảm đi một nửa và dung lượng VRAM tăng gấp đôi. Chuỗi xử lý này đạt độ trễ khoảng 850ms trên RTX 5090, mặc dù các tối ưu hóa như giảm số lần gọi kép đến LFM3-Audio có thể cải thiện hiệu suất hơn nữa.
## KIẾN THỨC NỀN
SoulX-FlashHead là một khuôn khổ có 1,3 tỷ tham số được thiết kế để tạo video chân dung phát trực tuyến thời gian thực, độ trung thực cao. OWSM v4 là mô hình nhận diện giọng nói mã nguồn mở được sử dụng để phiên âm đầu vào âm thanh, và LFM3-Audio là mô hình tổng thể gọn nhẹ của Liquid AI có khả năng xử lý các phản hồi trò chuyện và tác vụ chuyển văn bản thành giọng nói.