~/AI/higurashi-ai-releases-haru-4b-full-duplex-spoken-dialogue-model

Higurashi-AI Phát Hành Mô Hình Đối Thoại Thoại Full-Duplex Haru-4B

Higurashi-AI vừa phát hành Haru-4B, một mô hình nền tảng đa ngôn ngữ 4 tỷ tham số có khả năng đối thoại bằng giọng nói full-duplex liên tục. Mô hình hoạt động ở độ trễ cực thấp 7,5 Hz, cho phép lắng nghe và nói đồng thời mà không cần sử dụng mã thông báo âm thanh rời rạc. Bản phát hành mã nguồn mở này đánh dấu một bước tiến kỹ thuật quan trọng bằng cách thay thế các giao diện phiên làm việc tuần tự truyền thống và các bộ biến đổi âm thanh riêng biệt bằng một mô hình ngôn ngữ duy nhất. Điều này tạo điều kiện cho các nhà nghiên cứu và lập trình viên xây dựng các tương tác giọng nói tự nhiên, giống con người hơn trên nhiều ngôn ngữ. Haru-4B xử lý và tạo ra các khung âm thanh và văn bản cứ sau 133 ms bằng cách tổng hợp chúng vào một vị trí duy nhất của mô hình ngôn ngữ. Mô hình sử dụng phương pháp lấy mẫu MeanFlow thông qua một đầu MLP nhỏ để tạo ra biểu diễn âm thanh tiềm ẩn 64 chiều trong một bước lấy mẫu duy nhất, hỗ trợ chín ngôn ngữ khác nhau.

## KIẾN THỨC NỀN

Các hệ thống đối thoại giọng nói truyền thống thường hoạt động theo phương thức bán song công (half-duplex) dựa trên lượt, trong đó hệ thống phải chờ người dùng nói xong mới có thể tạo ra phản hồi. Các hệ thống trò chuyện song công toàn phần (full-duplex) cho phép lắng nghe và nói đồng thời, mô phỏng sát sao động lực học của cuộc trò chuyện tự nhiên giữa người với người.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#AI#Audio Generation#Speech-to-Speech#Large Language Models#Open Source

$ subscribe --daily