Tyger: Mô hình giọng nói nguồn mở hỗ trợ nhận dạng ASR phát trực tuyến và điều khiển lượt nói song công hoàn toàn

Các nhà phát triển đã phát hành Tyger, một mô hình trọng số mở kết hợp NVIDIA Nemotron 3.5 ASR Streaming với một mạng GRU nhân quả để xử lý việc điều khiển lượt nói song công hoàn toàn theo thời gian thực cứ sau 80 ms. Cùng với mô hình này, họ cũng giới thiệu bộ công cụ tyger-s2s tích hợp Gemma 4 E4B FP8 và VoxCPM2 để vận hành các trợ lý giọng nói cục bộ có khả năng xử lý ngắt lời và gọi công cụ. Bản phát hành này giải quyết một thách thức cơ bản trong AI hội thoại bằng cách cho phép các trợ lý giọng nói lắng nghe và nói đồng thời mà không bị nhầm lẫn âm thanh phát lại của chính nó với đầu vào từ người dùng. Nó hạ thấp rào cản trong việc xây dựng các trợ lý giọng nói cục bộ phản hồi nhanh, độ trễ thấp và có khả năng ngắt lời tự nhiên. Mô hình Tyger hoạt động cứ sau 80 ms mà không cần nhìn trước để lựa chọn giữa các trạng thái trả lời, dừng lại hoặc hưởng ứng, đồng thời theo dõi cả âm thanh từ micrô và âm thanh phát lại để ngăn chặn tiếng vang. Tuy nhiên, toàn bộ bộ công cụ tyger-s2s yêu cầu khoảng 28 GB VRAM, hiện chỉ giới hạn ở định dạng FP32 và mới chỉ được đánh giá ngoại tuyến trên card đồ họa RTX 5090.