Pipecat-AI ra mắt PhoneLLM-Alpha-1 cho các tác vụ trợ lý giọng nói độ trễ thấp và chi phí rẻ
Pipecat-AI đã công bố PhoneLLM-alpha-1, một mô hình mã nguồn mở (open-weights) được tối ưu hóa riêng cho các tác vụ trợ lý giọng nói. Mô hình này được tuyên bố là đạt hiệu suất tương đương với các mô hình thương mại trong các tác vụ giọng nói nhưng chỉ bằng 1/3 độ trễ và 1/18 chi phí. Các ứng dụng giọng nói thời gian thực đòi hỏi độ trễ cực thấp và khả năng gọi công cụ (tool-calling) đáng tin cậy để duy trì cuộc hội thoại tự nhiên. PhoneLLM-alpha-1 cung cấp một giải pháp thay thế mã nguồn mở tiết kiệm chi phí so với các API thương mại, cho phép các nhà phát triển triển khai các trợ lý giọng nói phản hồi nhanh cục bộ hoặc trên hạ tầng tùy chỉnh. Mô hình này sử dụng Nemotron 3 Nano làm mô hình nền tảng nhờ khả năng mở rộng hiệu quả trên phần cứng NVIDIA hiện đại. Ngoài ra, bộ dữ liệu đánh giá (benchmark) được tách biệt khỏi dữ liệu huấn luyện để đảm bảo mô hình có khả năng khái quát hóa tốt đối với các tình huống và yêu cầu doanh nghiệp mới.
## KIẾN THỨC NỀN
Pipecat là một khung phát triển (framework) Python mã nguồn mở được thiết kế để xây dựng các trợ lý AI hội thoại, đa phương thức và giọng nói thời gian thực. Trong kiến trúc trợ lý giọng nói, việc giảm thời gian để mô hình ngôn ngữ xử lý đầu vào và tạo phản hồi (độ trễ) là một trong những thách thức kỹ thuật quan trọng nhất. Các mô hình mã nguồn mở cho phép các nhà phát triển tối ưu hóa toàn bộ tiến trình suy luận (inference stack), bao gồm cả việc tăng tốc phần cứng tùy chỉnh, để giảm thiểu sự chậm trễ này.