Tìm kiếm giao diện chat cục bộ hỗ trợ đầu vào âm thanh gốc cho LLM đa phương thức
Một nhà phát triển đang tìm kiếm các giao diện trò chuyện cục bộ có thể truyền trực tiếp các tệp âm thanh thô vào các mô hình đa phương thức (như Gemma 4) thay vì sử dụng một quy trình chuyển giọng nói thành văn bản (STT) riêng biệt. Mặc dù tính năng này hoạt động tốt khi lập trình qua các khung như Pydantic AI, nhưng hiện tại đang thiếu các giao diện chat cục bộ thân thiện với người dùng hỗ trợ khả năng âm thanh gốc này. Việc loại bỏ lớp STT riêng biệt giúp giảm độ trễ cho các trợ lý giọng nói và bảo toàn các sắc thái âm thanh (như tông giọng và cảm xúc) vốn bị mất đi trong quá trình chuyển âm thành văn bản. Điều này làm nổi bật khoảng trống về công cụ trong hệ sinh thái AI cục bộ khi các mô hình đa phương thức hỗ trợ âm thanh gốc ngày càng trở nên phổ biến. Người dùng đã thử nghiệm thành công việc xử lý âm thanh gốc bằng Gemma 4 E4B trên công cụ suy luận oMLX thông qua Pydantic AI trong Python, nhưng lưu ý rằng hiện chỉ có giao diện web tích hợp của llama-server là hỗ trợ tính năng này trực tiếp.
## KIẾN THỨC NỀN
Các trợ lý giọng nói truyền thống sử dụng một quy trình tuần tự: Chuyển giọng nói thành văn bản (STT) để phiên âm, một LLM dạng văn bản để tạo phản hồi, và Chuyển văn bản thành giọng nói (TTS) để đọc lại. Các LLM đa phương thức hỗ trợ âm thanh gốc xử lý trực tiếp đầu vào âm thanh, giúp giảm độ trễ và tránh lỗi phiên âm. oMLX là một máy chủ suy luận mã nguồn mở được tối ưu hóa cho Apple Silicon sử dụng khung MLX của Apple, trong khi Pydantic AI là một khung Python để xây dựng các tác nhân AI cấp sản xuất.