Tích hợp ChatGPT Real-Time Voice API với Avatar 3D làm trợ lý AI trên máy tính
Một bản thử nghiệm mới đã trình diễn việc tích hợp ChatGPT Real-time Voice API của OpenAI với một avatar 3D, tạo ra một trợ lý AI tương tác trên máy tính có thể thay đổi biểu cảm khuôn mặt, trò chuyện và thực hiện các tác vụ. Sự tích hợp này thu hẹp khoảng cách giữa AI chỉ có giọng nói và tương tác trực quan giữa người và máy tính, mở đường cho các bạn đồng hành kỹ thuật số hoặc nhân viên ảo sống động, biểu cảm và cá nhân hóa hơn. Hệ thống tận dụng luồng âm thanh độ trễ thấp từ Realtime API để đồng bộ hóa đầu ra giọng nói của AI với các biểu cảm khuôn mặt và chuyển động cơ thể 3D trong thời gian thực. Tuy nhiên, bản demo này chủ yếu mang tính quảng bá và thiếu các chi tiết triển khai kỹ thuật chuyên sâu.
## KIẾN THỨC NỀN
Realtime API của OpenAI, được ra mắt dưới dạng thử nghiệm công khai (public beta) vào cuối năm 2024, cho phép các nhà phát triển xây dựng các trải nghiệm giọng nói đa phương thức với độ trễ thấp. Bằng cách kết hợp API này với các công cụ dựng hình 3D hoặc tạo avatar, các nhà phát triển có thể ánh xạ dữ liệu âm thanh thời gian thực sang các thông số mấp máy môi và hoạt ảnh khuôn mặt.