OpenAI tối ưu hóa độ trễ phiên thoại và kiến trúc định tuyến âm thanh
OpenAI đã tối ưu hóa khả năng thoại bằng cách định tuyến âm thanh qua một đường truyền nhanh chuyên dụng (fast path) trong khi xử lý suy luận phức tạp và sử dụng công cụ một cách bất đồng bộ. Ngoài ra, họ đã giảm độ trễ khởi động phiên thoại từ sáu lượt truyền khứ hồi (round trip) xuống chỉ còn một lượt. Sự tối ưu hóa này cải thiện đáng kể khả năng phản hồi của các tương tác thoại thời gian thực, giúp các cuộc hội thoại với AI trở nên tự nhiên và tức thời hơn. Bằng cách giảm thiểu số lượt truyền khứ hồi trên mạng, OpenAI nâng cao trải nghiệm người dùng, đặc biệt là trên các kết nối mạng chậm hoặc không ổn định. Kiến trúc này tách biệt việc truyền âm thanh tức thời khỏi các tác vụ tính toán nặng như suy luận, vốn được xử lý bất đồng bộ. Thay đổi cấu trúc này cho phép phiên thoại thiết lập kết nối chỉ trong một lượt khứ hồi duy nhất thay vì yêu cầu sáu cái bắt tay mạng tuần tự.
## KIẾN THỨC NỀN
Độ trễ mạng thường được đo bằng thời gian khứ hồi (RTT), tức là khoảng thời gian từ khi máy khách gửi yêu cầu cho đến khi nhận được phản hồi từ máy chủ. Trong các ứng dụng thoại thời gian thực, RTT cao hoặc nhiều lượt khứ hồi trong quá trình khởi tạo phiên có thể gây ra sự chậm trễ đáng kể, làm gián đoạn luồng hội thoại tự nhiên.