llama.cpp Phát Hành Phiên Bản b11946 Thêm Tính Năng Đàm Thoại và Chuyển Đổi Giọng Nói Thời Gian Thực
Bản phát hành b11946 của llama.cpp bổ sung hỗ trợ đàm thoại và chuyển đổi giọng nói thời gian thực thông qua một điểm cuối máy chủ `/v1/realtime` hoàn toàn mới. Bản cập nhật này cũng đảm bảo rằng các luồng (slots) trên máy chủ phản hồi lần lượt trên một ngữ cảnh duy nhất bằng cách lấy mẫu ngay sau bước giải mã của chính chúng. Tính năng lớn này nâng cao đáng kể khả năng của llama.cpp trong việc xây dựng các ứng dụng AI tương tác điều khiển bằng giọng nói cục bộ mà không phụ thuộc vào dịch vụ đám mây. Nó đưa quá trình suy luận cục bộ mã nguồn mã mở đến gần hơn với việc hỗ trợ các tác nhân đàm thoại thời gian thực và trợ lý giọng nói. Bản cập nhật làm cho thành phần server-realtime trở nên tự chứa và đặt cổng mặc định cho máy khách thời gian thực thành 9931. Ngoài ra, nó giải quyết các vấn đề đồng thời, nơi các phiên đồng thời trước đây trộn lẫn đầu ra của chúng do đọc nhầm các giá trị logits.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở được thiết kế để thực hiện suy luận hiệu quả trên các mô hình ngôn ngữ lớn cục bộ trên nhiều nền tảng phần cứng khác nhau. Logits đề cập đến các đầu ra dự đoán thô, chưa chuẩn hóa được tạo ra bởi các mô hình học máy trước khi được chuyển đổi thành xác suất.