Bản phát hành llama.cpp b11941 bổ sung hỗ trợ các mô hình LiquidAI LFM3 Audio và Omni
Bản phát hành b11941 của llama.cpp giới thiệu hỗ trợ cho các mô hình LFM3-Audio-2B và LFM3-Omni-2B của LiquidAI, mang lại các tùy chọn giọng nói chuyển văn bản thành giọng nói tích hợp. Người dùng giờ đây có thể tận dụng các kiến trúc đa phương thức mới này trực tiếp trong môi trường chạy cục bộ. Bản cập nhật này mở rộng khả năng của trình chạy LLM cục bộ vượt ra ngoài xử lý văn bản truyền thống để xử lý các mô hình âm thanh và đa phương thức nâng cao. Các nhà phát triển và người dùng quan tâm đến quyền riêng tư có thể chạy các mô hình giọng nói tiên tiến cục bộ mà không cần phụ thuộc vào các API dựa trên đám mây. Bản cập nhật bao gồm việc ánh xạ cấu hình cho các khác biệt về bố cục của LFM3-Audio, vô hiệu hóa flash attention cho thành phần depthformer của LFM3-Audio, và giữ cho các bộ chập mã hóa (encoder convolutions) và codec ở trạng thái không lượng tử hóa nhằm bảo tồn chất lượng. Việc lựa chọn giọng nói được hỗ trợ thông qua cờ --tts-voice trong llama-tts hoặc tham số 'voice' trong điểm cuối /tts của máy chủ.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm nguồn mở phổ biến do Georgi Gerganov sáng lập, thực hiện suy luận hiệu quả trên nhiều mô hình ngôn ngữ lớn khác nhau bằng cách sử dụng thư viện tensor GGML. Thư viện này cho phép người dùng chạy các mô hình AI cục bộ trên phần cứng phổ thông từ GPU máy tính để bàn đến các thiết bị di động.