Bản phát hành llama.cpp b10155 bổ sung hỗ trợ đầu vào âm thanh MiMo-V2.5
Dự án llama.cpp đã phát hành phiên bản b10155, giới thiệu hỗ trợ C++ gốc và bộ chuyển đổi GGUF cho mô hình đầu vào âm thanh MiMo-V2.5. Bản cập nhật này cho phép xử lý các mô hình âm thanh dựa trên RVQ (Residual Vector Quantization) trực tiếp trong hệ sinh thái llama.cpp. Bản phát hành này mở rộng khả năng của llama.cpp sang xử lý âm thanh đa phương thức, cho phép các nhà phát triển chạy các mô hình âm thanh sang văn bản hoặc mô hình đa phương thức cục bộ một cách hiệu quả. Điều này giúp giảm rào cản khi triển khai các ứng dụng AI âm thanh tiên tiến trên phần cứng tiêu dùng. Bản cập nhật bao gồm một bộ chuyển đổi GGUF chuyên dụng cho âm thanh MiMo, một triển khai bằng C++ và các bản sửa lỗi cho các lớp tích chập (convolutional layers). Mô hình MiMo-V2.5 được hỗ trợ dựa trên kỹ thuật Residual Vector Quantization (RVQ) để nén và biểu diễn dữ liệu âm thanh.
## KIẾN THỨC NỀN
MiMo-V2.5 là một mô hình đa phương thức gốc do Xiaomi phát triển, hỗ trợ hiểu văn bản, hình ảnh, video và âm thanh. Residual Vector Quantization (RVQ) là một kỹ thuật xấp xỉ các vectơ nhiều chiều bằng cách sử dụng một chuỗi các bảng mã (codebooks), rất hiệu quả trong việc nén tín hiệu âm thanh. GGUF là định dạng tệp nhị phân được tối ưu hóa để tải và lưu trữ nhanh các trọng số mô hình ngôn ngữ lớn, được sử dụng rộng rãi trong hệ sinh thái llama.cpp.