llama.cpp v0.8.0 ra mắt hỗ trợ LiquidAI LFM3 và truyền phát âm thanh
Phiên bản llama.cpp v0.8.0 giới thiệu khả năng hỗ trợ dòng mô hình LiquidAI LFM3, DeepSeek V4.1 Flash, API truyền phát âm thanh thử nghiệm, các endpoint máy chủ mới cho âm thanh thời gian thực, cùng nhiều cải tiến hiệu năng backend quan trọng. Bản cập nhật lớn này mở rộng năng lực suy luận cục bộ sang các kiến trúc đa phương thức hiện đại và các ứng dụng giọng nói, củng cố vai trò của llama.cpp như một cỗ máy nền tảng cho các công cụ AI chạy trên thiết bị cá nhân. Bản phát hành này nâng cấp GGML lên phiên bản v0.28.0, bổ sung bộ nhớ đệm SLRU 50/50 cho các mô hình Mixture of Experts (MoE), và tích hợp endpoint `/v1/realtime` mới triển khai giao thức thời gian thực của OpenAI.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến được thiết kế để thực hiện suy luận hiệu quả trên các mô hình ngôn ngữ lớn sử dụng phần cứng CPU và GPU. Thư viện này được phát triển song song với GGML, một thư viện tensor đa mục đích cung cấp các phép toán tensor nền tảng và định dạng tệp GGUF cho các mô hình đã được lượng tử hóa.