llama.cpp Phiên bản b12458 Hỗ trợ Mô hình YuE2-3B và Sửa lỗi Đa phương thức
Phiên bản b12458 của llama.cpp giới thiệu hỗ trợ chính thức cho mô hình tạo nhạc YuE2-3B cùng với các cải tiến hiệu suất và sửa lỗi API cho các tác vụ đa phương thức. Bản cập nhật này cũng khắc phục các sự cố phát trực tuyến, tinh chỉnh API theo lô và tối ưu hóa việc hợp nhất tensor ở phần cứng. Bản cập nhật này mở rộng khả năng của hệ sinh thái vượt ra ngoài các mô hình văn bản và thị giác truyền thống để hướng tới các quy trình tạo âm thanh và âm nhạc tiên tiến. Các nhà phát triển giờ đây có thể chạy các mô hình đa phương thức phức tạp cục bộ với tốc độ và độ tin cậy tốt hơn. Bản phát hành bổ sung các điều khiển Hướng dẫn Miễn phí Phân loại (CFG) và sửa lỗi lấy mẫu logit trên nhiều luồng máy chủ để ngăn chặn việc trộn lẫn chuỗi. Nó cũng mở rộng chuỗi định hình lại tensor để cho phép hợp nhất phụ trợ đúng cách, tương tự như cách xử lý hiện có trong qwen3tts.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở cho phép suy luận hiệu quả các mô hình ngôn ngữ lớn trên phần cứng người tiêu dùng bằng cách sử dụng thư viện tensor GGML. Logits đề cập đến các điểm dự đoán thô, chưa được chuẩn hóa do mô hình xuất ra trước khi áp dụng các hàm như softmax để xác định xác suất cuối cùng.