ggerganov/llama.cpp phát hành phiên bản b12087 hỗ trợ Nemotron 3.5 Transcribe

Phiên bản llama.cpp b12087 giới thiệu khả năng hỗ trợ nguyên bản cho mô hình Nemotron 3.5 Transcribe của NVIDIA trong khung làm việc đa phương thức (mtmd) của nó. Ngoài ra, bản cập nhật còn bao gồm các bản sửa lỗi cho từ vựng mô hình nháp dưới các mục tiêu Nemotron-H và áp dụng các ràng buộc BF16 cho các điểm kiểm tra Transcribe. Bản cập nhật này cho phép người dùng chạy các mô hình nhận diện giọng nói và âm thanh mã nguồn mở tiên tiến nhất ngay trên thiết bị cục bộ với hiệu suất cao. Việc mở rộng các tính năng đa phương thức trong llama.cpp giúp thu hẹp khoảng cách giữa các mô hình ngôn ngữ lớn và các công cụ chuyển đổi giọng nói chuyên specialized. Bản phát hành tích hợp các bản cập nhật cho dự đoán FIFO của người loa, chuẩn hóa phổ mel bên trong hàm encode_windows và ánh xạ kernel người nói. Nó cũng thực hiện việc kiểm tra tính hợp lệ nghiêm ngặt đối với các hình dạng mmproj của Nemotron Transcribe trong quá trình chuyển đổi mô hình.