ggerganov/llama.cpp phát hành phiên bản b12261
Bản phát hành b12261 của llama.cpp giới thiệu bộ đệm tính toán được chia sẻ giữa các subcontext để xử lý đa phương thức (multimodal) cùng với các gói nhị phân chuẩn cho nhiều nền tảng. Phiên bản này cũng bao gồm các cải tiến phân bổ tại thời điểm tải (load-time allocation) cho việc tạo âm thanh. Bản cập nhật này tối ưu hóa việc sử dụng bộ nhớ trong các tác vụ tạo âm thanh và đa phương thức, giúp nâng cao hiệu suất khi chạy các mô hình AI cục bộ. Điều này đảm bảo các nhà phát triển và người dùng suy luận cục bộ tận dụng được khả năng quản lý tài nguyên tốt hơn trên nhiều nền tảng phần cứng khác nhau. Bản phát hành triển khai cụ thể bộ đệm tính toán được chia sẻ cho các thao tác đa phương thức (mtmd) theo pull request #31945, kết hợp với các tính năng phân bổ tại thời điểm tải. Các gói nhị phân biên dịch sẵn được cung cấp cho nhiều kiến trúc khác nhau bao gồm macOS, Linux, Android và Windows.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở được thiết kế để thực hiện suy luận hiệu quả trên các mô hình ngôn ngữ lớn bằng ngôn ngữ C và C++. Thư viện này đóng vai trò là nền tảng cốt lõi cho nhiều công cụ và ứng dụng AI cục bộ trên các phần cứng tiêu dùng khác nhau.