~/LLAMA CPP/llama-cpp-adds-support-for-magevl-cowork-multimodal-model-via-pull-request

llama.cpp Thêm Hỗ Trợ Cho Mô Hình Multimodal MageVL-Cowork Thông Qua Pull Request

Một pull request mới cho llama.cpp do ngxson thực hiện đã bổ sung hỗ trợ cho mô hình đa phương thức MageVL-Cowork, đi kèm với các bản phát hành mô hình GGUF chính thức trên Hugging Face. Bản cập nhật này cho phép người dùng chạy mô hình 4 tỷ tham số này cục bộ cho các tác vụ tương tác máy tính và đa phương thức. Sự tích hợp này mở rộng hệ sinh thái các tác nhân AI đa phương thức có thể chạy cục bộ, cho phép các nhà phát triển thực thi các mô hình tương tác giao diện đồ họa tiên tiến một cách hiệu quả trên phần cứng phổ thông. Nó kết nối các công cụ suy luận mã nguồn mở với các tác nhân lai tiên tiến có khả năng vừa suy luận thị giác vừa thực thi mã. Pull request này tận dụng thành phần mtmd của llama.cpp để xử lý các kiến trúc đa phương thức. Các điểm kiểm tra GGUF tương ứng đã được ggml-org cung cấp nhằm tạo điều kiện thuận lợi cho việc triển khai trực tiếp tại máy cục bộ.

## KIẾN THỨC NỀN

llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến dùng để thực hiện suy luận trên các mô hình ngôn ngữ lớn và mô hình đa phương thức một cách cục bộ. GGUF là định dạng tệp nhị phân được thiết kế bởi dự án llama.cpp nhằm tải nhanh, lưu trữ hiệu quả và lượng tử hóa các mô hình học máy.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#multimodal#GGUF#open-source-ai

$ subscribe --daily