llama.cpp Phát Hành Bản b11551 Hỗ Trợ Mô Hình MiniCPM-V 4.7
Phiên bản b11551 của llama.cpp bổ sung khả năng chuyển đổi GGUF và suy luận đa thức cho mô hình MiniCPM-V 4.7. Bản phát hành bao gồm các cập nhật cho kịch bản chuyển đổi mô hình bằng Python, tinh chỉnh vị trí nhúng và thêm các thuộc tính metadata GGUF mới. Bản cập nhật này cho phép các nhà phát triển và nghiên cứu chạy mô hình MiniCPM-V 4.7 cục bộ trên nhiều phần cứng khác nhau, bao gồm cả thiết bị di động và edge. Điều này phản ánh xu hướng đưa các tính năng thị giác-ngôn ngữ siêu nhẹ lên thiết bị người dùng mà không cần phụ thuộc vào API đám mây. Các chi tiết kỹ thuật nổi bật bao gồm việc hỗ trợ bố cục dạng lưới (grid layout), xử lý trục thời gian trong mRoPE (Multimodal Rotary Position Embedding) từ các ô vị trí bổ sung, và thêm metadata `rope.section_order` vào định dạng GGUF.
## KIẾN THỨC NỀN
llama.cpp là một bộ khung suy luận C/C++ mã nguồn mở phổ biến, được thiết kế để chạy các mô hình ngôn ngữ lớn và mô hình thị giác-ngôn ngữ đa thức cục bộ thông qua định dạng GGUF lượng thể hóa. MiniCPM-V là dòng mô hình thị giác-ngôn ngữ hiệu suất cao do OpenBMB phát triển, tối ưu cho việc hiểu hình ảnh và văn bản trên các thiết bị nhỏ gọn.