llama.cpp Phát Hành Phiên Bản b11156 Hỗ Trợ Kiến Trúc Thị Giác-Ngôn Ngữ Ling 3.0 VL
Dự án mã nguồn mở llama.cpp đã phát hành bản dựng b11156, bổ sung khả năng hỗ trợ cho kiến trúc mô hình thị giác-ngôn ngữ Ling 3.0 VL. Bản cập nhật tích hợp Ling 3.0 VL vào kiến trúc BailingMoeV3 sẵn có và xử lý các phân đoạn nhúng vị trí mRoPE (Multimodal Rotary Position Embedding). Điều này cho phép thực thi suy luận định lượng (quantized inference) cục bộ cho kiến trúc đa thức Ling 3.0 VL của Ant Group trên nhiều nền tảng phần cứng thương mại. Nó tiếp tục mở rộng khả năng của llama.cpp trong việc hỗ trợ các mô hình thị giác-ngôn ngữ hỗn hợp chuyên gia (MoE) mã nguồn mở. Về mặt kỹ thuật, việc triển khai Ling 3.0 VL dựa trên kiến trúc BailingMoeV3 đồng thời giữ nguyên danh sách RoPE chuẩn hóa chung khi phân nhánh trên các phân đoạn mRoPE. Các bản biên dịch sẵn đã được phát hành cho nhiều hệ điều hành và backend, bao gồm CUDA 13, Vulkan, OpenVINO và NPU Snapdragon.
## KIẾN THỨC NỀN
llama.cpp là một framework C/C++ phổ biến được thiết kế để chạy suy luận cục bộ hiệu quả cho các mô hình ngôn ngữ lớn và mô hình thị giác-ngôn ngữ với chi phí tài nguyên tối thiểu. Ling 3.0 Flash VL là mô hình hỗn hợp chuyên gia (MoE) đa thức do Ant Group phát triển, bổ sung khả năng hiểu hình ảnh vào các mô hình ngôn ngữ văn bản. Multimodal Rotary Positional Embedding (mRoPE) là kỹ thuật mã hóa vị trí giúp mở rộng RoPE truyền thống để xử lý dữ liệu nhiều chiều như tọa độ không gian của hình ảnh cùng với thứ tự của các token văn bản.