llama.cpp b10762 Bổ Sung Hỗ Trợ Mô Hình DeepSeek-V4-Flash-Vision-Exp
Bản phát hành llama.cpp b10762 bổ sung hỗ trợ cho mô hình đa mô thức thử nghiệm DeepSeek-V4-Flash-Vision-Exp trong hệ thống con đa mô thức (mtmd). Bản cập nhật này cũng tinh chỉnh xử lý giới hạn token tối thiểu và tối đa từ giao diện dòng lệnh (CLI) cùng với các cập nhật cấu hình RoPE vision nội bộ. Việc hỗ trợ DeepSeek-V4-Flash-Vision-Exp cho phép các nhà phát triển và nghiên cứu chạy kiến trúc thị giác - ngôn ngữ mới nhất của DeepSeek cục bộ trên nhiều loại phần cứng cá nhân. Điều này thể hiện cam kết của llama.cpp trong việc nhanh chóng đưa các mô hình thử nghiệm tiên tiến vào hệ sinh thái suy luận nguồn mở đa nền tảng. Bản phát hành sử dụng `GGML_ROPE_TYPE_VISION` để xử lý các mã hóa vị trí (positional embeddings) cho bộ mã hóa thị giác trong mô-đun `mtmd`. Các tập tin thực thi sẵn có trên macOS, Linux, Windows và Android hỗ trợ các backend như CUDA, Vulkan, ROCm, OpenVINO và SYCL.
## KIẾN THỨC NỀN
llama.cpp là một công cụ suy luận nguồn mở phổ biến được thiết kế để chạy các mô hình ngôn ngữ lớn cục bộ với độ trễ và mức tiêu thụ tài nguyên thấp. Các mô hình đa mô thức như DeepSeek-V4-Flash-Vision-Exp kết hợp bộ mã hóa thị giác với mô hình ngôn ngữ để thực hiện các tác vụ như mô tả hình ảnh, phân tích tài liệu và suy luận thị giác.