Bản phát hành llama.cpp b11481 bổ sung hỗ trợ mô hình thị giác Cohere 2
Bản phát hành b11481 của llama.cpp chính thức bổ sung hỗ trợ cho các mô hình thị giác Cohere 2 trong hệ thống đa thức (mtmd) thông qua pull request #30062. Điều này cho phép người dùng chạy trực tiếp các tính năng thị giác - ngôn ngữ của Cohere 2 trên các thiết bị máy tính và di động được hỗ trợ. Việc bổ sung hỗ trợ thị giác Cohere 2 giúp mở rộng danh mục các mô hình đa thức mã nguồn mở có thể chạy cục bộ trên phần cứng phổ thông mà không phụ thuộc vào API đám mây. Điều này tiếp tục củng cố vị thế của llama.cpp như một môi trường thực thi đa nền tảng hàng đầu cho suy luận AI cục bộ. Bản cập nhật bao gồm các tối ưu hóa như hợp nhất lớp tuyến tính (`fused linear_1`) và loại bỏ ánh xạ tensor dư thừa. Các tệp thực thi có sẵn trên macOS, Linux, Windows và Android, hỗ trợ các backend như CUDA 12/13, Vulkan, ROCm, SYCL, OpenVINO và phần cứng Snapdragon.
## KIẾN THỨC NỀN
llama.cpp là một thư viện suy luận mã nguồn mở phổ biến bằng C/C++ được thiết kế để chạy các mô hình ngôn ngữ lớn (LLM) hiệu quả trên phần cứng phổ thông. Phân hệ đa thức (`mtmd`) mở rộng tính năng này bằng cách cho phép các bộ mã hóa thị giác xử lý hình ảnh cùng với văn bản đầu vào.