ggml-org phát hành llama.cpp b12413 kèm bản vá lỗi token hình ảnh
Bản phát hành llama.cpp b12413 mang đến bản vá lỗi cho vị trí của các token bắt đầu và kết thúc hình ảnh trong các mẫu trò chuyện, đi kèm với các bản phân phối nhị phân đa nền tảng tiêu chuẩn. Bản cập nhật này đảm bảo việc xử lý token đa phương thức chính xác trong các giao diện trò chuyện, điều này rất cần thiết để duy trì ngữ cảnh chính xác và khả năng xử lý trong các mô hình ngôn ngữ thị giác. Bản vá này giải quyết cụ thể vấn đề đặt token hình ảnh inkling 2 và bao gồm các trường hợp kiểm thử tương ứng để ngăn ngừa các lỗi tương tự trong tương lai.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở thực hiện việc suy luận trên nhiều mô hình ngôn ngữ lớn khác nhau bằng cách sử dụng thư viện tensor GGML. Nó đóng vai trò là thành phần cơ sở hạ tầng cốt lõi cho việc chạy AI cục bộ trên các nền tảng phần cứng đa dạng như CPU, CUDA và Vulkan.