ggerganov/llama.cpp Phát Hành Phiên Bản b12098 Hỗ Trợ Định Dạng Prompt Video Qwen3-VL
Bản phát hành b12098 của llama.cpp giới thiệu khả năng hỗ trợ chính xác cho định dạng prompt video Qwen3-VL đi kèm với các tệp nhị phân biên soạn đa nền tảng tiêu chuẩn. Bản cập nhật này mở rộng các tính năng đa phương thức của thư viện để xử lý đầu vào video từ kiến trúc Qwen3-VL một cách chính xác hơn. Bản cập nhật này rất quan trọng đối với các kỹ sư chạy các mô hình thị giác-ngôn ngữ tiên tiến trên thiết bị cục bộ, giúp kích hoạt khả năng tăng tốc phần cứng mượt mà cho các luồng công việc đa phương thức phức tạp. Nó đảm bảo cơ sở hạ tầng mã nguồn mở bắt kịp các kiến trúc đa phương thức phát triển nhanh chóng từ các đội ngũ như Alibaba Cloud. Bản phát hành bao gồm các tệp nhị phân được dựng sẵn trên nhiều hệ điều hành và các phụ trợ tăng tốc khác nhau, bao gồm CUDA, Vulkan, OpenVINO và SYCL. Đáng chú ý, các bản dựng trên macOS Apple Silicon kích hoạt KleidiAI vẫn tạm thời bị vô hiệu hóa trong khi chờ công việc tích hợp tiếp theo.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở thực hiện việc suy luận cục bộ trên các mô hình ngôn ngữ và thị giác lớn bằng cách sử dụng thư viện tensor GGML, đóng vai trò là phụ trợ nền tảng cho các công cụ như Ollama và LM Studio. Qwen3-VL là dòng mô hình ngôn ngữ lớn đa phương thức do Alibaba Cloud phát triển, có khả năng xử lý nguyên bản các đầu vào dạng văn bản, hình ảnh và video.