Bản phát hành b11571 của llama.cpp bổ sung hỗ trợ mô hình vLLM decision 2
Bản phát hành b11571 của llama.cpp giới thiệu khả năng hỗ trợ mô hình vLLM decision 2 cùng với các bản cập nhật định kỳ, quy tắc đặt tên rõ ràng hơn và các bước kiểm tra tính hợp lệ nghiêm ngặt hơn. Bản cập nhật nhỏ này tiếp tục quá trình phát triển liên tục và tích hợp các kiến trúc mô hình mới của dự án. Bản phát hành này đảm bảo rằng người dùng theo dõi hệ sinh thái có thể chạy các kiến trúc mô hình mới nhất cục bộ với thiết lập tối thiểu. Nó duy trì vai trò của llama.cpp như một công cụ nền tảng cho việc suy luận AI hiệu quả và đa nền tảng. Bản cập nhật tích hợp yêu cầu kéo #30378 để hỗ trợ các định dạng pplx-decider và vLLM d2 đồng thời dọn dẹp mã lọc tensor dư thừa. Nó cũng bao gồm các tệp nhị phân được biên dịch sẵn toàn diện trên nhiều nền tảng phần cứng như CPU, CUDA, Vulkan và Snapdragon.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở cho phép suy luận hiệu quả đối với các mô hình ngôn ngữ lớn trên nhiều phần cứng tiêu dùng khác nhau bằng ngôn ngữ C và C++. Được phát triển cùng với thư viện tensor GGML, công cụ này đã trở thành tiêu chuẩn thực tế để chạy các mô hình cục bộ trên nhiều thiết bị đa dạng.