ggerganov/llama.cpp phát hành phiên bản b11572 hỗ trợ mô hình vLLM d3
Phiên bản llama.cpp b11572 giới thiệu khả năng hỗ trợ các mô hình vLLM d3 và pplx-decider, cùng với các tệp nhị phân tiêu chuẩn đa nền tảng. Bản cập nhật này cũng bao gồm các quy tắc đặt tên được tinh chỉnh và kiểm tra xác thực nghiêm ngặt hơn. Bản phát hành này mở rộng khả năng tương thích của llama.cpp với các kiến trúc từ các hệ sinh thái suy luận khác như vLLM. Khả năng tương tác này giúp các nhà phát triển dễ dàng chạy nhiều loại mô hình hơn trên cục bộ trên các cấu hình phần cứng đa dạng. Bản cập nhật có các commit cụ thể giải quyết khả năng tương thích của mô hình vLLM d3 và d2, tích hợp pplx-decider và các quy tắc xác thực nghiêm ngặt. Các tệp nhị phân được biên dịch sẵn được cung cấp cho macOS, Linux, Windows và Android trên nhiều trình tăng tốc khác nhau bao gồm CUDA, Vulkan và NPU Snapdragon.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến được viết bằng C/C++ dùng để thực hiện suy luận cục bộ hiệu quả trên các mô hình ngôn ngữ lớn như Llama của Meta. Thư viện này được phát triển đồng thời với thư viện tensor GGML và đóng vai trò là nền tảng cốt lõi cho nhiều ứng dụng AI chạy trên thiết bị cá nhân.