llama.cpp Phát hành Bản b11447 Bổ sung Hỗ trợ cho Mô hình pplx-decider của Perplexity
Trình thực thi LLM mã nguồn mở llama.cpp đã phát hành bản dựng b11447, bổ sung khả năng hỗ trợ cho kiến trúc mô hình pplx-decider của Perplexity AI. Bản cập nhật này cũng làm mới các gói thực thi được biên dịch sẵn trên nhiều nền tảng bao gồm Linux, Windows, macOS, Android và Snapdragon. Việc hỗ trợ pplx-decider cho phép các nhà phát triển chạy cục bộ các mô hình ra quyết định của Perplexity thông qua hạ tầng suy luận tối ưu trên CPU và GPU của llama.cpp. Điều này cho thấy nỗ lực của llama.cpp trong việc nhanh chóng tích hợp các kiến trúc mô hình tinh chỉnh mới vào hệ sinh thái của mình. Thay đổi này được theo dõi qua pull request #30044 và đã được đưa vào các bản dựng sẵn cho CUDA 12/13, Vulkan, ROCm, OpenVINO và SYCL. Đáng chú ý, bản dựng macOS Apple Silicon được bật tăng tốc KleidiAI của Arm vẫn tạm thời bị vô hiệu hóa trong phiên bản này.
## KIẾN THỨC NỀN
llama.cpp là một bộ khung chạy mô hình C/C++ được thiết kế để thực thi các mô hình ngôn ngữ lượng hóa với độ trễ thấp trên nhiều nền tảng khác nhau. Các mô hình pplx-decider của Perplexity AI (như pplx-decider-v1-27b) là biến thể được tinh chỉnh dựa trên các kiến trúc như Qwen nhằm đánh giá và lựa chọn chiến lược suy luận hoặc điều hướng truy vấn tối ưu.