Phiên bản llama.cpp b10154 bổ sung tiện ích hiển thị thiết bị khả dụng
Dự án llama.cpp đã phát hành phiên bản b10154, mang đến một bản cập nhật nhỏ bổ sung hàm `common_print_available_devices()`. Hàm tiện ích này cho phép hệ thống in ra danh sách các thiết bị phần cứng khả dụng để chạy suy luận. Mặc dù đây là một bản phát hành tự động và nhỏ, hàm tiện ích này giúp các nhà phát triển dễ dàng xác định và gỡ lỗi xem các backend phần cứng nào (như CPU, GPU, hoặc thiết bị Vulkan/CUDA) có thể truy cập được bởi runtime. Điều này giúp đơn giản hóa việc thiết lập môi trường và khắc phục sự cố trên các nền tảng phần cứng khác nhau. Thay đổi này được đóng góp bởi Adrien Gallouët từ Hugging Face thông qua pull request #26170. Bản phát hành bao gồm các tệp thực thi được biên dịch sẵn cho nhiều nền tảng như Windows, Linux, macOS và Android, hỗ trợ các backend như CUDA, Vulkan, OpenVINO và SYCL.
## KIẾN THỨC NỀN
llama.cpp là một thư viện C/C++ mã nguồn mở phổ biến được thiết kế để suy luận cục bộ hiệu quả các mô hình ngôn ngữ lớn (LLM) như Llama. Thư viện này được phát triển song song với GGML, một thư viện tensor đa dụng, và đóng vai trò là công cụ cốt lõi cho nhiều công cụ AI chạy cục bộ như Ollama và LM Studio. Do hướng tới khả năng tương thích đa nền tảng, việc quản lý và phát hiện các bộ tăng tốc phần cứng khác nhau là một khía cạnh quan trọng trong quá trình phát triển của nó.