llama.cpp Phát Hành Phiên Bản 0.6.0 (Build b11429) Cho Nhiều Nền Tảng

Bộ công cụ suy luận LLM cục bộ mã nguồn mở llama.cpp đã chính thức nâng cấp lên phiên bản 0.6.0 (build b11429). Bản phát hành này cung cấp các tệp thực thi biên dịch sẵn được cập nhật trên macOS, iOS, Linux, Android và Windows cho nhiều môi trường phần cứng CPU, GPU và NPU. Vì llama.cpp là một công cụ nền tảng cho việc chạy các mô hình ngôn ngữ lớn (LLM) cục bộ, các bản phát hành mốc quan trọng giúp đơn giản hóa việc triển khai trên cả thiết bị di động lẫn máy chủ. Bản phát hành này mở rộng hỗ trợ biên dịch sẵn cho các công cụ phần cứng tiên tiến như CUDA 13, ROCm 10, Vulkan và NPU Qualcomm Snapdragon. Gói phát hành bao gồm các bản dựng dành riêng cho nhiều nền tảng như CPU Intel/ARM, NVIDIA CUDA 12/13, AMD ROCm 10.0, Intel SYCL, OpenVINO và NPU Hexagon của Snapdragon. Đáng chú ý, bản dựng macOS Apple Silicon tích hợp tăng tốc Arm KleidiAI hiện tạm thời bị vô hiệu hóa.