llama.cpp phát hành phiên bản b10809 nâng cấp dự án lên 0.4.0
llama.cpp đã phát hành bản dựng b10809, chính thức nâng cấp phiên bản dự án lên 0.4.0. Bản phát hành cung cấp các tệp biên dịch sẵn cho macOS, Linux, Windows và Android trên nhiều backend tính toán khác nhau bao gồm CUDA 12/13, Vulkan, ROCm 10.0, OpenVINO và SYCL. Là công cụ suy luận mã nguồn mở cốt lõi cho phần lớn hệ sinh thái AI cục bộ (như Ollama và LM Studio), các bản cập nhật của llama.cpp giúp duy trì khả năng hỗ trợ phần cứng và hiệu năng trên nhiều nền tảng. Việc theo dõi các bản phát hành phiên bản giúp các nhà phát triển và công cụ hạ nguồn kịp thời tích hợp các bản sửa lỗi tăng tốc phần cứng mới nhất. Bản phát hành này cung cấp các tệp thực thi cho những tính năng thử nghiệm như Windows ARM64 với DLL CUDA 13.4 bên cạnh các nền tảng tiêu chuẩn. Tuy nhiên, một số cấu hình biên dịch vẫn bị vô hiệu hóa trong bản này, bao gồm macOS Apple Silicon bật KleidiAI và các bản dựng openEuler.
## KIẾN THỨC NỀN
llama.cpp là một thư viện C/C++ mã nguồn mở được sử dụng rộng rãi, thiết kế để chạy suy luận cục bộ nhanh chóng các mô hình ngôn ngữ lớn (LLM) trên phần cứng người dùng cá nhân. KleidiAI là một thư viện mã nguồn mở do Arm phát triển, cung cấp các vi nhân (micro-kernel) được tối ưu bằng mã máy để tăng tốc tác vụ AI trên vi xử lý Arm.