~/LLM/llama-cpp-releases-version-0-3-0-build-b10621

llama.cpp phát hành phiên bản 0.3.0 (Bản dựng b10621)

Dự án llama.cpp đã chính thức nâng cấp phiên bản lên 0.3.0 (bản dựng b10621). Bản phát hành này cập nhật sơ đồ đánh số phiên bản của dự án, cải thiện mô tả phát hành tích hợp liên tục (CI) và bổ sung các tập lệnh để tự động tạo tóm tắt phát hành. Là một công cụ mã nguồn mở nền tảng cho việc suy luận LLM cục bộ, các đợt nâng cấp phiên bản của llama.cpp đánh dấu những cột mốc quan trọng trong vòng đời phát triển và tự động hóa phát hành của dự án. Bản cập nhật này giúp tối ưu hóa quy trình triển khai cho các nhà phát triển và nền tảng đang phụ thuộc vào llama.cpp để chạy các ứng dụng AI cục bộ. Bản phát hành cung cấp các tệp nhị phân được biên dịch sẵn cho nhiều nền tảng bao gồm Windows, Linux, macOS, Android và iOS, hỗ trợ các backend như CUDA, Vulkan, ROCm và OpenVINO. Tuy nhiên, một số bản dựng nhất định, chẳng hạn như bản dựng macOS Apple Silicon kích hoạt KleidiAI, vẫn bị vô hiệu hóa trong bản phát hành này.

## KIẾN THỨC NỀN

llama.cpp là một công cụ suy luận mã nguồn mở hiệu năng cao được viết bằng C/C++, cho phép người dùng chạy các mô hình ngôn ngữ lớn cục bộ, đóng vai trò là công cụ cốt lõi cho các công cụ phổ biến như Ollama và LM Studio. Dự án này được đồng phát triển cùng với thư viện tensor GGML. KleidiAI là một thư viện gồm các micro-kernel được tối ưu hóa cho kiến trúc Arm nhằm tăng tốc các tác vụ AI.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#LLM#llama.cpp#Open Source#AI Infrastructure

$ subscribe --daily

llama.cpp phát hành phiên bản 0.3.0 (Bản dựng b10621) | Daily News