llama.cpp phát hành bản dựng b10566, nâng cấp phiên bản lên 0.2.0
Thư viện suy luận LLM mã nguồn mở llama.cpp đã phát hành bản dựng b10566, chính thức nâng cấp phiên bản của dự án lên 0.2.0. Là một công cụ quan trọng vận hành các công cụ suy luận AI cục bộ như Ollama và LM Studio, việc nâng cấp phiên bản lên 0.2.0 đánh dấu một cột mốc quan trọng đối với cộng đồng nhà phát triển. Bản phát hành cung cấp các tệp thực thi biên dịch sẵn cho nhiều nền tảng bao gồm Windows, Linux, macOS và Android, mặc dù một số bản dựng như macOS Apple Silicon tích hợp KleidiAI và Linux ROCm 7.14 hiện đang bị vô hiệu hóa.
## KIẾN THỨC NỀN
Được phát triển bởi Georgi Gerganov, llama.cpp là một thư viện C/C++ hiệu năng cao được thiết kế để chạy các mô hình ngôn ngữ lớn cục bộ bằng định dạng GGUF. Nó được coi là tiêu chuẩn thực tế cho việc thực thi LLM cục bộ, cho phép suy luận hiệu quả trên phần cứng tiêu dùng mà không cần tài nguyên GPU khổng lồ.