ggerganov/llama.cpp Phát Hành Phiên Bản 0.7.0 (Bản Dựng b11669)
Llama.cpp vừa phát hành phiên bản 0.7.0 (bản dựng b11669), nâng cấp phiên bản thư viện và cung cấp các tệp nhị phân được biên dịch sẵn cho nhiều hệ điều hành và kiến trúc phần cứng khác nhau. Bản phát hành này giúp đơn giản hóa quy trình cài đặt và triển khai cho các nhà phát triển cũng như người dùng chạy mô hình ngôn ngữ lớn cục bộ bằng cách cung cấp các tệp nhị phân có sẵn trên nhiều nền tảng đa dạng bao gồm macOS, Linux, Windows và Android. Bản phát hành bao gồm các bản dựng tối ưu hóa cho nhiều bộ tăng tốc phần cứng khác nhau như CUDA, Vulkan, OpenVINO, SYCL và Snapdragon NPU, bên cạnh các phiên bản chạy CPU tiêu chuẩn.
## KIẾN THỨC NỀN
Llama.cpp là một thư viện phần mềm mã nguồn mở được phát triển song song với dự án GGML nhằm thực hiện suy luận trên các mô hình ngôn ngữ lớn như Llama của Meta ngay trên thiết bị cục bộ. Thư viện này đóng vai trò là cỗ máy suy luận cốt lõi cho nhiều công cụ AI cục bộ phổ biến bao gồm Ollama và LM Studio.