Phiên bản llama.cpp b11317 sửa lỗi ghi log trong công cụ benchmark
Dự án mã nguồn mở llama.cpp vừa phát hành phiên bản b11317, cập nhật công cụ đo hiệu năng `llama-bench` để hiển thị chính xác các thông báo lỗi `GGML_LOG_ERROR`. Ngoài ra, bản cập nhật này cũng dọn dẹp các biến không sử dụng trong mã nguồn của bộ benchmark. Việc ghi log lỗi chính xác trong công cụ benchmark giúp các nhà phát triển và người dùng dễ dàng chẩn đoán các sự cố khi đánh giá hiệu năng suy luận LLM. Mặc dù đây là một bản phát hành bảo trì nhỏ, nó giúp giữ mã nguồn sạch sẽ và cải thiện trải nghiệm lập trình trên nhiều nền tảng phần cứng. Bản phát hành cung cấp tệp thực thi biên dịch sẵn cho nhiều hệ điều hành và kiến trúc, bao gồm CUDA 12/13, Vulkan, ROCm, OpenVINO, SYCL và phần cứng Snapdragon. Đáng chú ý, bản dựng macOS Apple Silicon hỗ trợ tăng tốc KleidiAI của Arm vẫn tiếp tục bị vô hiệu hóa trong bản phát hành này.
## KIẾN THỨC NỀN
llama.cpp là một framework C/C++ phổ biến được thiết kế để suy luận cục bộ hiệu năng cao cho các mô hình ngôn ngữ lớn (LLM) dựa trên thư viện tính toán tensor GGML. Dự án đi kèm công cụ `llama-bench` dùng để đo tốc độ xử lý token và băng thông bộ nhớ trên các phần cứng tăng tốc khác nhau.