llama.cpp Phát Hành Phiên Bản b10082 Với Cập Nhật Cảnh Báo Nhân KleidiAI
Phiên bản b10082 của llama.cpp giới thiệu một cập nhật nhỏ nhằm cảnh báo người dùng một lần duy nhất khi kiểu trọng số của mô hình thiếu nhân (kernel) KleidiAI tương ứng. Cập nhật này cải thiện trải nghiệm người dùng bằng cách cảnh báo các nhà phát triển khi họ không sử dụng khả năng tăng tốc phần cứng Arm được tối ưu hóa mà không làm tràn nhật ký hệ thống. Điều này giúp đảm bảo các tác vụ AI chạy trên CPU Arm đạt hiệu suất tối ưu. Cảnh báo này chỉ được kích hoạt một lần cho mỗi kiểu trọng số để tránh làm tràn nhật ký trong quá trình tải mô hình hoặc suy luận. Bản phát hành này cũng đi kèm các tệp thực thi biên dịch sẵn cho nhiều nền tảng, mặc dù bản dựng macOS Apple Silicon kích hoạt KleidiAI hiện đang bị vô hiệu hóa.
## KIẾN THỨC NỀN
llama.cpp là một khung mã nguồn mở phổ biến được thiết kế để chạy suy luận mô hình ngôn ngữ lớn (LLM) với thiết lập tối giản trên nhiều phần cứng khác nhau. KleidiAI là một thư viện mã nguồn mở do Arm phát triển, cung cấp các vi nhân (micro-kernel) được tối ưu hóa cao để tăng tốc các tác vụ AI đặc biệt trên CPU Arm.