ggerganov/llama.cpp phát hành phiên bản b11791
Bản phát hành b11791 của llama.cpp bao gồm một bản vá lỗi nhằm giải quyết tình trạng rò rỉ bộ nhớ và logic dọn dẹp trong đường dẫn chụp GPU Metal. Bản cập nhật này giúp cải thiện độ ổn định cho các nhà phát triển đang chạy các mô hình ngôn ngữ lớn cục bộ bằng tính năng tăng tốc phần cứng của Apple. Bản vá này nhắm cụ thể vào vấn đề #30890, giúp tinh chỉnh việc quản lý bộ nhớ trong quá trình triển khai chụp GPU Metal.
## KIẾN THỨC NỀN
Llama.cpp là một thư viện phần mềm mã nguồn mở thực hiện suy luận trên nhiều mô hình ngôn ngữ lớn khác nhau và đóng vai trò là thành phần cốt lõi cho nhiều công cụ AI cục bộ. Metal là API đồ họa và tính toán tăng tốc phần cứng của Apple được sử dụng để tận dụng GPU Apple Silicon nhằm thực thi mô hình hiệu quả.