Bản phát hành b12221 của llama.cpp khắc phục lỗi ghi vượt quá giới hạn bộ nhớ đệm Metal
Bản phát hành b12221 của llama.cpp giới thiệu một bản vá lỗi cụ thể nhằm ngăn chặn việc ghi vượt quá giới hạn bộ nhớ đệm đầu ra Metal FlashAttention trên phần cứng Apple. Bản cập nhật này đảm bảo quá trình thực thi an toàn hơn khi chạy các mô hình ngôn ngữ lớn sử dụng phần cứng tăng tốc GPU của Apple. Việc ngăn chặn các sự cố an toàn bộ nhớ như ghi vượt quá giới hạn là rất quan trọng để duy trì độ ổn định, tránh tình trạng treo máy hoặc các lỗ hổng bảo mật tiềm ẩn trong quá trình suy luận mô hình cục bộ. Người dùng chạy llama.cpp trên các thiết bị macOS và iOS sẽ nhận được sự cải thiện về độ ổn định. Bản vá giải quyết vấn đề số #31662, tập trung hoàn toàn vào phần triển khai backend Metal được sử dụng cho phần cứng Apple Silicon và Intel chạy macOS hoặc iOS. Bản phát hành này cũng bao gồm các gói nhị phân xây dựng đa nền tảng tiêu chuẩn trên CPU, CUDA, Vulkan và các nhà cung cấp thực thi được hỗ trợ khác.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến thực hiện suy luận cục bộ hiệu quả trên nhiều mô hình ngôn ngữ lớn khác nhau bằng thư viện tensor GGML. Metal là API đồ họa và tính toán độc quyền của Apple, cho phép tăng tốc GPU hiệu suất cao trên các thiết bị macOS và iOS.