Bản phát hành llama.cpp b10691 khắc phục lỗi sập Metal Pipeline trên Apple Silicon
Bản phát hành b10691 của llama.cpp khắc phục lỗi sập null-pipeline xảy ra trong quá trình thực hiện phép nhân ma trận F16 trên framework Metal của Apple. Bản cập nhật này giới thiệu cơ chế tự động đóng khi gặp lỗi (fail-closed) đối với các hình dạng ma trận thiếu kernel F16 và hủy thực thi khi gặp pipeline rỗng. Bản sửa lỗi này giúp ngăn chặn tình trạng sập ứng dụng cho người dùng macOS và iOS khi chạy suy luận LLM cục bộ bằng độ chính xác F16 trên GPU Apple Silicon. Nó đảm bảo hiệu suất ổn định và độ tin cậy cao hơn khi thực hiện các phép toán ma trận trên phần cứng của Apple. Bản phát hành này triển khai cơ chế hủy (abort) trong `encoder_set_pipeline` khi phát hiện pipeline rỗng và chia sẻ logic điều phối phép nhân ma trận với `supports_op`. Ngoài ra, bản dựng macOS Apple Silicon hỗ trợ KleidiAI đã bị vô hiệu hóa trong đợt phát hành này.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở phổ biến bằng C/C++ được thiết kế để suy luận cục bộ hiệu quả các mô hình ngôn ngữ lớn như Llama của Meta. Metal là API đồ họa và tính toán cấp thấp của Apple, cho phép các nhà phát triển tận dụng GPU Apple Silicon để tăng tốc các tác vụ xử lý. Phép nhân ma trận, đặc biệt là sử dụng độ chính xác F16, là phép tính toán học cơ bản được sử dụng trong quá trình suy luận LLM.