llama.cpp Phát Hành Phiên Bản b12090 Cùng Bản Sửa Lỗi zDNN
Phiên bản b12090 của llama.cpp giới thiệu một bản sửa lỗi tập trung cho sự cố kiểm thử flash attention của ggml-zdnn theo yêu cầu kéo #31583. Bản cập nhật này tiếp tục công việc bảo trì và ổn định định kỳ cho các tích hợp phần phụ trợ cụ thể. Bản phát hành điểm này đảm bảo chức năng và hoạt động kiểm thử chính xác cho các môi trường phần cứng chuyên biệt sử dụng tăng tốc IBM zDNN. Nó giúp duy trì chất lượng mã nguồn và độ tin cậy trên các kiến trúc đa dạng được hỗ trợ bởi hệ sinh thái llama.cpp. Bản cập nhật giải quyết cụ thể một sự cố trong việc triển khai phần phụ trợ ggml-zdnn liên quan đến quá trình kiểm thử flash attention (fattn). Các gói nhị phân cho nhiều nền tảng và bộ tăng tốc được đi kèm cùng thẻ phát hành này.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở cho phép suy luận hiệu quả đối với các mô hình ngôn ngữ lớn trên phần cứng phổ thông và doanh nghiệp. Phần phụ trợ ggml-zdnn cung cấp khả năng tích hợp cho các hệ thống máy chủ lớn IBM sử dụng thư viện tăng tốc phần cứng zDNN.