Bản phát hành b12374 của llama.cpp sửa lỗi trên backend Metal
Bản phát hành b12374 của llama.cpp giới thiệu một bản sửa lỗi cụ thể cho sự cố tràn bù trừ đích nhân ma trận trong backend đồ họa Metal. Bản phát hành điểm này bao gồm nhiều tệp nhị phân được biên soạn sẵn cho các nền tảng khác nhau như macOS, Linux và Windows. Bản sửa lỗi này đảm bảo độ ổn định cao hơn và ngăn ngừa tình trạng hỏng bộ nhớ hoặc sự cố treo máy khi chạy các mô hình ngôn ngữ lớn trên phần cứng Apple Silicon sử dụng framework Metal. Nó góp phần nâng cao độ tin cậy tổng thể của các công cụ suy luận AI cục bộ dựa vào llama.cpp làm công cơ sở. Bản cập nhật giải quyết vấn đề #32221, tập trung hoàn toàn vào việc sửa lỗi tràn bù trừ đích `mul_mv` (phép nhân ma trận với vectơ) trên backend Metal của Apple. Không có tính năng mới lớn hoặc thay đổi kiến trúc nào được giới thiệu trong bản phát hành này.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở được sử dụng rộng rãi, thiết kế để thực hiện suy luận hiệu quả trên các mô hình ngôn ngữ lớn với cấu hình tối thiểu. Backend Metal cho phép llama.cpp tận dụng khả năng tăng tốc phần cứng của Apple để chạy các mô hình AI trực tiếp trên thiết bị Mac.