llama.cpp phát hành phiên bản b10769 sửa lỗi truy vấn bộ nhớ Apple Metal

llama.cpp đã phát hành phiên bản b10769, mang đến bản sửa lỗi cho việc truy vấn bộ nhớ Apple Metal trong điều kiện dung lượng bộ nhớ thấp. Cập nhật này giúp đơn giản hóa và tối ưu đoạn mã kiểm tra bộ nhớ GPU khả dụng trên các thiết bị Apple. Bản phát hành này giúp tăng cường độ ổn định cho người dùng chạy các mô hình ngôn ngữ lớn trên phần cứng Mac và iOS khi dung lượng bộ nhớ tiệm cận giới hạn. Việc kiểm tra bộ nhớ chính xác ngăn ngừa lỗi runtime và cấp phát tài nguyên không hợp lý khi suy luận trong điều kiện thiếu bộ nhớ. Được đóng góp trong PR #27701 bởi Niklas Wenzel và Georgi Gerganov, bản vá này tái cấu trúc hàm truy vấn bộ nhớ Metal trở nên gọn gàng hơn. Các tệp thực thi đóng gói sẵn được cung cấp cho nhiều nền tảng bao gồm Apple Silicon, Windows CUDA/Vulkan và Linux.