ggerganov/llama.cpp phát hành phiên bản b11575 khắc phục lỗi tensor Metal

Phiên bản b11575 của llama.cpp giới thiệu một bản vá lỗi cụ thể cho lỗi kernel_mul_mm của tensor Metal, vốn trước đây ảnh hưởng đến các tensor lớn trên phần cứng Apple Silicon. Bản cập nhật này giải quyết vấn đề nhân ma trận trong các tệp shader của backend Metal. Bản phát hành điểm này rất quan trọng đối với người dùng chạy các mô hình ngôn ngữ lớn cục bộ trên các thiết bị Mac của Apple sử dụng khả năng tăng tốc GPU. Việc đảm bảo độ ổn định với các tensor lớn giúp ngăn chặn tình trạng sập ứng dụng và lỗi tính toán trong các phiên suy luận. Bản vá chỉnh sửa cụ thể việc thực thi kernel ggml-metal cho phép nhân ma trận (kernel_mul_mm) xử lý các tensor lớn một cách chính xác. Các đóng góp mã nguồn cho bản vá này có sự hỗ trợ của Codex và được xem xét bởi các nhà phát triển trong cộng đồng.