ggerganov/llama.cpp phát hành phiên bản b11602

Phiên bản b11602 của llama.cpp giới thiệu một bản sửa lỗi nội bộ nhằm đảm bảo tất cả các đồ thị con (subgraph) được tái tạo đúng cách khi vùng đệm bộ nhớ (memory arena) được cấp phát lại. Cập nhật này giải quyết các cơ chế quản lý bộ nhớ bên trong phần phụ trợ GGML. Những cải tiến đối với việc quản lý vùng đệm bộ nhớ giúp nâng cao độ ổn định và độ tin cậy tổng thể khi chạy các mô hình ngôn ngữ lớn cục bộ trên nhiều phần cứng khác nhau. Các nhà phát triển và người dùng phụ thuộc vào llama.cpp để suy luận cục bộ hiệu quả sẽ ít gặp phải các lỗi liên quan đến bộ nhớ hơn. Bản vá cụ thể giải quyết vấn đề GitHub #30453 với thông điệp commit 'meta: recreate all subgraphs when the arena is reallocated' cùng với một commit hoàn nguyên trường hợp thử nghiệm. Bản dựng này có sẵn trên nhiều nền tảng bao gồm macOS, Linux, Windows và Android với nhiều bộ tăng tốc phần cứng khác nhau.