llama.cpp Phát Hành Phiên Bản b11332 Sửa Lỗi Assert Trong Recurrent Memory
llama.cpp đã phát hành bản cập nhật b11332 nhằm sửa một lỗi khẳng định không hợp lệ (invalid assert) trong cơ chế bộ nhớ tuần hoàn (PR #29799). Bản cập nhật bảo trì định kỳ này giúp ngăn chặn sự cố dừng đột ngột (crash) ngoài ý muốn trong quá trình suy luận trên các kiến trúc mô hình có sử dụng cơ chế quản lý trạng thái bộ nhớ tuần hoàn. Bản cập nhật bao gồm các tệp thực thi biên dịch sẵn cho macOS, Linux, Windows và Android, hỗ trợ nhiều nền tảng phần cứng bao gồm CUDA 12/13, Vulkan, ROCm, OpenVINO, SYCL và Snapdragon.
## KIẾN THỨC NỀN
llama.cpp là một khung mã nguồn mở viết bằng C/C++ để chạy các mô hình ngôn ngữ lớn (LLM) cục bộ với hiệu năng cao trên nhiều phần cứng khác nhau. Cơ chế bộ nhớ tuần hoàn (recurrent memory) cho phép các mô hình ngôn ngữ xử lý chuỗi dữ liệu nối tiếp với độ phức tạp thời gian tuyến tính và bộ nhớ cố định.