llama.cpp Phát Hành Bản b11411 Sửa Lỗi Quản Lý Metadata Xoay KV Cache

llama.cpp đã phát hành phiên bản b11411, cập nhật cơ chế xử lý KV cache để lưu trữ chính xác metadata xoay attention. Cập nhật này tự động từ chối việc khôi phục các tệp trạng thái có tham số xoay không tương thích. Việc lưu trữ và xác thực chính xác metadata xoay giúp ngăn ngừa lỗi suy luận và hỏng dữ liệu ẩn khi lưu và tiếp tục phiên làm việc của mô hình. Điều này nâng cao độ tin cậy quản lý trạng thái giữa các cấu hình KV cache khác nhau khi triển khai LLM cục bộ. Bản vá tích hợp các kiểm tra xoay trạng thái KV trực tiếp vào ma trận kiểm thử `test-save-load-state` trên tất cả mô hình. Các mô hình không sử dụng xoay attention sẽ mặc định vượt qua bài thử nghiệm, trong khi các kiểu KV cache không hỗ trợ sẽ tự động được bỏ qua.