llama.cpp Bản Phát Hành b10853 Bổ Sung Hỗ Trợ Rollback Trạng Thái Hồi Quy Cho Kimi-K3
Bản phát hành b10853 của llama.cpp bổ sung tính năng hỗ trợ rollback trạng thái hồi quy (recurrent-state rollback) cho mô hình Kimi-K3 thông qua PR #28466. Điều này cho phép trình suy luận khôi phục lại các trạng thái nội tại hồi quy trước đó khi thực thi các thao tác trên kiến trúc mô hình có lưu trạng thái. Tính năng rollback trạng thái hồi quy đóng vai trò quan trọng giúp tối ưu hóa giải mã dự đoán (speculative decoding) và quản lý trạng thái trong các mô hình chú ý tuyến tính hoặc lai hiện đại như Kimi-K3. Nếu không có hỗ trợ này, các bước giải mã dự đoán sẽ phải liên tục sao chép toàn bộ trạng thái vào bộ nhớ hệ thống, làm giảm đáng kể hiệu năng suy luận. Cập nhật này tích hợp cụ thể Kimi-K3 vào luồng xử lý rollback trạng thái hồi quy của llama.cpp (#28466). Bản phát hành đi kèm các tệp thực thi được đóng gói tự động cho nhiều hệ điều hành và backend như Windows, Linux, macOS, Android, CUDA, Vulkan và SYCL.
## KIẾN THỨC NỀN
llama.cpp là thư viện mã nguồn mở C/C++ phổ biến dùng để suy luận mô hình ngôn ngữ lớn (LLM) hiệu năng cao trên nhiều nền tảng phần cứng. Kimi-K3 là mô hình ngôn ngữ do Moonshot AI phát triển, sử dụng cơ chế chú ý hồi quy và tuyến tính hỗn hợp. Các mô hình chứa trạng thái hồi quy duy trì vectơ trạng thái nội tại, do đó cần tính năng rollback trạng thái để hủy bỏ các token dự đoán không phù hợp trong giải mã dự đoán mà không phải tính toán lại toàn bộ ngữ cảnh.