llama.cpp Phát Hành Bản b11435 Sửa Lỗi Data Race và Cải Tổ Xử Lý Chuỗi
Phiên bản b11435 của llama.cpp khắc phục sự cố data race trên backend CPU xảy ra trong quá trình thao tác k-pool scatter trên các chuỗi dùng chung. Bản cập nhật này cũng cải tổ quá trình sao chép chuỗi (seq_cp) để bắt buộc thao tác trên toàn bộ chuỗi và loại bỏ chế độ k-pool cache_safe cũ. Việc sửa lỗi race condition giúp nâng cao độ ổn định và độ tin cậy khi thực thi suy luận đa chuỗi trên kiến trúc CPU. Ngoài ra, việc đơn giản hóa quá trình sao chép trạng thái chuỗi giúp loại bỏ các kiểm tra lỗi thời dư thừa và giảm chi phí quản lý ngữ cảnh. Thay vì pool lại các ô dùng chung qua các entry scatter, mỗi đại diện k-pool dùng chung hiện chỉ được đánh dấu một lần trên mỗi micro-batch. Hơn nữa, việc sao chép chuỗi một phần hiện bị từ chối rõ ràng trong bộ nhớ hybrid, cho phép loại bỏ các giải pháp tình thế phức tạp trong seq_rm, state_read và state_drop.
## KIẾN THỨC NỀN
llama.cpp là một công cụ suy luận mã nguồn mở phổ biến được thiết kế để chạy các Mô hình Ngôn ngữ Lớn (LLM) một cách hiệu quả trên nhiều nền tảng phần cứng. Quản lý chuỗi và chia sẻ ngữ cảnh cho phép llama.cpp xử lý hiệu quả việc xử lý prompt song song và các kiến trúc trạng thái lặp lại hybrid.