Bản phát hành llama.cpp b11712 khắc phục lỗi kiểm thử chú ý cửa sổ trượt
Bản phát hành b11712 của llama.cpp bổ sung bảng điền dữ liệu theo từng tensor (per-tensor filler table) vào trình tạo mô hình ngẫu nhiên, giúp giải quyết các lỗi kiểm thử gián đoạn ở các mô hình sử dụng cơ chế chú ý cửa sổ trượt. Bản cập nhật này đảm bảo trọng số mô hình cho các kiến trúc cụ thể như Muse Spark và Mamba được tạo chính xác mà không gây ra hiện tượng khuếch đại số học bất ngờ. Bản sửa lỗi này cải thiện độ tin cậy của bộ kiểm thử trên các kiến trúc phần cứng khác nhau, đảm bảo quá trình kiểm tra tích hợp liên tục diễn ra suôn sẻ trên cả bản dựng CPU và CUDA. Các nhà phát triển phụ thuộc vào trình tạo mô hình ngẫu nhiên để xác thực sẽ nhận được kết quả kiểm thử ổn định và chính xác hơn. Bản cập nhật hợp nhất logic tạo tensor bằng cách rút trọng số thô một lần cho mỗi khối và ánh xạ chúng qua bảng tra cứu dựa trên khóa là tên tensor. Qua hơn một nghìn hạt giống kiểm thử, thay đổi này đã giảm Sai số bình phương trung bình chuẩn hóa (NMSE) trong trường hợp xấu nhất từ 1.36e-05 xuống còn 2.48e-06.
## KIẾN THỨC NỀN
Cơ chế chú ý cửa sổ trượt (sliding window attention) là một kỹ thuật tối ưu hóa trong các mô hình ngôn ngữ lớn, trong đó mỗi token chỉ có thể chú ý đến một phạm vi cục bộ cố định các token phía trước, giúp giảm chi phí bộ nhớ khi xử lý ngữ cảnh dài. llama.cpp là một framework phổ biến để chạy các mô hình ngôn ngữ lớn cục bộ trên nhiều bộ tăng tốc phần cứng khác nhau, dựa vào các bộ kiểm thử nghiêm ngặt để xác minh tính chính xác của việc chuyển đổi và thực thi mô hình.