ggerganov/llama.cpp Phát Hành Phiên Bản b11972 với Các Bản Vá Lỗi Bộ Nhớ Quan Trọng
Phiên bản phát hành b11972 của llama.cpp khắc phục các lỗi ghi vượt quá giới hạn bộ nhớ (out-of-bounds) ảnh hưởng đến chỉ số lớp vector điều khiển và vòng lặp vị trí M-RoPE trong các bộ mã hóa đa phương thức. Các bản cập nhật này đảm bảo kích thước vùng đệm và độ lệch ghi được kiểm tra an toàn theo giới hạn của mô hình. Những bản vá lỗi này ngăn ngừa tình trạng hỏng bộ nhớ tiềm ẩn, lỗi phân đoạn (segmentation fault) và hành vi không xác định khi chạy suy luận với các vector điều khiển tùy chỉnh hoặc mô hình đa phương thức như Qwen-VL. Việc đảm bảo kiểm tra giới hạn nghiêm ngặt giúp cải thiện độ ổn định và bảo mật tổng thể trên nhiều nền tảng phần cứng được hỗ trợ. Bản cập nhật vector điều khiển truyền số lượng lớp mô hình vào trình tải và sử dụng kiểu size_t cho các tính toán kích thước nhằm ngăn chặn tình trạng tràn số nguyên. Trong khi đó, bản cập nhật đa phương thức lặp qua toàn bộ các ô hợp nhất để ngăn vùng đệm vị trí bị tràn trên các lưới không được căn chỉnh.
## KIẾN THỨC NỀN
Vector điều khiển là các mảng số thực thay đổi biểu diễn nội tại của mô hình ngôn ngữ trong quá trình suy luận nhằm định hướng hành vi mà không cần huấn luyện lại trọng số. Mã hóa vị trí xoay đa phương thức (M-RoPE) mở rộng mã hóa vị trí tiêu chuẩn để xử lý cấu trúc không gian và thời gian trên các đầu vào đa phương thức thị giác - ngôn ngữ như văn bản, hình ảnh và video.