llama.cpp b11254 Sửa Lỗi Cấp Phát Bộ Nhớ Khi Song Song Hóa Đường Ống

Bản phát hành llama.cpp b11254 cập nhật trình xử lý GGML để thu thập tất cả các tensor đầu vào sau khi phân tách đồ thị thay vì trong quá trình phân tách. Điều này duy trì cấu trúc đồ thị tính toán nhất quán khi xử lý các loại batch khác nhau trong chế độ song song hóa đường ống (pipeline parallelism). Sửa lỗi này giúp ngăn ngừa việc phát hiện sai sự thay đổi của backend và tránh việc cấp phát lại bộ nhớ không cần thiết vốn từng gây ra sự cố treo ứng dụng trong quá trình thực thi song song hóa đường ống. Nó cải thiện độ ổn định khi chạy các mô hình đa thức (multimodal) chuyển đổi giữa xử lý văn bản và hình ảnh trên nhiều GPU hoặc thiết bị. Trước đây, việc chuyển đổi loại batch (như batch chỉ chứa token so với batch hình ảnh) làm dịch chuyển các nút lá trong graph_copy, kích hoạt các báo cáo thay đổi backend ID giả lập và cấp phát lại bộ nhớ không chính xác. Bằng cách thu thập các đầu vào từ tất cả nút lá của đồ thị sau khi phân tách, cấu trúc tensor đầu vào chỉ phụ thuộc vào những đầu vào hiện có thay vì những đầu vào đang được sử dụng.