~/LLAMA CPP/llama-cpp-release-b12456-fixes-opencl-flash-attention-defects

Bản phát hành b12456 của llama.cpp khắc phục các lỗi OpenCL Flash-Attention

Bản phát hành b12456 của llama.cpp khắc phục ba lỗi OpenCL trong đường dẫn tiền xử lý flash-attention. Các cập nhật này sửa các lỗi rò rỉ bộ nhớ từ hình ảnh dự phòng mặt nạ chưa được giải phóng, ngăn chặn việc xử lý tính toán không chính xác đối với các hình dạng q8_0 K/V ở kích thước đầu 512, và bổ sung các biện pháp bảo vệ để tránh vượt quá giới hạn hình ảnh 3D của thiết bị. Các bản sửa lỗi này đảm bảo hiệu suất suy luận LLM ổn định và chính xác cho người dùng chạy các mô hình thông qua tăng tốc phần cứng OpenCL. Việc giải quyết tình trạng rò rỉ bộ nhớ và lỗi tính toán giúp ngăn ngừa tình trạng suy giảm hiệu năng máy chủ dài hạn cũng như các kết quả đầu ra sai lệch của mô hình. Bản phát hành này cụ thể tránh sử dụng nhân WMM flash-attention cho q8_0 K/V ở kích thước đầu 512 nơi các lỗi đã được phát hiện, đồng thời chuyển hướng các yêu cầu vượt quá giới hạn ngữ cảnh chiều rộng hình ảnh 3D sang đường dẫn flash-attention thông thường.

## KIẾN THỨC NỀN

FlashAttention là một thuật toán tối ưu hóa được thiết kế để tăng tốc cơ chế chú ý (attention) trong mô hình transformer và giảm lượng bộ nhớ tiêu thụ trong quá trình xử lý. Giải mã suy đoán (speculative decoding) là một kỹ thuật tối ưu hóa thời gian suy luận, sử dụng một mô hình nhỏ hơn để đề xuất các token ứng viên mà một mô hình lớn hơn sau đó sẽ xác minh trong một lần truyền thuận duy nhất.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#opencl#llm#ai-infrastructure#release

$ subscribe --daily

Bản phát hành b12456 của llama.cpp khắc phục các lỗi OpenCL Flash-Attention | Daily News