ggerganov/llama.cpp Phát Hành Phiên Bản b11846 Cải Tiến CUDA Tile Height

Phiên bản b11846 của llama.cpp giới thiệu một cải tiến về CUDA nhằm thi hành các yêu cầu về chiều cao ô (tile height) DP4A MMQ thông qua một xác nhận tĩnh (static assertion). Bản cập nhật này đảm bảo rằng chiều cao ô là một bội số của kích thước warp (warp size). Bản cập nhật thông thường này giúp cải thiện tính ổn định và độ tin cậy của các quy trình nhân ma trận độ chính xác thấp trên GPU NVIDIA. Các nhà phát triển và người dùng chạy các mô hình ngôn ngữ lớn được lượng tử hóa thông qua CUDA sẽ được hưởng lợi từ các ràng buộc cấu trúc nghiêm ngặt này. Yêu cầu kéo (pull request) #30837 bổ sung một xác nhận tĩnh vào phần phụ trợ ggml-cuda, nhắm cụ thể vào việc triển khai DP4A MMQ nhằm ngăn chặn các cấu hình kích thước ô không chính xác.