llama.cpp b11534 Tối ưu hóa Hiệu năng CUDA cho Mô hình Không gian Trạng thái
Bản phát hành b11534 của llama.cpp tối ưu hóa bộ nhớ CUDA bằng cách loại bỏ các thao tác sao chép bộ nhớ thừa sau khi thực hiện SSM_SCAN. Cập nhật này hợp nhất việc sao chép các ảnh chụp trạng thái mới cập nhật trực tiếp vào bộ nhớ đệm tuần hoàn trong bước quét. Việc loại bỏ các thao tác truyền bộ nhớ thừa giúp giảm tải cho GPU và giảm độ trễ trong quá trình suy luận của các Mô hình Không gian Trạng thái (SSM). Điều này mang lại tốc độ xử lý nhanh hơn và hiệu suất tốt hơn cho các kiến trúc không phải Transformer như Mamba khi chạy trên phần cứng CUDA. Bản vá hợp nhất các luồng sao chép trạng thái vào bộ nhớ đệm tuần hoàn và loại bỏ các thao tác sao chép CUDA thừa đối với kịch bản sinh một token (K=1, không áp dụng suy luận dự đoán). Các thay đổi này được đóng góp thông qua pull request #29807 trong kho mã nguồn llama.cpp.
## KIẾN THỨC NỀN
llama.cpp là một công cụ suy luận mã nguồn mở viết bằng C/C++ được thiết kế để thực thi các mô hình AI lớn một cách hiệu quả trên nhiều nền tảng phần cứng, bao gồm NVIDIA CUDA. Các Mô hình Không gian Trạng thái (SSM), chẳng hạn như Mamba, dựa vào các thao tác quét chuỗi (SSM_SCAN) để cập nhật các vectơ trạng thái ẩn theo thời gian thay vì sử dụng cơ chế tự chú ý (self-attention) truyền thống.