ggerganov/llama.cpp Phát Hành Phiên Bản b11757 Kèm Cập Nhật Đồ Thị CUDA
Phiên bản b11757 của llama.cpp giới thiệu một bản cập nhật CUDA giúp xóa đồ thị CUDA sau khi xóa bộ nhớ đệm cũ (legacy memory pool flush), đi kèm với các tệp nhị phân đa nền tảng tiêu chuẩn. Bản cập nhật định kỳ này cải thiện việc quản lý bộ nhớ và tính ổn định cho người dùng chạy các mô hình ngôn ngữ lớn trên phần cứng NVIDIA thông qua CUDA. Bản phát hành bao gồm yêu cầu kéo (pull request) #26771 xử lý việc xóa đồ thị CUDA và cung cấp các tệp bản dựng biên dịch sẵn cho nhiều nền tảng khác nhau bao gồm macOS, Linux, Windows và Android.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở cho phép suy luận hiệu quả các mô hình ngôn ngữ lớn bằng ngôn ngữ C/C++, đóng vai trò là công cụ lõi cho nhiều ứng dụng AI chạy cục bộ. Đồ thị CUDA là một tính năng của Bộ công cụ CUDA của NVIDIA được thiết kế để giảm chi phí khởi chạy GPU bằng cách ghi lại các chuỗi thao tác thành một đồ thị có thể thực thi.