ggerganov/llama.cpp Phát Hành Phiên Bản b11583 với Các Tối Ưu Hóa Đồ Thị
Phiên bản b11583 của llama.cpp giới thiệu các tối ưu hóa đồ thị nhằm tránh việc cấp phát lại bộ nhớ trong đường dẫn thực thi 'không có bộ nhớ đệm'. Bản phát hành này cũng cung cấp các gói nhị phân tiêu chuẩn được biên dịch sẵn cho nhiều hệ điều hành và nền tảng phần cứng khác nhau. Tối ưu hóa hiệu năng này giúp giảm chi phí bộ nhớ phụ và độ trễ trong các đường dẫn thực thi cụ thể không sử dụng bộ nhớ đệm. Điều này mang lại lợi ích cho các nhà phát triển và người dùng chạy các mô hình ngôn ngữ lớn cục bộ trên các phần cứng phổ thông. Bản cập nhật này tương ứng với yêu cầu kéo (pull request) #30439 trong kho lưu trữ và bao gồm các tệp nhị phân được cập nhật cho Linux, macOS, Windows, và Android trên nhiều nền tảng tăng tốc khác nhau như CUDA, Vulkan và OpenCL.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở được tạo ra bởi Georgi Gerganov, cho phép thực hiện suy luận cục bộ trên nhiều mô hình ngôn ngữ lớn khác nhau bằng ngôn ngữ C/C++. Thư viện này đóng vai trò là nền tảng cốt lõi cho nhiều công cụ AI cục bộ phổ biến nhờ tận dụng thư viện tensor GGML.