ggerganov/llama.cpp Phát Hành Bản Xây Dựng b11792 Cải Tiến GPU
Bản xây dựng b11792 của llama.cpp đã được phát hành, mang đến một tối ưu hóa giúp giữ dữ liệu d2t trên GPU bằng cách đặt nó ngay cạnh việc sử dụng set_rows. Bản cập nhật nhỏ này cải thiện hiệu quả xử lý bộ nhớ trong quá trình suy luận mô hình ngôn ngữ lớn cục bộ bằng cách giảm bớt các thao tác truyền dữ liệu không cần thiết giữa CPU và GPU. Điều này mang lại lợi ích cho các nhà phát triển và người dùng chạy mô hình trên các thiết bị phần cứng tăng tốc. Bản cập nhật tương ứng với yêu cầu kéo (pull request) #30912 và bao gồm các tệp nhị phân cùng thư viện được biên dịch sẵn cho nhiều nền tảng khác nhau như macOS, Linux (hỗ trợ CUDA và Vulkan), Android và Windows.
## KIẾN THỨC NỀN
Llama.cpp là một thư viện mã nguồn mở được đồng phát triển cùng GGML, cho phép thực hiện suy luận cục bộ hiệu quả cho các mô hình ngôn ngữ lớn như Llama của Meta. Thư viện này đóng vai trò là cốt lõi cho nhiều công cụ AI cục bộ phổ biến như Ollama và LM Studio.