llama.cpp Phát Hành Phiên Bản b11678 Giới Hạn Bộ Nhớ Đệm CUDA Pinned Host Ở Mức 4 GB
Phiên bản b11678 của llama.cpp giới hạn dung lượng bộ nhớ đệm CUDA pinned host tối đa ở mức 4 GB đi kèm với các gói biên dịch tiêu chuẩn cho nhiều nền tảng khác nhau. Bản cập nhật này bao gồm các bản vá lỗi nhỏ và các thay đổi bảo trì thường xuyên cho các phần cài đặt backend khác nhau của thư viện. Thay đổi này giúp ngăn ngừa tình trạng tiêu thụ bộ nhớ quá mức và các lỗi cấp phát tiềm ẩn khi tương tác với GPU NVIDIA trong quá trình chạy suy luận mô hình ngôn ngữ lớn cục bộ. Nó đảm bảo quản lý bộ nhớ ổn định hơn trên nhiều cấu hình phần cứng đa dạng. Bản cập nhật giải quyết trực tiếp vấn đề #30449 bằng cách giới hạn kích thước bộ nhớ đệm CUDA pinned host, điều này rất quan trọng để tối ưu hóa việc truyền tải dữ liệu giữa RAM của hệ thống chủ và VRAM của thiết bị. Các gói biên dịch tiêu chuẩn cho macOS, Linux, Windows và Android tiếp tục được cung cấp cùng nhiều lựa chọn backend phần cứng khác nhau.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở được thiết kế để thực hiện suy luận hiệu quả trên các mô hình ngôn ngữ lớn như Llama của Meta bằng ngôn ngữ C/C++. CUDA là một nền tảng điện toán song song và mô hình lập trình do NVIDIA phát triển, cho phép các nhà phát triển sử dụng đơn vị xử lý đồ họa để xử lý các tác vụ đa năng.