llama.cpp Phát Hành Phiên Bản b11598 Hỗ Trợ Siêu Dữ Liệu YaRN Beta
llama.cpp đã phát hành bản dựng b11598, mang đến tính năng hỗ trợ tải siêu dữ liệu YaRN beta cho các mô hình laguna cùng với các bản phân phối nhị phân đa nền tảng tiêu chuẩn. Bản cập nhật này cải thiện tính tương thích của mô hình và mở rộng khả năng xử lý ngữ cảnh cho các mô hình ngôn ngữ lớn chạy cục bộ trên nhiều nền tảng phần cứng khác nhau. Bản phát hành bao gồm các gói nhị phân được biên dịch sẵn cho macOS, Linux, Windows và Android, hỗ trợ nhiều bộ gia tốc khác nhau như CUDA, Vulkan, OpenVINO và SYCL.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở dùng để chạy suy luận trên các mô hình ngôn ngữ lớn một cách cục bộ bằng thư viện tensor GGML. YaRN là một kỹ thuật hiệu quả về tính toán được sử dụng để mở rộng cửa sổ ngữ cảnh của các mô hình ngôn ngữ.