llama.cpp Phát Bản b11848 Hỗ Trợ Tải Xuống Đồng Thời Giữa Các Tiến Trình
Bản phát hành llama.cpp b11848 giới thiệu tính năng hỗ trợ tải xuống đồng thời trên nhiều tiến trình, đi kèm với các bản dựng nhị phân đa nền tảng hoàn chỉnh. Bản cập nhật này bao gồm các cải tiến thường lệ trên nhiều phần cứng backend khác nhau như CUDA, Vulkan và OpenVINO. Việc kích hoạt tải xuống đồng thời giữa các tiến trình giúp tối ưu hóa quy trình làm việc cho các nhà phát triển khi tải các tệp mô hình lớn cùng lúc trong môi trường tự động hóa. Đây là một cải tiến gia tăng giúp nâng cao tính tiện dụng tổng thể cho những người xây dựng cơ sở hạ tầng AI cục bộ. Bản phát hành bao gồm các gói nhị phân được biên dịch sẵn cho macOS, Linux, Windows và Android, hỗ trợ nhiều kiến trúc đa dạng như Apple Silicon, x86, ARM và các phần cứng chuyên dụng như Snapdragon NPU. Bản cập nhật này tích hợp đóng góp từ Hugging Face để xử lý việc tải xuống an toàn giữa các tiến trình.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở được thiết kế để thực hiện suy luận hiệu quả trên các mô hình ngôn ngữ lớn bằng ngôn ngữ C và C++. Được đồng phát triển cùng thư viện tensor GGML, nó đóng vai trò là cốt lõi nền tảng cho nhiều công cụ và ứng dụng AI cục bộ.