llama.cpp Phát Hành Phiên Bản b10869 Cải Thiện Quản Lý Luồng Trong Test Suite
llama.cpp đã phát hành phiên bản b10869, cập nhật bộ kiểm thử tự động của dự án để sử dụng ít luồng (thread) hơn trong quá trình khởi tạo dữ liệu. Pull request #28325 điều chỉnh việc sử dụng luồng bằng cách thay đổi linh hoạt số luồng dựa trên số lượng phần tử được khởi tạo. Cập nhật định kỳ này giúp tối ưu hóa việc sử dụng tài nguyên và nâng cao tính ổn định của quá trình kiểm thử trên các môi trường build bằng cách loại bỏ chi phí quản lý đa luồng không cần thiết đối với các tác vụ khởi tạo dữ liệu nhỏ. Thay đổi này phân bổ luồng tỷ lệ thuận với số lượng phần tử thay vì tự động tạo số luồng tối đa trong mọi trường hợp. Các tệp thực thi biên dịch sẵn cho phiên bản b10869 hiện có sẵn cho macOS, Linux, Windows, Android và iOS trên nhiều backend phần cứng như CUDA, Vulkan, ROCm, OpenVINO và SYCL.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở C/C++ được thiết kế để chạy các mô hình ngôn ngữ lớn (LLM) cục bộ với hiệu năng cao trên nhiều nền tảng phần cứng khác nhau. Các bộ kiểm thử tự động trong kho lưu trữ chạy liên tục để xác minh tính chính xác và ổn định của các phép toán tensor cũng như việc thực thi backend khi có mã nguồn mới được bổ sung.