ggerganov/llama.cpp Phát Hành Phiên Bản b11731
Phiên bản b11731 của llama.cpp mang đến các cải tiến về vector hóa CPU cho các hàm ggml_v_silu và ggml_v_expf. Bản cập nhật này tập trung tối ưu hóa việc thực thi các phép toán toán học cụ thể trên phần cứng CPU. Những cải tiến vector hóa CPU này giúp cải thiện tốc độ suy luận và hiệu suất tính toán khi chạy các mô hình ngôn ngữ lớn cục bộ. Các bản cập nhật gia tăng như vậy đảm bảo hiệu suất tốt hơn trên nhiều cấu hình phần cứng khác nhau mà không bắt buộc phải có card đồ họa (GPU) chuyên dụng. Bản phát hành nhắm cụ thể vào việc vector hóa ggml-cpu thông qua yêu cầu kéo #30791 do Aaron Teo từ IBM đóng góp. Nó bao gồm các tệp nhị phân và thư viện được biên dịch sẵn cho nhiều hệ điều hành khác nhau, bao gồm macOS, Linux, Windows và Android.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở cho phép suy luận hiệu quả các mô hình ngôn ngữ lớn bằng ngôn ngữ C/C++. Vector hóa CPU sử dụng các tập lệnh SIMD (Một lệnh, nhiều dữ liệu) để xử lý song song nhiều phần tử dữ liệu, qua đó tăng tốc độ tính toán đáng kể trên các bộ vi xử lý hiện đại.