ggerganov/llama.cpp Phát Hành Phiên Bản b11555 Sửa Lỗi AVX2
Phiên bản llama.cpp b11555 vừa được phát hành, khắc phục một sự cố cụ thể khiến các CPU hỗ trợ AVX2 không sử dụng các tập lệnh F16C mặc dù chúng khả dụng. Bản sửa lỗi này đảm bảo hiệu suất CPU tối ưu trong quá trình chạy suy luận mô hình ngôn ngữ lớn cục bộ nhờ tận dụng đúng các tập lệnh bán chính xác được tăng tốc phần cứng. Bản cập nhật được ghi nhận trong yêu cầu kéo (pull request) #30270 và áp dụng trực tiếp cho các tối ưu hóa phần phụ trợ CPU trong kho lưu trữ.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến được thiết kế để thực hiện suy luận hiệu quả trên các mô hình ngôn ngữ lớn bằng ngôn ngữ C/C++. F16C và AVX2 là các tập lệnh bộ xử lý giúp tăng tốc các phép toán học, đóng vai trò quan trọng trong việc xử lý các hoạt động của mạng thần kinh trên phần cứng máy tính thông thường.