ggerganov/llama.cpp Phát Hành Bản Xây Dựng b11860 Kèm Sửa Lỗi Kích Thước Lô
Bản phát hành llama.cpp b11860 giới thiệu một bản vá lỗi cho test-llama-context khi xử lý kích thước lô lớn, đi kèm với các tệp nhị phân được biên dịch sẵn cho nhiều nền tảng khác nhau. Bản cập nhật gia tăng này đảm bảo độ ổn định tốt hơn và độ tin cậy khi kiểm thử cho người dùng chạy các tác vụ suy luận quy mô lớn trên các phần cứng khác nhau. Bản phát hành giải quyết yêu cầu kéo #31083, tập trung cụ thể vào các vấn đề với cấu hình n_batch lớn trong bộ kiểm thử ngữ cảnh.
## KIẾN THỨC NỀN
Llama.cpp là một thư viện phần mềm mã nguồn mở được viết bằng C/C++ cho phép suy luận hiệu quả các mô hình ngôn ngữ lớn trên phần cứng cục bộ. Nó được đồng phát triển cùng thư viện tensor GGML và đóng vai trò là cơ sở hạ tầng cốt lõi cho nhiều công cụ AI cục bộ phổ biến.