llama.cpp Phát Hành Bản Dựng b10166 Sửa Lỗi Đồ Thị GGML Và Bộ Lấy Mẫu
llama.cpp đã phát hành bản dựng b10166, giới thiệu các bản cập nhật nhỏ và sửa lỗi tập trung vào đầu ra đồ thị ggml và chế độ xem bộ lấy mẫu (sampler views). Cụ thể, bản phát hành bao gồm các thay đổi nhằm ngăn chặn các view bị coi là đầu ra và đảm bảo xử lý logits nhất quán. Các bản cập nhật gia tăng này đảm bảo tính ổn định và chính xác của các phép toán tensor trong thư viện GGML, điều cực kỳ quan trọng đối với việc suy luận LLM đáng tin cậy. Việc duy trì xử lý logits và đầu ra đồ thị nhất quán giúp ngăn ngừa lỗi thời gian chạy trong quá trình thực thi mô hình trên nhiều phần cứng khác nhau. Bản phát hành đơn giản hóa hàm `set_outputs()` trong quá trình thực thi đồ thị và thêm một `GGML_ASSERT` để đảm bảo các view không bị coi là đầu ra. Ngoài ra, các bản dựng macOS Apple Silicon kích hoạt Arm KleidiAI vẫn tiếp tục bị vô hiệu hóa trong bản phát hành này.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở được thiết kế để suy luận LLM hiệu năng cao, sử dụng thư viện tensor GGML để chạy các mô hình lớn một cách hiệu quả trên phần cứng thông thường. GGML quản lý đồ thị tính toán của mạng thần kinh, trong đó các "view" đại diện cho các lát cắt hoặc định dạng lại của các tensor hiện có mà không cần sao chép dữ liệu gốc.