Bản phát hành b11379 của llama.cpp sửa lỗi dừng đột ngột trên máy chủ
Dự án llama.cpp đã phát hành bản dựng b11379, khắc phục sự cố máy chủ bị dừng đột ngột (abort) bằng cách giới hạn tham số kích thước lô (n_batch) không vượt quá kích thước lô nhỏ (n_ubatch). Bản vá này ngăn chặn tình trạng máy chủ bị sập bất ngờ trong quá trình phục vụ suy luận LLM, đảm bảo độ ổn định cao hơn cho các ứng dụng phụ thuộc vào thành phần HTTP server của llama.cpp. Bản sửa lỗi được đưa vào qua PR #29903 để giải quyết issue #29902 với sự trợ giúp từ Claude, đồng thời dọn dẹp các thử nghiệm thừa và điều kiện embedding.
## KIẾN THỨC NỀN
llama.cpp là một bộ công cụ mã nguồn mở C/C++ phổ biến để chạy suy luận mô hình ngôn ngữ lớn (LLM) cục bộ trên nhiều nền tảng phần cứng. Trong kiến trúc của nó, n_batch xác định số lượng token tối đa được xử lý trong một lô prompt, trong khi n_ubatch thiết lập kích thước lô nhỏ (micro-batch) để cấp phát bộ đệm tính toán.