Bản phát hành b10924 của llama.cpp sửa lỗi định dạng lệnh điều hướng trên máy chủ
Dự án mã nguồn mở llama.cpp đã phát hành bản dựng b10924, khắc phục sự cố trên server khi các chuỗi escape của bộ ghi log làm gián đoạn lệnh trạng thái từ tiến trình con của router. Bản sửa lỗi giúp đóng khung lệnh trạng thái trên một dòng mới hoàn chỉnh, giải quyết tình trạng các mô hình đã tải xong nhưng vẫn bị kẹt ở trạng thái đang tải. Bản cập nhật này cải thiện tính ổn định của hạ tầng server trong llama.cpp bằng cách giải quyết lỗi đồng bộ hóa trạng thái tiến trình khi xử lý mô hình. Giao tiếp giữa các tiến trình đáng tin cậy là yếu tố then chốt cho các nhà phát triển vận hành API server LLM cục bộ hoặc trong môi trường container. Sự cố xảy ra do bộ ghi log phát ra chuỗi đặt lại màu ANSI phía sau ký tự xuống dòng trên stderr (dùng chung pipe với stdout), dẫn đến việc chuỗi này dính liền vào đầu lệnh trạng thái tiếp theo. Việc bổ sung ký tự xuống dòng vào đầu lệnh đảm bảo lệnh luôn bắt đầu ở đầu dòng mới, giúp bước kiểm tra tiền tố vượt qua thành công.
## KIẾN THỨC NỀN
llama.cpp là thư viện C/C++ phổ biến dùng để chạy các Mô hình Ngôn ngữ Lớn (LLM) cục bộ với hiệu năng cao trên nhiều nền tảng phần cứng như CUDA, Vulkan và Apple Silicon. Thành phần server tích hợp sẵn của nó cho phép người dùng triển khai các API tương thích với OpenAI và quản lý việc nạp cũng như điều hướng mô hình một cách linh hoạt.