Bản phát hành llama.cpp b11139 sửa lỗi sập server khi ở trạng thái ngủ
llama.cpp đã phát hành phiên bản b11139, khắc phục sự cố sập ứng dụng trong API đếm token khi server đang ở trạng thái ngủ. Bản vá đảm bảo các thể hiện máy chủ đang ngủ sẽ được đánh thức chính xác khi nhận yêu cầu đếm token. Bản sửa lỗi này nâng cao độ tin cậy của các triển khai máy chủ HTTP llama.cpp, đặc biệt đối với các ứng dụng truy vấn số lượng token khi nhàn rỗi. Nó đảm bảo dịch vụ hoạt động liên tục không bị gián đoạn khi tích hợp backend LLM cục bộ vào quy trình làm việc của nhà phát triển. Bản sửa lỗi giải quyết PR #29309 bằng cách xử lý việc đánh thức máy chủ đúng cách khi đếm token và dọn dẹp các alias cục bộ. Các bản dịch sẵn (binary) đã được phát hành cho nhiều nền tảng bao gồm macOS, Linux, Windows và Android, hỗ trợ các backend CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL và Snapdragon.
## KIẾN THỨC NỀN
llama.cpp là một framework C/C++ nguồn mở phổ biến giúp chạy suy luận LLM hiệu quả trên phần cứng cục bộ, từ điện thoại thông minh đến máy chủ nhiều GPU. Máy chủ HTTP tích hợp của nó cho phép các nhà phát triển tự host các endpoint tương thích với OpenAI tại địa phương, tích hợp cơ chế tiết kiệm điện năng như đưa các luồng máy chủ vào trạng thái ngủ khi nhàn rỗi.