llama.cpp Phát Hành Bản Build b11113 Sửa Lỗi Ghi Log Trình Phục Vụ
Phiên bản b11113 của llama.cpp đã được phát hành, mang đến bản sửa lỗi ngăn thành phần máy chủ (server) truyền các tệp log đang mở sang các tiến trình con. Cập nhật này giải quyết tình trạng rò rỉ trình mô tả tệp (file descriptor) khi khởi tạo các tiến trình con trong môi trường máy chủ HTTP. Việc ngăn rò rỉ trình mô tả tệp sang các tiến trình con giúp cải thiện sự cô lập tiến trình, độ ổn định và quản lý tài nguyên khi vận hành các máy chủ LLM cục bộ. Điều này đảm bảo các tác vụ con chạy nền không vô tình giữ khóa mở tệp hoặc ghi đè vào tệp log chính của máy chủ. Bản sửa lỗi được triển khai qua Pull Request #29212 nhằm xử lý riêng việc quản lý tay cầm tệp của máy chủ. Bản phát hành này tiếp tục cung cấp các file biên dịch sẵn cho macOS, Windows, Linux và Android trên nhiều backend phần cứng như CUDA 12/13, Vulkan, ROCm, OpenVINO, SYCL và Snapdragon.
## KIẾN THỨC NỀN
llama.cpp là một khung suy luận LLM bằng C/C++ mã nguồn mở phổ biến, được thiết kế để chạy các mô hình AI cục bộ với hiệu suất cao trên nhiều dòng CPU và GPU. Tính năng máy chủ HTTP tích hợp của nó cho phép người dùng lưu trữ các REST API cục bộ tương thích với OpenAI, vốn thường xuyên quản lý các tiến trình và tay cầm hệ thống phía sau.