llama.cpp Phát hành Bản b11104 Bổ sung Khả năng Ràng buộc Nhiều Địa chỉ Mạng cho llama-server
Phiên bản b11104 của llama.cpp bổ sung khả năng hỗ trợ ràng buộc (bind) thành phần HTTP llama-server với nhiều địa chỉ IP mạng cùng một lúc. Được triển khai thông qua PR #28690, tính năng này cho phép một tiến trình máy chủ tiếp nhận kết nối qua nhiều giao diện mạng đồng thời. Cải tiến này đơn giản hóa việc cấu hình mạng khi triển khai LLM tự lưu trữ, cho phép các nhà phát triển mở cổng llama-server cho cả giao diện loopback cục bộ và giao diện mạng bên ngoài mà không cần chạy nhiều thể hiện. Điều này mang lại sự linh hoạt cao hơn khi triển khai trong hạ tầng hỗn hợp hoặc môi trường container. Bản cập nhật cải thiện khả năng xử lý đối số, bổ sung kiểm tra địa chỉ mạng trùng lấp và chủ động từ chối việc cấp phát cổng động (--port 0) khi cấu hình nhiều địa chỉ TCP. Các bản dựng sẵn đã được phát hành trên nhiều hệ điều hành và backend khác nhau, bao gồm CUDA 13.4, Vulkan, ROCm và Snapdragon.
## KIẾN THỨC NỀN
llama.cpp là một thư viện C/C++ mã nguồn mở được tối ưu hóa để suy luận các Mô hình Ngôn ngữ Lớn (LLM) cục bộ với chi phí phần cứng thấp trên cả CPU và GPU. Công cụ llama-server tích hợp sẵn cung cấp giao diện web API tương thích với OpenAI, cho phép các ứng dụng phần mềm giao tiếp trực tiếp với các mô hình AI chạy cục bộ.