llama.cpp Phát Hành Bản Xây Dựng b12404 với Các Vá Lỗi Máy Chủ
llama.cpp đã phát hành bản xây dựng b12404, mang đến bản vá lỗi cho việc tái sử dụng kết quả kết nối sau các phản hồi trực tuyến dạng chuỗi (streamed responses) trong thành phần máy chủ. Cập nhật này giải quyết hành vi mạng cụ thể để đảm bảo giao tiếp giữa máy khách và máy chủ ổn định hơn trong quá trình truyền dữ liệu trực tuyến. Việc duy trì khả năng tái sử dụng kết nối đáng tin cậy là rất quan trọng đối với các ứng dụng phụ thuộc vào việc truyền phát liên tục các phản hồi từ mô hình ngôn ngữ lớn. Bản vá này cải thiện độ ổn định và hiệu suất tổng thể cho các nhà phát triển đang lưu trữ máy chủ suy luận cục bộ hoặc từ xa sử dụng llama.cpp. Bản phát hành này bao gồm các tệp nhị phân được biên dịch sẵn và các gói hỗ trợ đa nền tảng cho nhiều kiến trúc phần cứng khác nhau, bao gồm macOS Apple Silicon, Windows, Android và các bản phân phối Linux khác nhau sử dụng CPU, CUDA, Vulkan cùng các phần phụ trợ khác.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở được thiết kế để thực hiện suy luận trên các mô hình ngôn ngữ lớn khác nhau, được đồng phát triển cùng với thư viện tensor GGML. Nó có tính năng thành phần máy chủ tích hợp với giao diện web, đóng vai trò là cơ sở hạ tầng cốt lõi cho nhiều công cụ AI cục bộ phổ biến.