ggerganov/llama.cpp Phát Hành Phiên Bản b12411
Phiên bản b12411 của llama.cpp giới thiệu việc tái cấu trúc máy chủ, bổ sung bộ lập lịch khe cắm mới và tính năng mã băm chạy prompt sử dụng sha256. Những cải tiến ở phía máy chủ này giúp cải thiện cách quản lý yêu cầu và khe cắm, qua đó tối ưu hóa hiệu suất và độ ổn định cho việc triển khai mô hình ngôn ngữ lớn cục bộ. Bản cập nhật bao gồm các thay đổi trong pull request #32154, tập trung cụ thể vào việc lập lịch khe cắm máy chủ và theo dõi quá trình thực thi prompt bằng hàm băm mật mã.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở thực hiện suy luận trên nhiều mô hình ngôn ngữ lớn khác nhau, được đồng phát triển cùng thư viện tensor GGML. Thư viện này bao gồm một máy chủ tích hợp với giao diện web, trở thành thành phần cốt lõi phổ biến cho các công cụ AI cục bộ.