ggerganov/llama.cpp phát hành phiên bản b12023 với các cải tiến máy chủ
Bản phát hành b12023 của llama.cpp giới thiệu các cải tiến ở phía máy chủ nhằm giới hạn tiền tố quyết định được chia sẻ tại vị trí đầu ra đầu tiên. Bản cập nhật này khắc phục sự cố #30482 bằng cách đảm bảo các embedding đầu ra quyết định vẫn khả dụng trong lô cuối cùng khi các câu hỏi chia sẻ token tùy chọn. Bản cập nhật định kỳ này tối ưu hóa cách thành phần máy chủ xử lý các cấu trúc prompt phức tạp và xử lý theo lô cho các token tùy chọn được chia sẻ. Những cải tiến như vậy giúp nâng cao độ ổn định và hiệu suất tổng thể của việc triển khai mô hình ngôn ngữ lớn cục bộ chạy trên llama.cpp. Bản sửa lỗi giới hạn tiền tố được chia sẻ ở vị trí đầu ra bắt buộc của cả tác vụ cha và tác vụ con thông qua pull request #30710. Các nhà phát triển và người dùng có thể tải xuống các tệp nhị phân mới nhất trên nhiều nền tảng khác nhau bao gồm macOS, Linux, Android và Windows.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở do Georgi Gerganov phát triển, thực hiện suy luận cục bộ trên các mô hình ngôn ngữ lớn như Llama của Meta bằng cách sử dụng thư viện tensor GGML. Nó đóng vai trò là backend cốt lõi cho nhiều công cụ AI cục bộ phổ biến như Ollama và LM Studio.