llama.cpp Phát Hành Bản b11944 Bổ Sung Mức Độ Nỗ Lực Suy Lập Cho Mẫu Trò Chuyện
Bản phát hành b11944 của llama.cpp giới thiệu tính năng phơi bày mức độ nỗ lực suy luận ở phía máy chủ trong các mẫu trò chuyện. Bản cập nhật này bao gồm một công cụ thăm dò khả năng kiểm tra các cấp độ ứng viên khác nhau từ tối thiểu đến tối đa và báo cáo các cấp độ được hỗ trợ thông qua điểm cuối thuộc tính của máy chủ. Tính năng này hỗ trợ tích hợp và kiểm soát tốt hơn đối với các mô hình suy luận tiên tiến yêu cầu cấu hình độ sâu tư duy động. Người dùng chạy các mô hình ngôn ngữ lớn cục bộ giờ đây có thể tinh chỉnh hành vi suy luận trực tiếp thông qua API của máy chủ. Công cụ thăm dò khả năng đánh giá các mức độ nỗ lực ứng viên (tối thiểu, thấp, trung bình, cao, rất cao, tối đa) bằng cách hiển thị các lượt của người dùng và phát hiện các trường hợp dự phòng. Các cấp độ được hỗ trợ kết quả được chuyển đổi tuần tự thành JSON và được phơi bày thông qua trường chat_template_caps trong điểm cuối /props.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến được thiết kế để cho phép suy luận hiệu quả các mô hình ngôn ngữ lớn trên phần cứng cấp phổ thông với thiết lập tối thiểu. Các mẫu trò chuyện trong ngữ cảnh này xác định cách các câu lệnh hội thoại và hướng dẫn hệ thống được cấu trúc trước khi được đưa vào mô hình cơ sở.