ggerganov/llama.cpp Phát Hành Phiên Bản b12019 Hỗ Trợ Khối Suy Nghĩ Qwen3-Coder
Phiên bản b12019 của llama.cpp giới thiệu các bản cập nhật để xử lý các khối suy nghĩ trong mô hình qwen3-coder bên cạnh các bản dựng nhị phân chuẩn cho nhiều hệ điều hành. Cụ thể, bản phát hành này cập nhật định dạng trò chuyện để loại bỏ hoặc chấp nhận các khối suy nghĩ khi cấu hình reasoning_format được đặt thành none. Bản cập nhật này đảm bảo tính tương thích tốt hơn với các mô hình lập trình có khả năng suy luận chạy cục bộ. Người dùng có thể kiểm soát định dạng đầu ra chính xác hơn khi tương tác với các mô hình tạo ra các bước suy luận nội bộ. Bản phát hành bao gồm các tệp nhị phân và thư viện được biên dịch sẵn cho nhiều nền tảng, bao gồm macOS Apple Silicon, Linux với các phần cứng tăng tốc khác nhau như CUDA và Vulkan, Android cùng với Windows. Nó cũng xác định trước cả hai biến thể khối suy nghĩ của qwen3-coder để cải thiện việc xử lý trò chuyện.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở thực hiện suy luận trên nhiều mô hình ngôn ngữ lớn khác nhau và đóng vai trò là thành phần cốt lõi cho nhiều công cụ AI cục bộ. Thư viện này được phát triển đồng thời cùng dự án GGML, cung cấp một thư viện tensor đa năng được thiết kế cho các tác vụ học máy hiệu quả.