llama.cpp b11020 bổ sung bộ phân tách tin nhắn cho chat parser DeepSeek V3.2/V4
Bản phát hành llama.cpp b11020 cập nhật trình phân tích cú pháp trò chuyện (chat parser) để bổ sung các bộ phân tách tin nhắn dành riêng cho các mô hình DeepSeek V3.2/V4. Cập nhật này được đồng tác giả bởi Sigbjørn Skjæret từ Hugging Face cùng sự hỗ trợ của Claude. Việc phân tích chính xác mẫu trò chuyện (chat template) giúp các mô hình ngôn ngữ lớn xử lý các cuộc trò chuyện nhiều lượt một cách chính xác mà không bị nhầm lẫn ranh giới vai trò hoặc các token đặc biệt. Bản vá này cải thiện tính tương thích và độ chính xác về định dạng khi chạy cục bộ các biến thể mô hình DeepSeek bằng llama.cpp. Bản vá được tích hợp qua pull request #29008 và nhắm trực tiếp vào logic phân tích chat nội bộ. Các bản biên dịch sẵn (binary) cho bản phát hành b11020 đã được phát hành trên Windows, Linux, macOS và Android hỗ trợ các backend CPU, CUDA, Vulkan, ROCm và SYCL.
## KIẾN THỨC NỀN
llama.cpp là một công cụ thực thi (inference engine) LLM mã nguồn mở phổ biến được tối ưu hóa để chạy các mô hình cục bộ trên phần cứng cá nhân. Các mô hình chat phụ thuộc vào các mẫu trò chuyện (chat template) cụ thể và các bộ phân tách token đặc biệt để phân định các lượt lời của hệ thống, người dùng và trợ lý. Nếu không có bộ phân tách chính xác, công cụ suy luận có thể định dạng đầu vào sai, dẫn đến suy giảm chất lượng phản hồi hoặc không nhận biết được điểm kết thúc lượt lời.