llama.cpp phát hành b11471 bổ sung hỗ trợ token FIM cho PLaMo
Dự án llama.cpp đã phát hành phiên bản b11471, bổ sung hỗ trợ cho các token từ vựng Fill-in-the-Middle (FIM) của các mô hình PLaMo. Cập nhật này cho phép xử lý chính xác các tác vụ hoàn thiện mã nguồn và điền văn bản khi chạy mô hình PLaMo thông qua llama.cpp. Điều này mở rộng tính năng mô hình được hỗ trợ cho các lập trình viên sử dụng bộ suy luận LLM cục bộ. Thay đổi này được thêm vào trong pull request #30090 để cập nhật định nghĩa từ vựng của tokenizer. Các bản dựng phần mềm cho bản phát hành b11471 hiện đã có sẵn trên Windows, Linux, macOS, Android và Snapdragon.
## KIẾN THỨC NỀN
PLaMo là dòng mô hình ngôn ngữ nền tảng do Preferred Networks (PFN) phát triển, được thiết kế tối ưu cho tiếng Anh và tiếng Nhật. Fill-in-the-Middle (FIM) là một kỹ thuật huấn luyện và suy luận cho phép mô hình ngôn ngữ chèn văn bản vào giữa ngữ cảnh có sẵn bằng các token đặc biệt, được sử dụng phổ biến trong các công cụ hoàn thiện mã nguồn.