llama.cpp Phát Hành Phiên Bản b10749 Bổ Sung Tự Động Co Giãn Ngữ Cảnh Cho YaRN
Trình thực thi suy luận mô hình ngôn ngữ lớn nguồn mở llama.cpp đã phát hành bản dựng b10749, bổ sung tính năng tự động co giãn ngữ cảnh cho tham số độ dài ngữ cảnh huấn luyện (n_ctx_train) khi các tham số YaRN scaling được chỉ định. Bản vá này giúp đơn giản hóa việc quản lý cửa sổ ngữ cảnh khi chạy các mô hình sử dụng kỹ thuật mở rộng ngữ cảnh, tránh các lỗi cấu hình thủ công từ người dùng khi mở rộng giới hạn token. Bản phát hành tích hợp Yêu cầu Kéo (PR) #28030, tự động tính toán độ dài ngữ cảnh huấn luyện hiệu dụng từ cấu hình co giãn ngữ cảnh YaRN được chỉ định trong quá trình thiết lập ngữ cảnh mô hình.
## KIẾN THỨC NỀN
llama.cpp là một bộ khung suy luận C/C++ được thiết kế để chạy các mô hình ngôn ngữ lớn cục bộ trên nhiều nền tảng phần cứng khác nhau. YaRN (Yet another RoPE extensioN) là một phương pháp mở rộng cửa sổ ngữ cảnh cho các mô hình dựa trên mã hóa vị trí xoay (RoPE) mà chỉ cần rất ít tinh chỉnh bổ sung.