llama.cpp Bản phát hành b11495 Hỗ trợ Hàm Kích hoạt Phân loại cho Mô hình Reranker
Bản phát hành b11495 của llama.cpp bổ sung hỗ trợ các hàm kích hoạt bộ phân loại cho các mô hình reranker. Cập nhật này ánh xạ kích hoạt GELU sang `gelu_erf`, tiếp nhận `tanh`, đặt `tanh` làm hàm kích hoạt phân loại mặc định và cấu hình các mô hình ModernBERT sử dụng `gelu_erf` làm phương án dự phòng. Các mô hình reranker là thành phần quan trọng trong các quy trình RAG (Retrieval-Augmented Generation) giúp xếp hạng và đánh giá chính xác các tài liệu tìm kiếm. Việc hỗ trợ đúng các hàm kích hoạt phân loại giúp các kiến trúc hiện đại như ModernBERT chạy suy luận cục bộ một cách chính xác. Được triển khai qua PR #29692, bản cập nhật đặt mặc định tham số `act_cls` thành `tanh` cho các mô hình reranker, đồng thời định tuyến ModernBERT sang `gelu_erf`. Các tệp thực thi đã được phát hành cho nhiều nền tảng như Linux, Windows, macOS, Android và iOS cùng các tùy chọn tăng tốc GPU/NPU.
## KIẾN THỨC NỀN
llama.cpp là thư viện suy luận C/C++ phổ biến cho phép chạy các mô hình ngôn ngữ lớn cũng như mô hình embedding/reranker cục bộ với hiệu năng tối ưu trên nhiều phần cứng. Reranker là các mô hình cross-encoder chuyên biệt dùng để đánh giá độ liên quan giữa truy vấn và đoạn văn trong hệ thống tìm kiếm bằng lớp phân loại đặt trên bộ mã hóa transformer. ModernBERT là một kiến trúc BERT cải tiến được huấn luyện trên 2 nghìn tỷ token, kết hợp các thành phần hiện đại như hàm kích hoạt GeGLU và nhúng vị trí quay.