llama.cpp Phát Hành Bản b11532 Bổ Sung Hỗ Trợ Exact GELU Cho ModernBERT

llama.cpp đã phát hành phiên bản b11532, bổ sung khả năng hỗ trợ hàm kích hoạt exact GELU cho các mô hình bộ mã hóa ModernBERT. Bản cập nhật cũng cập nhật các ánh xạ hàm, bao gồm ánh xạ gelu_python sang ggml_geglu_erf. Khả năng căn chỉnh hàm kích hoạt chính xác là yếu tố cần thiết cho tính trung thực khi suy luận khi chuyển đổi các mô hình Transformer sang nền tảng nhẹ của llama.cpp. Điều này đảm bảo các mô hình ModernBERT hoạt động chính xác mà không bị giảm độ chính xác trong các tác vụ mã hóa. Bản phát hành này ánh xạ cụ thể `gelu_python` sang `ggml_geglu_erf` trong khi vẫn duy trì các bí danh `tanh GELU` trên `ggml_geglu`. Sửa lỗi này giải quyết các khác biệt nhỏ về kiến trúc giữa các biến thể triển khai PyTorch và toán tử nội bộ của ggml.