~/LLAMA CPP/ggerganov-llama-cpp-released-version-b12192

ggerganov/llama.cpp phát hành phiên bản b12192

Phiên bản llama.cpp b12192 mang đến hỗ trợ cho mô hình MageVL-Cowork cùng với các tối ưu hóa định tuyến cho hệ số mã hóa vị trí quay (RoPE). Bản cập nhật này đảm bảo rằng tần số RoPE cấp độ mô hình được quản lý và kiểm tra chính xác trong quá trình khởi tạo. Việc bổ sung hỗ trợ cho các kiến trúc mô hình mới cho phép các nhà phát triển và nghiên cứu chạy các mô hình đa phương thức mới nhất cục bộ bằng cơ sở hạ tầng mã nguồn mở hiệu quả. Điều này giúp mở rộng hệ sinh thái các mô hình tương thích với llama.cpp và các công cụ triển khai hạ nguồn của nó. Bản cập nhật tái cấu trúc các hệ số RoPE để chúng được chia sẻ ở cấp độ clip_model thay vì bị sao chép vào từng clip_layer riêng lẻ. Trình tải mô hình cũng xác thực rằng v.rope_freqs được lưu trữ dưới dạng F32 với các chiều khớp với cấu trúc đồ thị dự kiến.

## KIẾN THỨC NỀN

llama.cpp là một thư viện phần mềm mã nguồn mở thực hiện việc suy luận trên nhiều mô hình ngôn ngữ lớn khác nhau bằng cách sử dụng thư viện tensor GGML. Mã hóa vị trí quay (RoPE) là một phương pháp được áp dụng rộng rãi trong mô hình hóa chuỗi thần kinh để mã hóa các vị trí tuyệt đối thông qua các phép quay trong không gian nhúng token.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#llm#ai-inference#open-source#machine-learning

$ subscribe --daily