llama.cpp Phát Hành Bản Dựng b10568 Cập Nhật Offset Cho RoPE
llama.cpp đã phát hành bản dựng b10568, cập nhật triển khai mô hình để sử dụng hàm `ggml_rope_set_offset()`. Thay đổi này đã được áp dụng một phần cho kiến trúc mô hình DeepSeek-V2. Bản cập nhật này tinh chỉnh cách xử lý nhúng vị trí (positional embeddings) trong llama.cpp, cải thiện khả năng tương thích và thực thi cho các mô hình như DeepSeek-V2. Nó đảm bảo hệ sinh thái mã nguồn mở luôn được cập nhật với các kiến trúc mô hình và kỹ thuật tối ưu hóa gần đây. Bản phát hành tích hợp cụ thể hàm `ggml_rope_set_offset()` để quản lý các offset của RoPE. Ngoài ra, ghi chú phát hành cho thấy một số bản dựng, chẳng hạn như macOS Apple Silicon kích hoạt KleidiAI và các cấu hình openEuler, hiện đang bị vô hiệu hóa.
## KIẾN THỨC NỀN
llama.cpp là một công cụ suy luận mã nguồn mở được thiết kế để chạy các LLM trên phần cứng cục bộ bằng thư viện tensor GGML. Nhúng Vị trí Quay (RoPE) là một phương pháp được sử dụng trong các mô hình transformer hiện đại để mã hóa thông tin vị trí bằng cách xoay các vectơ key và query. DeepSeek-V2 là một mô hình ngôn ngữ lớn sử dụng các kỹ thuật mã hóa vị trí tiên tiến này.