llama.cpp b11003 bổ sung hỗ trợ kiến trúc mô hình HRM-Text

Bản phát hành b11003 của llama.cpp chính thức bổ sung hỗ trợ cho kiến trúc mô hình HRM-Text (DFM Mimir 1B). Bản cập nhật triển khai các bộ chuyển đổi tensor tùy chỉnh, xử lý siêu dữ liệu GGUF và xây dựng đồ thị lặp cho cấu trúc hai khối transformer đặc thù của HRM-Text. Sự bổ sung này mở rộng tính linh hoạt của llama.cpp, cho phép người dùng chạy các kiến trúc lặp phân cấp mới trên phần cứng cá nhân. Điều này cho phép thực thi và thử nghiệm cục bộ các mô hình được thiết kế cho suy luận không gian ẩn vốn khác với các thiết kế LLM truyền thống. Do mỗi token phải chạy qua 128 lượt khối trong Mimir 1B, chi phí tính toán giải mã và dung lượng bộ nhớ KV cache cao gấp khoảng 4 lần so với mô hình thông thường có cùng độ rộng. Bản triển khai hiện tại mới chỉ hỗ trợ causal attention, chưa hỗ trợ chế độ Prefix-LM của mô hình gốc.