REMORY: Học bộ nhớ phần dư để nén ngữ cảnh cho mô hình ngôn ngữ lớn
REMORY giới thiệu một mạng bộ nhớ thần kinh bổ sung các tóm tắt văn bản bằng các token bộ nhớ mềm đã học, cho phép các mô hình ngôn ngữ lớn (LLM) đã đóng băng xấp xỉ hiệu suất ngữ cảnh đầy đủ. Phương pháp này chỉ sử dụng 5,2% số vị trí đầu vào trong khi cải thiện khả năng quy nguồn và giảm lỗi công cụ trên các tác nhân dài hạn. Các tác nhân AI dài hạn thường gặp khó khăn với các cửa sổ ngữ cảnh hữu hạn và chi phí token cao khi phải gửi lại lịch sử trò chuyện. REMORY cung cấp một cách hiệu quả để nén lịch sử mà không đánh đổi các chi tiết quan trọng cần thiết cho các quyết định phức tạp. Các token bộ nhớ mềm được điều kiện hóa theo phần tóm tắt và nối tiếp phía sau nó, đóng vai trò như một kết nối phần dư dọc theo chiều chuỗi. Được đánh giá trên các mô hình như Qwen3.8-27B và GLM-5.3-Flash, phương pháp này cho thấy những cải thiện đồng đều trên các bộ chuẩn đánh giá như SummHay, BrowseComp và Terminal-Bench 2.1.
## KIẾN THỨC NỀN
Nén ngữ cảnh là kỹ thuật được sử dụng để rút ngắn các lịch sử trò chuyện hoặc tài liệu dài để các mô hình ngôn ngữ lớn có thể xử lý chúng trong giới hạn token hữu hạn của mình. Token bộ nhớ mềm là các biểu diễn vé-tơ liên tục được học bởi một mạng thần kinh thay vì các từ cố định từ từ điển, cho phép chúng mã hóa thông tin ngữ nghĩa phong phú một cách gọn gàng.