Người dùng LLM phản ánh sự suy giảm cá tính agent do nén cửa sổ ngữ cảnh
Một bài đăng trên r/LocalLLaMA đã chỉ ra cách các agent AI thường xuyên mất đi tính cách riêng và sự nhất quán trong lập luận sau khi quá trình nén cửa sổ ngữ cảnh diễn ra. Bài đăng so sánh một cách hài hước rằng sự thay đổi đột ngột trong hành vi của agent giống như một sự sụt giảm năng lực trí tuệ nghiêm trọng khi ngữ cảnh cũ bị tóm tắt. Duy trì sự nhất quán về hành vi và tính cách trong thời gian dài vẫn là một thách thức cốt lõi cho các agent AI giao tiếp. Khi các tương tác kéo dài vượt quá giới hạn ngữ cảnh, các phương pháp nén thông thường có thể làm giảm chất lượng của agent và làm gián đoạn quy trình tương tác nhiều lượt. Các công cụ nén ngữ cảnh tự động tóm tắt các lượt trò chuyện trước đó để giải phóng dung lượng token khi đạt đến giới hạn ngữ cảnh. Tuy nhiên, quá trình nén này thường làm mất đi các chi tiết tinh tế về định dạng, sắc thái giọng điệu và các gợi ý hành vi ngầm định vốn tạo nên tính cách ban đầu của agent.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn (LLM) xử lý đầu vào trong một cửa sổ ngữ cảnh bị giới hạn, đo lường số lượng token tối đa mà mô hình có thể xử lý cùng lúc. Khi các cuộc trò chuyện của agent kéo dài vượt quá giới hạn này, các framework phát triển sẽ kích hoạt tính năng nén ngữ cảnh để tóm tắt các tin nhắn cũ. Mặc dù điều này giúp ngăn lỗi tràn bộ nhớ, việc nén lịch sử prompt thành các bản tóm tắt tổng quan thường khiến mô hình mất đi các chi tiết nhỏ và các chỉ dẫn về tính cách.