Tìm kiếm giải pháp bộ nhớ trò chuyện dài hạn cho các mô hình LLM cục bộ

Một người dùng trên cộng đồng r/LocalLLaMA đã xin gợi ý về các chiến lược và công cụ để duy trì bộ nhớ trò chuyện kéo dài nhiều năm cho nhiều dự án khi chuyển từ ChatGPT sang các mô hình cục bộ như DeepSeek và Qwen. Người đăng bài lưu ý rằng mặc dù các mô hình cục bộ hoạt động tốt trong các tác vụ riêng lẻ, các cơ sở mã nguồn phần mềm lớn và các kế hoạch dự án dài hạn nhanh chóng làm đầy cửa sổ ngữ cảnh. Khi các nhà phát triển ngày càng chuyển sang sử dụng LLM cục bộ tự lưu trữ vì lý do riêng tư và chi phí, việc tái tạo khả năng ghi nhớ dài hạn liền mạch như các nền tảng đám mây ChatGPT vẫn là một thách thức kỹ thuật lớn. Việc giải quyết tính bền vững của bộ nhớ cục bộ là rất quan trọng để giúp các trợ lý AI hỗ trợ kiến trúc phần mềm phức tạp và các dự án cá nhân thuộc nhiều lĩnh vực trong thời gian dài. Người dùng cần một giải pháp có khả năng truy xuất chính xác thông tin trên nhiều chủ đề đa dạng—từ phát triển phần mềm, điện tử đến sinh lý học và bảo dưỡng xe—trải dài qua nhiều tháng hoặc nhiều năm lịch sử trò chuyện. Các phương pháp kỹ thuật hiện có trong hệ sinh thái để giải quyết vấn đề này bao gồm Tạo phản hồi tăng cường tra cứu (RAG) dựa trên vectơ cho lịch sử trò chuyện, tóm tắt ngữ cảnh đệ quy và biểu diễn đồ thị trí thức.