Phỏng đoán của cộng đồng về các mô hình DeepSeek và kiến trúc bộ nhớ Engram
Một bài đăng trên subreddit r/LocalLLaMA đã dấy lên những phỏng đoán về các phiên bản mô hình DeepSeek trong tương lai, dự đoán quy mô lên tới 2,8 nghìn tỷ tham số và khả năng tích hợp các tính năng bộ nhớ dựa trên engram. Mặc dù bài đăng chỉ là phỏng đoán chưa được xác minh của người dùng, nó cho thấy sự quan tâm mạnh mẽ của cộng đồng mã nguồn mở đối với các cải tiến kiến trúc của DeepSeek, đặc biệt là các kiến trúc bộ nhớ giúp tách biệt việc truy xuất thực tế khỏi khả năng suy luận. Người dùng đưa ra giả thuyết rằng các mô hình sắp tới có thể dành riêng hơn 1 nghìn tỷ tham số cho bộ nhớ engram và giới thiệu các chỉnh sửa độ dốc engram. Tuy nhiên, tài liệu hiện tại của DeepSeek chỉ ra rằng nghiên cứu bộ nhớ Engram vẫn là một khái niệm thử nghiệm chứ chưa phải là một tính năng được triển khai trong các mô hình đã phát hành.
## KIẾN THỨC NỀN
Trong nghiên cứu LLM, engram đề cập đến một kiến trúc bộ nhớ có điều kiện lấy cảm hứng từ thần kinh học, nhằm tách biệt việc lưu trữ kiến thức thực tế tĩnh khỏi các luồng suy luận động. Bằng cách xử lý việc truy xuất thông tin thực tế một cách riêng biệt, các mô hình có thể giảm bớt chi phí tính toán và cải thiện hiệu suất trong các tác vụ giải quyết vấn đề phức tạp.