Percepta Ra Mắt Spotlight: Tách Biệt Trí Tuệ và Bộ Nhớ Mạng Nơ-ron

Công ty nghiên cứu AI Percepta đã công bố Spotlight, một kiến trúc mạng nơ-ron mới giúp tách biệt mô-đun tính toán trí tuệ khỏi bộ nhớ ngoài có thể ghi được. Thiết kế này cho phép các mô hình liên tục mở rộng cơ sở tri thức và tiếp thu các năng lực mới mà không cần huấn luyện lại trọng số hoặc làm tăng chi phí tính toán trên mỗi token. Bằng cách thay thế cơ chế chú ý (attention) truyền thống bằng hệ thống bộ nhớ thưa tùy chỉnh, Spotlight giải quyết sự đánh đổi căn bản giữa dung lượng mô hình và chi phí suy luận trong các mô hình ngôn ngữ lớn. Mô hình này có thể cho phép AI tích lũy tri thức không giới hạn theo thời gian trong khi vẫn giữ chi phí tính toán thực thi cố định. Khác với các kiến trúc Mixture-of-Experts kích hoạt một tỷ lệ tham số cố định, Spotlight sử dụng độ thưa tùy chỉnh trong đó mỗi token chỉ truy xuất một số lượng ô nhớ nhỏ và cố định bất kể tổng dung lượng bộ nhớ lớn đến đâu. Vì bộ nhớ có thể ghi lưu trữ cả quy trình lẫn dữ liệu thực tế, mô hình có thể tiếp thu các kỹ năng vận hành mới một cách linh hoạt mà không cần chỉnh sửa trọng số trí tuệ cốt lõi.