Khám phá các xu hướng kiến trúc mới nổi trong mô hình AI
Một cuộc thảo luận trên Reddit khám phá các xu hướng kiến trúc tiên tiến và sắp ra mắt trong mô hình AI, chẳng hạn như bộ nhớ engram có điều kiện, kết nối siêu việt (hyper connections) và transformer lặp (looped transformers). Cuộc thảo luận nhấn mạnh các đổi mới hiện đang được nghiên cứu bởi các phòng thí nghiệm AI lớn. Hiểu được những chuyển dịch kiến trúc này là rất quan trọng vì việc mở rộng quy mô các mô hình transformer truyền thống đang gặp phải các nút thắt cổ chai về hiệu suất. Các mô hình mới nhằm mục đích cải thiện khả năng suy luận, khả năng truy xuất bộ nhớ và hiệu quả tính toán. Cuộc thảo luận đề cập đến các kỹ thuật tiên tiến hiện tại như bộ nhớ engram có điều kiện và sự chú ý thưa (sparse attention), bên cạnh các khái niệm sắp tới như transformer lặp và các biến thể Gated Delta Net. Những phương pháp này tìm cách tách biệt bộ nhớ sự kiện khỏi khả năng suy luận hoặc cải thiện mô hình hóa chuỗi.
## KIẾN THỨC NỀN
Bộ nhớ engram có điều kiện là một bước đột phá kiến trúc giúp tách biệt những gì mô hình biết khỏi cách chúng suy nghĩ bằng cách cung cấp tính năng tra cứu kiến thức thời gian hằng số. Transformer lặp sử dụng một khối được chia sẻ trọng số cố định lặp đi lặp lại để tinh chỉnh các biểu diễn một cách lặp đi lặp lại, trong khi Gated Delta Networks cải thiện các cơ chế chú ý tuyến tính để nâng cao khả năng giữ bộ nhớ.