Từ Cơ Chế Self-Attention Toàn Phần Sang Lai Tạo Trong LLM
Sebastian Raschka đã công bố một bài phân tích kỹ thuật chi tiết về việc các mô hình ngôn ngữ lớn mã nguồn mở hiện đại đang chuyển dịch từ cơ chế self-attention toàn phần truyền thống sang các thiết kế attention lai tạo và thưa. Sự tiến hóa kiến trúc này nhằm tối ưu hóa hiệu quả tính toán và quản lý bộ nhớ cho các cửa sổ ngữ cảnh dài. Sự chuyển dịch này đóng vai trò quan trọng trong việc giải quyết các nút thắt nghiêm trọng về tính toán và bộ nhớ liên quan đến việc xử lý ngữ cảnh hàng triệu token trong LLM. Khi các ứng dụng đòi hỏi độ dài ngữ cảnh lớn hơn, việc từ bỏ cơ chế attention toàn phần dày đặc trở nên thiết yếu để mở rộng hiệu suất một cách bền vững. Bài viết khảo sát cách các kiến trúc lai kết hợp các cơ chế attention khác nhau hoặc tích hợp các phương pháp tuyến tính và thưa để giảm thiểu độ phức tạp mở rộng bình phương của mô hình Transformer tiêu chuẩn. Những thay đổi này làm giảm đáng kể lượng bộ nhớ KV-cache trong cả giai đoạn huấn luyện và suy luận.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn dựa trên kiến trúc Transformer truyền thống phụ thuộc vào cơ chế attention toàn phần, nơi mọi token tương tác với mọi token khác, dẫn đến chi phí tính toán và bộ nhớ tăng theo hàm số mũ bậc hai khi độ dài ngữ cảnh tăng lên. Các cơ chế attention lai tạo và thưa nhằm mục đích giảm thiểu các chi phí chung này bằng cách chỉ tính toán một tập hợp con các tương tác từng cặp hoặc sử dụng các cấu trúc tuyến tính và hồi tiếp thay thế.