Khi nào chúng ta sẽ thấy một đột phá tiếp theo cho các mô hình đặc cục bộ nhanh hơn?
Một cuộc thảo luận trên Reddit khám phá sự thiếu vắng các bước đột phá về kiến trúc gần đây để tăng tốc các mô hình ngôn ngữ đặc cục bộ ngoài các kỹ thuật hiện có như Mixture of Experts (MoE) và Multi-Token Prediction (MTP). Tốc độ suy luận vẫn là một nút thắt cổ chai quan trọng đối với việc chạy các mô hình ngôn ngữ lớn cục bộ trên phần cứng phổ thông, khiến các đổi mới kiến trúc trở nên quan trọng đối với khả năng sử dụng hàng ngày. Cuộc thảo luận lưu ý rằng mặc dù MoE làm giảm các tham số hoạt động so với tổng số tham số, nhưng nó thường làm giảm độ ổn định so với các mô hình đặc có kích thước tương tự.
## KIẾN THỨC NỀN
Mixture of Experts (MoE) và Multi-Token Prediction (MTP) là hai kỹ thuật nổi bật được sử dụng để nâng cao hiệu quả của mô hình ngôn ngữ và tốc độ suy luận. MoE chỉ kích hoạt một tập hợp con các tham số cho mỗi token, trong khi MTP cho phép các mô hình dự đoán đồng thời nhiều token tương lai trong quá trình tạo văn bản.