GPT-X3-150M Giành Vị Trí Dẫn Đầu Trên Bảng Xếp Hạng Open SLM
Mô hình GPT-X3-150M đã giành vị trí số một trên bảng xếp hạng Open SLM, vượt qua mô hình SmolLM2-135M của HuggingFace. Thành tựu này đạt được nhờ việc áp dụng kiến trúc kết hợp GDN2 và GQA hoàn toàn mới. Sự phát triển này làm nổi bật những tiến bộ nhanh chóng và mức độ cải thiện hiệu suất ở các mô hình ngôn ngữ nhỏ, giúp đưa các khả năng AI cục bộ tiên tiến đến gần hơn với phần cứng phổ thông. Những đổi mới về kiến trúc này đang đẩy lùi ranh giới hiệu năng mà các mô hình siêu nhỏ gọn có thể đạt được. Mô hình sử dụng phương pháp kết hợp giữa các lớp không gian trạng thái Gated DeltaNet-2 (GDN2) và cơ chế chú thích nhóm truy vấn (GQA). Với quy mô chỉ 150 triệu tham số, nó đã vượt qua các mô hình dẫn đầu trước đó trong phân khúc mô hình ngôn ngữ siêu nhỏ.
## KIẾN THỨC NỀN
Mô hình ngôn ngữ nhỏ (SLM) là các mô hình AI gọn nhẹ được thiết kế để chạy hiệu quả trên các thiết bị hạn chế về tài nguyên như điện thoại thông minh hoặc phần cứng biên. Các kiến trúc như GQA giúp giảm thiểu tình trạng nghẽn băng thông bộ nhớ trong quá trình suy luận, trong khi các lớp không gian trạng thái mới hơn như GDN2 nhằm cải thiện hiệu quả xử lý dữ liệu và ngữ cảnh dài.