KRAFTON AI hé lộ mô hình Raon-1 mini mã nguồn mở theo kiến trúc MoE
Công ty trò chơi Hàn Quốc KRAFTON AI đã giới thiệu phiên bản xem trước của Raon-1 mini, một mô hình mã nguồn mở thuộc kiến trúc Chuyên gia hỗn hợp (MoE) với 30B-A4B tham số, tích hợp cơ chế chú ý tuyến tính và giải mã suy đoán. Được phát hành theo giấy phép Apache 2.0, mô hình tập trung chủ yếu vào tiếng Hàn đồng thời duy trì hiệu suất tiếng Anh tốt và khả năng hội thoại tự nhiên. Việc ra mắt này mang đến một lựa chọn thay thế mang tính khu vực đầy cạnh tranh trong hệ sinh thái mô hình ngôn ngữ lớn mã nguồn mở, sánh ngang với Muse Glimmer 30B của Meta trong các tác vụ lập trình và tác tử (agent) đồng thời mang lại tốc độ nhanh hơn và hiệu suất bộ nhớ cao hơn. Tính sẵn có theo giấy phép cởi mở giúp trao quyền cho các nhà phát triển xây dựng các ứng dụng AI tùy chỉnh với mức sử dụng tài nguyên được tối ưu hóa. Mô hình Raon-1 mini sử dụng cấu hình 30B-A4B và kết hợp cơ chế chú ý tuyến tính cùng tính năng giải mã suy đoán để tối ưu hóa tốc độ suy luận và dung lượng bộ nhớ. KRAFTON AI đã cung cấp phiên bản xem trước kèm theo bản dùng thử API miễn phí trong thời gian giới hạn trên trang web chính thức của họ, trước khi các mô hình lớn hơn tiếp theo ra mắt.
## KIẾN THỨC NỀN
Chuyên gia hỗn hợp (MoE) là một kiến trúc mạng thần kinh trong đó nhiều mô hình con chuyên biệt (các chuyên gia) được sử dụng, nhưng chỉ một tập hợp con được kích hoạt cho mỗi đầu vào cụ thể nhằm giảm chi phí tính toán. Cơ chế chú ý tuyến tính điều chỉnh các phương pháp chú ý chuẩn của Transformer để tỷ lệ thuận tuyến tính với độ dài chuỗi, trong khi giải mã suy đoán giúp tăng tốc quá trình tạo văn bản bằng cách sử dụng một mô hình nháp nhỏ hơn để đề xuất các token mà mô hình lớn hơn sẽ xác minh song song.