KRAFTON Phát Hành Raon-1-mini: Mô Hình Ngôn Ngữ MoE Song Ngữ 30B
KRAFTON AI vừa phát hành Raon-1-mini, một mô hình ngôn ngữ Mixture-of-Experts (MoE) 30B-A4B được huấn luyện hoàn toàn từ đầu theo giấy phép Apache 2.0. Mô hình này tích hợp khả năng suy luận, tính năng gọi công cụ tiên tiến và hỗ trợ song ngữ mạnh mẽ cho cả tiếng Hàn lẫn tiếng Anh. Bản phát hành này cung cấp cho cộng đồng mã nguồn mở một mô hình song ngữ năng lực cao, được tối ưu hóa cho các tác vụ tiếng Hàn và tiếng Anh, quy trình làm việc tác nhân (agentic workflows) cũng như các bài kiểm tra toán học và khoa học. Các tính năng tối ưu hóa của mô hình giúp các mô hình ngôn ngữ lớn dễ tiếp cận hơn nhiều để triển khai cục bộ trên phần cứng phổ thông. Raon-1-mini hỗ trợ giải mã suy đoán (speculative decoding) thông qua mô hình nháp DFlash2 đi kèm và cung cấp các tùy chọn lượng tử hóa MXFP8 cùng NVFP4. Đáng chú ý, định dạng NVFP4 cho phép suy luận hiệu quả trực tiếp trên một GPU NVIDIA RTX 5090 duy nhất với 32 GB VRAM.
## KIẾN THỨC NỀN
Mixture-of-Experts (MoE) là một kiến trúc mạng nơ-ron trong đó nhiều mô hình con chuyên biệt (các chuyên gia) được sử dụng, nhưng chỉ một tập hợp con trong số đó được kích hoạt cho mỗi token nhằm duy trì hiệu suất cao mà không tốn quá nhiều chi phí tính toán. Giải mã suy đoán (speculative decoding) là một kỹ thuật tối ưu hóa thời gian suy luận, sử dụng một mô hình nháp nhỏ hơn để tạo ra các token ứng viên một cách nhanh chóng, sau đó được mô hình mục tiêu lớn hơn xác thực đồng thời nhằm giảm độ trễ. NVFP4 là định dạng lượng tử hóa dấu phẩy động 4-bit độ chính xác thấp được thiết kế cho các GPU kiến trúc NVIDIA Blackwell nhằm giảm băng thông bộ nhớ và yêu cầu lưu trữ trong khi vẫn duy trì độ chính xác.