Người dùng Reddit tuyên bố Raon vượt trội hơn Flint trong lĩnh vực LLM nội bộ
Một người dùng Reddit đã đăng bài bày tỏ sự ưu ái đối với mô hình Raon-1-mini-preview-gguf hơn Flint, cho rằng nó mang lại hiệu suất tốt hơn đáng kể. Bài đăng nhấn mạnh mô hình do KRAFTON phát triển này là một ứng cử viên sáng giá trong cộng đồng AI chạy nội bộ. Những phản hồi mang tính cộng đồng không chính thức này giúp thu hút sự chú ý đến các mô hình mã nguồn mở thay thế như dòng Raon của KRAFTON. Điều này khuyến khích người dùng LLM nội bộ khám phá các kiến trúc đa dạng bên cạnh các lựa chọn thông thường. Mô hình được đề cập, Raon-1-mini-preview-gguf, là một điểm kiểm tra định dạng GGUF được thiết kế để chạy cục bộ bằng các công cụ như llama.cpp. Mô hình Raon-1-mini gốc là mô hình ngôn ngữ Hỗn hợp Chuyên gia (MoE) 30B-A4B do KRAFTON AI tạo ra.
## KIẾN THỨC NỀN
LLM nội bộ là các mô hình ngôn ngữ lớn mà người dùng chạy trực tiếp trên phần cứng của riêng họ, tận dụng các định dạng tệp như GGUF được tối ưu hóa để tải và lượng tử hóa hiệu quả. Các mô hình Hỗn hợp Chuyên gia (MoE) định tuyến các token qua một tập hợp con các tham số mạng, mang lại hiệu suất cao với chi phí tính toán thấp hơn trong quá trình suy luận.