~/AI ML/krafton-releases-raon-1-nano-a-1-5b-bilingual-model-with-256k

KRAFTON Phát Hành Raon-1 nano: Mô Hình Song Ngữ 1.5B Với Ngữ Cảnh 256k

KRAFTON AI vừa phát hành Raon-1 nano, một mô hình ngôn ngữ dạng dày đặc (dense) mã nguồn mở với 1.5 tỷ tham số hiệu dụng, hỗ trợ gốc độ dài ngữ cảnh 256k token và khả năng song ngữ Hàn-Anh. Mô hình này được tối ưu hóa cho việc triển khai trên thiết bị và hỗ trợ gọi công cụ (tool calling) trên nhiều định dạng như GGUF, MLX và LiteRT-LM. Sản phẩm này mang lại khả năng xử lý ngữ cảnh dài và tuân thủ lệnh song ngữ nâng cao cho các thiết bị biên bị hạn chế tài nguyên, giúp các ứng dụng AI chạy cục bộ trở nên mạnh mẽ hơn đối với người dùng tiếng Hàn và tiếng Anh. Việc áp dụng các cơ chế chú ý và tỉa mô hình sáng kiến cho thấy các kiến trúc lớn có thể được thu nhỏ hiệu quả để triển khai tại thiết bị. Raon-1 nano sử dụng kiến trúc lai kết hợp 18 lớp Raon Delta Attention và 6 lớp chú ý toàn phần, được chuyển hóa từ một mô hình lớn hơn thông qua phương pháp tỉa MoE-to-Dense và chưng cất tri thức. Mô hình được phân phối theo giấy phép Apache 2.0 với các định dạng lượng tử hóa sẵn sàng sử dụng cho Apple Silicon, Android và các môi trường cục bộ khác.

## KIẾN THỨC NỀN

Các mô hình ngôn ngữ mã nguồn mở thường được chuyển đổi sang các định dạng nhỏ gọn, hiệu quả như GGUF hoặc MLX để có thể chạy cục bộ trên phần cứng của người dùng mà không cần dựa vào các API đám mây. Các kỹ thuật như chưng cất tri thức và mở rộng ngữ cảnh chuyên biệt giúp các mô hình nhỏ gọn xử lý các tài liệu cực dài và các tác vụ phức tạp một cách hiệu quả.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#AI/ML#Large Language Models#Open Source#On-Device AI#Multilingual

$ subscribe --daily