~/LARGE LANGUA/ovh-announces-olala-mini-7a1b-open-source-moe-model

OVH công bố mô hình MoE mã nguồn mở Olala mini 7A1B

OVH đã công bố mô hình ngôn ngữ mã nguồn mở 'Olala mini 7A1B', sở hữu kiến trúc Hỗn hợp chuyên gia (Mixture-of-Experts) 7 tỷ tham số với 1 tỷ tham số hoạt động mỗi tầng. Mô hình này kết hợp cơ chế chú ý lai như Differential-TPA và Mamba-3, đồng thời sẽ được phát hành theo giấy phép Apache 2.0 trên Hugging Face. Mô hình này giúp việc thực thi AI cục bộ trở nên thiết thực bằng cách đạt tốc độ cao trên các GPU phổ thông khiêm tốn và CPU tiêu chuẩn mà không đòi hỏi phần cứng trung tâm dữ liệu cao cấp. Bằng cách hạ thấp rào cản phần cứng, nó mở rộng khả năng tiếp cận cho các nhà phát triển chạy mô hình ngôn ngữ lớn tại chỗ. Olala mini hoạt động ở định dạng BF16, yêu cầu tối thiểu 8 GB VRAM và hỗ trợ cửa sổ ngữ cảnh 32.000 token trong khi đạt tốc độ 160 token mỗi giây trên RTX A4500 và 50 token mỗi giây trên CPU.

## KIẾN THỨC NỀN

Mô hình Hỗn hợp chuyên gia (MoE) chia mạng AI thành nhiều mạng con chuyên gia, định tuyến mỗi đầu vào đến chỉ một phần nhỏ các tham số để cải thiện tốc độ xử lý và hiệu suất. Mamba là kiến trúc mô hình chuỗi dựa trên mô hình không gian trạng thái được thiết kế để vượt qua các hạn chế của Transformer truyền thống như việc sử dụng bộ nhớ cao trong các chuỗi dài.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#Large Language Models#Mixture of Experts#Open Source AI#Model Optimization

$ subscribe --daily