Nhà cung cấp đám mây châu Âu OVHcloud phát hành mô hình AI mã nguồn mở Olala mini 7A1B
Nhà cung cấp dịch vụ đám mây châu Âu OVHcloud đã công bố dòng mô hình AI đầu tiên mang tên Olala, đồng thời ra mắt thành viên ban đầu Olala mini 7A1B. Mô hình này có tổng cộng 7 tỷ tham số, 1 tỷ tham số hoạt động và sử dụng kiến trúc kết hợp giữa Differential-TPA và Mamba-3. Sự kiện này đánh dấu bước chân quan trọng của một nhà cung cấp đám mây lớn tại châu Âu vào lĩnh vực mô hình AI, nhấn mạnh vào cơ sở hạ tầng mã nguồn mở hiệu quả được huấn luyện trên các siêu máy tính công cộng của châu Âu. Nó cung cấp cho các nhà phát triển một mô hình chi phí hợp lý, hiệu suất cao chạy mượt mà trên phần cứng tiêu dùng. Olala mini 7A1B sử dụng định dạng dữ liệu BF16, hỗ trợ cửa sổ ngữ cảnh ban đầu 32K và được mã nguồn mở theo giấy phép Apache 2.0 trên Hugging Face. Mô hình có thể chạy trên GPU chỉ với 8GB VRAM, đạt tốc độ xử lý 160 TPS trên RTX A4500 và 50 TPS trên nền tảng chỉ có CPU.
## KIẾN THỨC NỀN
OVHcloud đã huấn luyện mô hình này trên ba siêu máy tính công cộng của châu Âu sử dụng phần cứng NVIDIA GH200, A100 và H100 với tổng chi phí lên tới 7 triệu euro. Công ty có kế hoạch phát hành phiên bản 1.1 với cửa sổ ngữ cảnh 128K vào cuối năm nay và hướng tới việc phát triển mô hình Olala 2.0 với quy mô hơn 100 tỷ tham số.