~/LLM/crowd-v1-the-open-source-collaborative-llm-initiative

Crowd-v1: Sáng kiến mô hình ngôn ngữ lớn hợp tác mã nguồn mở

Crowd-v1 là một sáng kiến mã nguồn mở do cộng đồng thúc đẩy, nhằm nỗ lực huấn luyện một mô hình transformer 1 tỷ tham số một cách hợp tác với chi phí bằng không. Dự án đã ghi nhận 85 người đóng góp và huấn luyện thành công 13 tỷ token trong vòng một tuần bằng cách tận dụng các GPU nhàn rỗi. Dự án này mang đến một giải pháp thay thế phi tập trung cho các phòng thí nghiệm AI doanh nghiệp tập trung, chứng minh rằng các mô hình ngôn ngữ cạnh tranh có thể được xây dựng mà không cần cụm GPU Nvidia đắt tiền hay hàng triệu đô la kinh phí. Nó trao quyền cho cộng đồng mã nguồn mở tự tạo ra các mô hình có trọng số mở một cách độc lập. Bản chứng minh khái niệm ban đầu hướng đến mục tiêu đạt hoặc vượt hiệu suất chuẩn của Qwen3-0.6B, với các kế hoạch mở rộng quy mô trong tương lai bao gồm kiến trúc Mixture of Experts (MoE) 7B hoặc 30B. Dự án hoàn toàn phi lợi nhuận, với toàn bộ mã nguồn có thể kiểm toán trên GitHub và dữ liệu do người dùng trực tiếp đóng góp.

## KIẾN THỨC NỀN

Việc huấn luyện các mô hình ngôn ngữ lớn thường đòi hỏi các cụm GPU khổng lồ và khoản đầu tư tài chính đáng kể, tạo ra những thách thức lớn về khả năng mở rộng và tiếp cận phần cứng. Mixture of Experts (MoE) là một kiến trúc mạng thần kinh có thể mở rộng, chỉ kích hoạt một tập hợp con các mạng chuyên gia cho mỗi token nhằm nâng cao hiệu suất.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#LLM#Distributed Training#Open Source AI#LocalLLaMA

$ subscribe --daily