CrowdGPT: Mô hình ngôn ngữ lớn nguồn mở huấn luyện cộng tác dùng phần cứng phân tán
CrowdGPT là một dự án mã nguồn mở được thiết kế để huấn luyện cộng tác một mô hình ngôn ngữ lớn 1 tỷ tham số bằng phần cứng phổ thông và các tập dữ liệu công khai, bỏ qua các trung tâm dữ liệu doanh nghiệp truyền thống. Dự án cho phép các cá nhân tự huấn luyện AI trên máy tính cá nhân của mình và đóng góp kết quả vào một mô hình toàn cầu. Dự án này thách thức sự thống trị của các tập đoàn lớn có ngân sách hàng triệu đô la trong việc phát triển AI bằng cách dân chủ hóa quá trình huấn luyện thông qua mô hình cộng đồng và điện toán phân tán. Nó thiết lập một mô hình hoàn toàn minh bạch khi cả trọng số mô hình và 100% dữ liệu huấn luyện đều được công khai hoàn toàn. Mô hình 1 tỷ tham số hiện tại đóng vai trò là một minh chứng kỹ thuật trong khi tác giả thu thập phản hồi về các hình thức khích lệ như tín hiệu suy luận miễn phí. Bất kỳ ai cũng có thể gửi dữ liệu sạch để huấn luyện mô hình và góp phần định hướng tương lai thông qua một giao thức do cộng đồng quản lý.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn thường được huấn luyện tại các trung tâm dữ liệu tập trung sử dụng các cụm GPU hiệu năng cao đắt đỏ, đòi hỏi các khoản đầu tư tài chính khổng lồ. Quá trình huấn luyện phân tán cho phép chia nhỏ khối lượng công việc nặng nhược thành nhiều máy hoặc nút khác nhau, trong khi các dự án mã nguồn mở chia sẻ mã nguồn và trọng số mô hình công khai để thúc đẩy nghiên cứu cộng tác.