Gây quỹ cộng đồng và tính toán phi tập trung cho các mô hình AI mã nguồn mở
Một cuộc thảo luận trên Reddit đã đề xuất sử dụng các nền tảng gây quỹ cộng đồng và tính toán cộng đồng để tài trợ cho việc huấn luyện các mô hình ngôn ngữ lớn mã nguồn mở như Qwen. Đề xuất này gợi ý rằng cả người dùng cá nhân và các công ty có thể đóng góp tài chính để đạt được các cột mốc huấn luyện các mô hình có kích thước lớn hơn. Việc huấn luyện các mô hình AI tiên tiến đòi hỏi nguồn tài chính và năng lượng tính toán khổng lồ, hiện đang bị chi phối bởi các ông lớn công nghệ. Gây quỹ cộng đồng có thể dân chủ hóa việc phát triển AI bằng cách cho phép cộng đồng trực tiếp tài trợ và sở hữu các giải pháp thay thế mã nguồn mở. Mặc dù ý tưởng này rất hấp dẫn, việc huấn luyện các mô hình lớn đòi hỏi các cụm máy tính có băng thông cao được phối hợp chặt chẽ, khiến tính toán cộng đồng phi tập trung gặp nhiều thách thức kỹ thuật so với các nhà cung cấp đám mây tập trung. Ngoài ra, việc quản lý lòng tin, phân bổ quỹ và cấp phép cho các mô hình được gây quỹ cộng đồng cũng đặt ra những rào cản tổ chức lớn.
## KIẾN THỨC NỀN
Qwen là một họ mô hình ngôn ngữ lớn được phát triển bởi Alibaba Cloud, cung cấp các mô hình mở trọng số dưới các giấy phép như Apache 2.0. Hiện tại, các mạng lưới tính toán phi tập trung như OctaSpace, Targon và Gonka AI đang cố gắng tối ưu hóa sức mạnh GPU cho việc huấn luyện AI nhằm thay thế cho các đám mây tập trung. Tuy nhiên, việc huấn luyện các mô hình lớn từ đầu vẫn phụ thuộc rất nhiều vào cơ sở hạ tầng tập trung do nghẽn cổ chai truyền thông giữa các nút mạng.