Phát hành CrowdGPT v2.6 nhằm huấn luyện mô hình ngôn ngữ lớn mã nguồn mở mang tính cộng tác
CrowdGPT v2.6 giới thiệu các nâng cấp bảo mật lớn, cơ chế kiểm tra phía máy chủ mạnh mẽ và chữ ký mã hóa phía máy khách để ngăn chặn việc giả mạo và thực thi mã tùy ý. Bản cập nhật này cũng cho phép xử lý 4,5 tỷ token mới trong sáu ngày và bổ sung đường ống gửi tập dữ liệu cộng tác. Dự án này chứng minh một mô hình khả thi trong việc huấn luyện các mô hình ngôn ngữ bằng cách cộng tác trên phần cứng phổ thông mà không cần các trung tâm dữ liệu đắt đỏ. Sáng kiến này giúp cộng đồng mã nguồn mở có thể gom góp tài nguyên và tham gia phát triển AI nền tảng một cách an toàn. Bản cập nhật triển khai các cơ chế kiểm tra chéo Byzantine giữa các máy khách để giảm thiểu tình trạng nhiễm độc dữ liệu và các cửa hậu độc hại, qua đó giới hạn các đóng góp độc hại ở một tỷ lệ nhỏ trong mỗi vòng huấn luyện. Ngoài ra, dự án còn giới thiệu CrowdBench, một bộ chuẩn đánh giá cộng tác mã nguồn mở để kiểm tra các LLM.
## KIẾN THỨC NỀN
Học máy phân tán là một mô hình tính toán cho phép huấn luyện các mô hình trên nhiều thiết bị hoặc nút phi tập trung khác nhau. Kiến trúc Chuyên gia Hỗn hợp (MoE) sử dụng mạng điều phối để kích hoạt linh hoạt các tiểu mạng chuyên biệt, giúp việc học trở nên khả mở và hiệu quả trên các tác vụ phức tạp.