摩尔线程开源 Megatron-MUSA-Titan 聚焦万卡级集群万亿参数 MoE 训练

摩尔线程已正式开源大模型训练基础设施项目 Megatron-MUSA-Titan，该项目基于其 MUSA 平台构建。该项目专门针对万卡级 GPU 集群的万亿参数混合专家（MoE）模型训练和强化学习需求而设计。 这一开源举措是国产 AI 硬件生态的一个重要里程碑，为在大规模 GPU 集群上扩展万亿参数模型提供了核心基础设施。它弥合了硬件能力与先进分布式训练框架之间的差距，为复杂的 AI 工作负载实现高性能和长时间稳定训练提供了支持。 Megatron-MUSA-Titan 支持 blockwise FP8 训练以提升计算效率，并集成了 DeepEP 与 ACE 异步通信引擎以加速 token 分发。此外，它还能与 slime、miles 等强化学习框架以及用于样本生成的 SGLang 进行协同工作。