验证国产AI基础设施 昇腾算力炼出准万亿大模型
大河财立方
2025-05-30 18:24:34
近期发布的盘古Pro MoE大模型,在参数量仅为720亿、激活160亿参数量的情况下,通过动态激活专家网络的创新设计,可以实现媲美千亿级模型的性能表现。

【大河财立方 记者 陈薇】近日,华为推出参数规模高达7180亿的全新模型——盘古Ultra MoE,这是一个全流程在昇腾AI计算平台上训练的准万亿MoE模型。华为同时发布盘古Ultra MoE模型架构和训练方法的技术报告,展现昇腾在超大规模MoE训练性能上的跨越。

超大规模和极高稀疏性,导致MoE模型在训练过程中的稳定性往往难以保障。针对这一难题,盘古团队在模型架构和训练方法上进行了创新性设计,在昇腾平台上实现了准万亿MoE模型的全流程训练。

近期发布的盘古Pro MoE大模型,在参数量仅为720亿、激活160亿参数量的情况下,通过动态激活专家网络的创新设计,可以实现媲美千亿级模型的性能表现。在业界权威大模型榜单SuperCLUE最新公布的2025年5月排行榜上,位居千亿参数量以内大模型排行并列国内第一。

华为盘古Ultra MoE和盘古Pro MoE系列模型的发布,证明华为不仅完成了国产算力+国产模型的全流程自主可控的训练实践,同时在集群训练系统的性能上也实现了业界领先。这意味着国产AI基础设施的自主创新能力得到了进一步验证,为中国人工智能产业的发展提供了一颗“定心丸”。

责编:刘安琪 | 审校:陈筱娟 | 审核:李震 | 监审:古筝


相关资讯