期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于国产NPU的超万卡智算集群大模型训练调优实践
1
作者
娄涛
牛红韦华
+8 位作者
张鹏飞
董江帆
李攀攀
李道通
许伟栋
姚成辉
薛连浩
唐婷
向洁
《电信科学》
北大核心
2025年第7期120-132,共13页
为解决超万卡智算集群模型训练算效利用率低、稳定性差、调优难度高、国产技术生态差等问题,提出一种基于全国产化超万卡智算集群的大模型训练调优方案。通过自动分布式策略推荐、流水线并行优化、overlap优化和全链路profiling等技术,...
为解决超万卡智算集群模型训练算效利用率低、稳定性差、调优难度高、国产技术生态差等问题,提出一种基于全国产化超万卡智算集群的大模型训练调优方案。通过自动分布式策略推荐、流水线并行优化、overlap优化和全链路profiling等技术,在16 384个国产NPU加速卡上实现了405B参数大模型的预训练,模型算力利用率(model FLOPS utilization,MFU)达到了45.13%,较基准性能提升了10%以上。同时,在模型训练全流程中构建稳定性保障机制,实现训前和训中关键指标的实时监控和训练任务秒级故障诊断。实验结果表明,提出的国产超万卡智算集群大模型训练方案能有效提升算力利用率,对未来国产智算集群建设与大模型训练有重要指导意义。
展开更多
关键词
超万卡智算集群
国产NPU加速
卡
模型训练调优
在线阅读
下载PDF
职称材料
题名
基于国产NPU的超万卡智算集群大模型训练调优实践
1
作者
娄涛
牛红韦华
张鹏飞
董江帆
李攀攀
李道通
许伟栋
姚成辉
薛连浩
唐婷
向洁
机构
中移(苏州)软件技术有限公司
中国移动通信集团有限公司
中国移动通信集团设计院有限公司
出处
《电信科学》
北大核心
2025年第7期120-132,共13页
文摘
为解决超万卡智算集群模型训练算效利用率低、稳定性差、调优难度高、国产技术生态差等问题,提出一种基于全国产化超万卡智算集群的大模型训练调优方案。通过自动分布式策略推荐、流水线并行优化、overlap优化和全链路profiling等技术,在16 384个国产NPU加速卡上实现了405B参数大模型的预训练,模型算力利用率(model FLOPS utilization,MFU)达到了45.13%,较基准性能提升了10%以上。同时,在模型训练全流程中构建稳定性保障机制,实现训前和训中关键指标的实时监控和训练任务秒级故障诊断。实验结果表明,提出的国产超万卡智算集群大模型训练方案能有效提升算力利用率,对未来国产智算集群建设与大模型训练有重要指导意义。
关键词
超万卡智算集群
国产NPU加速
卡
模型训练调优
Keywords
AI cluster with more than 10000 cards
domestic NPU accelerator card
model training optimization
分类号
TP393 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于国产NPU的超万卡智算集群大模型训练调优实践
娄涛
牛红韦华
张鹏飞
董江帆
李攀攀
李道通
许伟栋
姚成辉
薛连浩
唐婷
向洁
《电信科学》
北大核心
2025
0
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
