期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
面向AI算力场景的多元异构混合训练系统研究
1
作者
李攀攀
牛红韦华
+6 位作者
赵万龙
马华伟
王艳辉
江伟
张雯欣
陆一鸣
赵峰
《电信科学》
北大核心
2025年第7期133-144,共12页
大语言模型训练是人工智能(artificial intelligence,AI)发展的核心场景,在算力多元化和异构化趋势下,跨生态异构算力协同能力将成为十万卡级训练的关键支撑。基于此背景,设计了一套异构AI算力混合训练系统,该系统能够主动检测、适配异...
大语言模型训练是人工智能(artificial intelligence,AI)发展的核心场景,在算力多元化和异构化趋势下,跨生态异构算力协同能力将成为十万卡级训练的关键支撑。基于此背景,设计了一套异构AI算力混合训练系统,该系统能够主动检测、适配异构AI芯片,实现异构算力间的集合通信。基于该原型系统,在一个由3种异构算力组成的RoCEv2网络互通集群实现了多种异构算力组合的混训。在异构流水线并行(pipeline parallelism,PP)混训场景下,英伟达与壁仞的最优混训效率达到99.77%,英伟达、天数智芯、壁仞的最优混训效率可达99.03%。在异构数据并行(data parallelism,DP)混训场景下,英伟达与壁仞的最优混训效率达到92.88%。
展开更多
关键词
大语言模型
集合通信
异构
并行
异构混合训练
在线阅读
下载PDF
职称材料
题名
面向AI算力场景的多元异构混合训练系统研究
1
作者
李攀攀
牛红韦华
赵万龙
马华伟
王艳辉
江伟
张雯欣
陆一鸣
赵峰
机构
中移(苏州)软件技术有限公司
中国移动通信集团设计院有限公司
中国移动通信集团设计院有限公司安徽分公司
出处
《电信科学》
北大核心
2025年第7期133-144,共12页
文摘
大语言模型训练是人工智能(artificial intelligence,AI)发展的核心场景,在算力多元化和异构化趋势下,跨生态异构算力协同能力将成为十万卡级训练的关键支撑。基于此背景,设计了一套异构AI算力混合训练系统,该系统能够主动检测、适配异构AI芯片,实现异构算力间的集合通信。基于该原型系统,在一个由3种异构算力组成的RoCEv2网络互通集群实现了多种异构算力组合的混训。在异构流水线并行(pipeline parallelism,PP)混训场景下,英伟达与壁仞的最优混训效率达到99.77%,英伟达、天数智芯、壁仞的最优混训效率可达99.03%。在异构数据并行(data parallelism,DP)混训场景下,英伟达与壁仞的最优混训效率达到92.88%。
关键词
大语言模型
集合通信
异构
并行
异构混合训练
Keywords
large language model
collective communication
heterogeneous parallelism
heterogeneous hybrid training
分类号
TP393 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
面向AI算力场景的多元异构混合训练系统研究
李攀攀
牛红韦华
赵万龙
马华伟
王艳辉
江伟
张雯欣
陆一鸣
赵峰
《电信科学》
北大核心
2025
0
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
