-
题名基于“神威太湖之光”的Caffe分布式扩展研究
被引量：4
- 1
-
-
作者
朱传家
刘鑫
方佳瑞
-
机构
江南计算技术研究所
清华大学计算机科学与技术系
-
出处
《计算机应用与软件》
北大核心
2020年第1期15-20,共6页
-
基金
“全球变化和应对”专项基金项目(2016YFA0602200)
-
文摘
随着深度学习的快速发展,其规模越来越大,需要的计算越来越复杂。分布式扩展技术可以有效提高大规模数据的处理能力。基于神威太湖之光超算平台对深度学习框架Caffe进行分布式扩展研究,对比同步方式下参数服务器分布式扩展方法和去中心化的分布式扩展方法。实验表明,同步方式下,去中心化的分布式扩展方法相比参数服务器分布式扩展方法在通信效率方面具有明显的优势,对特定的模型通信性能提高可达98倍。
-
关键词
深度学习
分布式优化
Caffe
神威太湖之光
-
Keywords
Deep learning
Distributed optimization
Caffe
Sunway
TaihuLight
-
分类号
TP311.52
[自动化与计算机技术—计算机软件与理论]
-
-
题名卷积神经网络并行方法研究
被引量：2
- 2
-
-
作者
朱传家
刘鑫
方佳瑞
-
机构
江南计算技术研究所
清华大学计算机科学与技术系
-
出处
《计算机应用与软件》
北大核心
2020年第11期209-214,共6页
-
基金
国家重点研发计划“全球变化及应对”专项基金项目(2016YFA0602200)。
-
文摘
随着训练数据集的增大和神经网络的日益复杂,训练深度神经网络非常耗时,在有效的时间内训练深度神经网络成为一大挑战。卷积神经网络具有网络参数分布不均匀的特点。提出一种同时使用数据并行和模型并行的卷积神经网络并行方法,并基于国产超级计算机系统和深度学习框架Caffe进行实验。实验结果表明,对某些全连接层,使用模型并行相比使用数据并行加速可达33倍。
-
关键词
卷积神经网络
并行方法
数据并行
模型并行
国产超级计算机系统
-
Keywords
CNN
Parallelism method
Data parallelism
Model parallelism
Domestic supercomputer
-
分类号
TP3
[自动化与计算机技术—计算机科学与技术]
-
