期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
3
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
一种面向数据中心的能耗感知虚拟机放置策略
被引量：
4
1
作者
杨傲
马春苗
+2 位作者
伍卫国
王思敏
赵坤
《西安电子科技大学学报》
EI
CAS
CSCD
北大核心
2022年第5期145-153,共9页
随着互联网的不断发展,数据中心规模不断扩大,其面临的突出问题是如何保证数据中心安全运行并降低其运行能耗。目前的研究中仅着眼于降低数据中心运行能耗,并未考虑服务器的环境温度。若在高温区域持续增加负载,则可能导致局部热点问题...
随着互联网的不断发展,数据中心规模不断扩大,其面临的突出问题是如何保证数据中心安全运行并降低其运行能耗。目前的研究中仅着眼于降低数据中心运行能耗,并未考虑服务器的环境温度。若在高温区域持续增加负载,则可能导致局部热点问题,使得制冷设备处于过度制冷状态而导致数据中心运行能耗整体提高。针对上述问题,提出一种能耗感知的虚拟机放置策略,可以在降低数据中心运行能耗条件下避免热点出现。策略由两部分算法组成:第1部分为最佳适应算法,算法将物理机序列按照可用的CPU资源大小进行排序,对于当前虚拟机请求,按照文中提出的温度迫切值计算方法选择迫切值最小的物理机作为目标位置,并将目标物理机序列二进制化后作为遗传算法的初始种群;在第2部分遗传算法中,对种群进行交叉变异操作,通过适应度函数计算的适应度值选择出下一代种群,不断迭代计算最终得出最优解。为了验证所提出策略的有效性,在cloudsim仿真计算平台上进行了相关实验。仿真结果表明,所提方法在降低运行能耗的同时也降低了服务器间的温度波动值从而避免热点出现。
展开更多
关键词
数据中心
运行能耗
遗传算法
虚拟机放置
在线阅读
下载PDF
职称材料
面向混合异构架构的模型并行训练优化方法
被引量：
2
2
作者
高开
郭振华
+3 位作者
陈永芳
王丽
赵雅倩
赵坤
《计算机工程与科学》
CSCD
北大核心
2021年第1期42-48,共7页
随着混合异构平台的发展,出现了类型不一的加速设备,如何在混合异构平台中充分利用这些不同类型的设备,以及如何在多个计算设备之间部署深度学习模型,而且训练大型和复杂模型的重要性不断提高。数据并行(DP)是应用最广泛的并行化策略,...
随着混合异构平台的发展,出现了类型不一的加速设备,如何在混合异构平台中充分利用这些不同类型的设备,以及如何在多个计算设备之间部署深度学习模型,而且训练大型和复杂模型的重要性不断提高。数据并行(DP)是应用最广泛的并行化策略,但是如果数据并行训练中的设备数量不断增加,设备之间的通信开销就会成为瓶颈。此外,每个步骤因设备性能差异处理的批总量不同会导致精度损失,即需要更长的训练周期以收敛到期望的精度。这些因素会影响整体训练时间,并且会影响某些设备的运行效率。除了数据并行(DP),每个训练步骤都可以通过模型并行(MP)来加速。提出了一种适合混合异构平台的模型并行训练优化算法。首先,为解决混合异构平台中设备性能分布不均问题,提出了层级并行和通道并行混合的模型并行划分策略,同时通过合并一些性能偏低的设备来减少流水线的长度和缓解通信压力。然后为了优化设备间的流水效果,通过分析流水线建立时间占比和设备性能利用率对整体训练时间的影响,提出了一种可以使两者达到均衡状态的微批次划分方法。实验表明,通过本文方法优化之后的模型并行流水训练算法比传统的模型并行算法具有更好的加速比,在单一类型设备的异构平台上的训练性能加速比提升4%左右,在混合异构平台的训练性能加速比要比没有使用优化方法之前提升7%左右。
展开更多
关键词
混合异构
模型并行
微批次
设备差异
在线阅读
下载PDF
职称材料
面向模型并行训练的模型拆分策略自动生成方法
被引量：
1
3
作者
王丽
郭振华
+3 位作者
曹芳
高开
赵雅倩
赵坤
《计算机工程与科学》
CSCD
北大核心
2020年第9期1529-1537,共9页
随着训练数据规模的增大以及训练模型的日趋复杂,深度神经网络的训练成本越来越高,对计算平台提出了更高的算力需求,模型训练并行化成为增强其应用时效性的迫切需求。近年来基于分布式训练的AI加速器(如FPGA、TPU、AI芯片等)层出不穷,...
随着训练数据规模的增大以及训练模型的日趋复杂,深度神经网络的训练成本越来越高,对计算平台提出了更高的算力需求,模型训练并行化成为增强其应用时效性的迫切需求。近年来基于分布式训练的AI加速器(如FPGA、TPU、AI芯片等)层出不穷,为深度神经网络并行训练提供了硬件基础。为了充分利用各种硬件资源,研究人员需要在集合了多种不同算力、不同硬件架构AI加速器的计算平台上进行神经网络的模型并行训练,因此,如何高效利用各种AI加速器计算资源,并实现训练任务在多种加速器上的负载均衡,一直是研究人员关心的热点问题。提出了一种面向模型并行训练的模型拆分策略自动生成方法,该方法能够基于静态的网络模型自动生成模型拆分策略,实现网络层在不同AI加速器上的任务分配。基于该方法自动生成的模型分配策略,能够高效利用单个计算平台上的所有计算资源,并保证模型训练任务在各设备之间的负载均衡,与目前使用的人工拆分策略相比,具有更高的时效性,节省拆分策略生成时间100倍以上,且降低了由于人为因素带来的不确定性。
展开更多
关键词
模型并行
模型训练
模型拆分
负载均衡
在线阅读
下载PDF
职称材料
题名
一种面向数据中心的能耗感知虚拟机放置策略
被引量：
4
1
作者
杨傲
马春苗
伍卫国
王思敏
赵坤
机构
西安交通大学计算机科学与技术学院
广东浪潮大数据研究有限公司
出处
《西安电子科技大学学报》
EI
CAS
CSCD
北大核心
2022年第5期145-153,共9页
基金
国家重点研发计划(2017YFB1001701)
国家自然科学基金(61972311)
山东省自然科学基金(ZR2019LZH007)。
文摘
随着互联网的不断发展,数据中心规模不断扩大,其面临的突出问题是如何保证数据中心安全运行并降低其运行能耗。目前的研究中仅着眼于降低数据中心运行能耗,并未考虑服务器的环境温度。若在高温区域持续增加负载,则可能导致局部热点问题,使得制冷设备处于过度制冷状态而导致数据中心运行能耗整体提高。针对上述问题,提出一种能耗感知的虚拟机放置策略,可以在降低数据中心运行能耗条件下避免热点出现。策略由两部分算法组成:第1部分为最佳适应算法,算法将物理机序列按照可用的CPU资源大小进行排序,对于当前虚拟机请求,按照文中提出的温度迫切值计算方法选择迫切值最小的物理机作为目标位置,并将目标物理机序列二进制化后作为遗传算法的初始种群;在第2部分遗传算法中,对种群进行交叉变异操作,通过适应度函数计算的适应度值选择出下一代种群,不断迭代计算最终得出最优解。为了验证所提出策略的有效性,在cloudsim仿真计算平台上进行了相关实验。仿真结果表明,所提方法在降低运行能耗的同时也降低了服务器间的温度波动值从而避免热点出现。
关键词
数据中心
运行能耗
遗传算法
虚拟机放置
Keywords
data center
energy consumption
genetic algorithm
virtual machine placement
分类号
TP399 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
面向混合异构架构的模型并行训练优化方法
被引量：
2
2
作者
高开
郭振华
陈永芳
王丽
赵雅倩
赵坤
机构
浪潮
电子信息产业股份
有限公司
高效能服务器与存储技术国家重点实验室
广东浪潮大数据研究有限公司
出处
《计算机工程与科学》
CSCD
北大核心
2021年第1期42-48,共7页
基金
山东省重点研发计划(重大科技创新工程)(2019JZZY011101)
山东省自然科学基金(ZR2018BF011)。
文摘
随着混合异构平台的发展,出现了类型不一的加速设备,如何在混合异构平台中充分利用这些不同类型的设备,以及如何在多个计算设备之间部署深度学习模型,而且训练大型和复杂模型的重要性不断提高。数据并行(DP)是应用最广泛的并行化策略,但是如果数据并行训练中的设备数量不断增加,设备之间的通信开销就会成为瓶颈。此外,每个步骤因设备性能差异处理的批总量不同会导致精度损失,即需要更长的训练周期以收敛到期望的精度。这些因素会影响整体训练时间,并且会影响某些设备的运行效率。除了数据并行(DP),每个训练步骤都可以通过模型并行(MP)来加速。提出了一种适合混合异构平台的模型并行训练优化算法。首先,为解决混合异构平台中设备性能分布不均问题,提出了层级并行和通道并行混合的模型并行划分策略,同时通过合并一些性能偏低的设备来减少流水线的长度和缓解通信压力。然后为了优化设备间的流水效果,通过分析流水线建立时间占比和设备性能利用率对整体训练时间的影响,提出了一种可以使两者达到均衡状态的微批次划分方法。实验表明,通过本文方法优化之后的模型并行流水训练算法比传统的模型并行算法具有更好的加速比,在单一类型设备的异构平台上的训练性能加速比提升4%左右,在混合异构平台的训练性能加速比要比没有使用优化方法之前提升7%左右。
关键词
混合异构
模型并行
微批次
设备差异
Keywords
hybrid heterogeneous
model parallel
micro-batch
device difference
分类号
TP393.027 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
面向模型并行训练的模型拆分策略自动生成方法
被引量：
1
3
作者
王丽
郭振华
曹芳
高开
赵雅倩
赵坤
机构
浪潮
电子信息产业股份
有限公司
高效能服务器与存储技术国家重点实验室
广东浪潮大数据研究有限公司
出处
《计算机工程与科学》
CSCD
北大核心
2020年第9期1529-1537,共9页
文摘
随着训练数据规模的增大以及训练模型的日趋复杂,深度神经网络的训练成本越来越高,对计算平台提出了更高的算力需求,模型训练并行化成为增强其应用时效性的迫切需求。近年来基于分布式训练的AI加速器(如FPGA、TPU、AI芯片等)层出不穷,为深度神经网络并行训练提供了硬件基础。为了充分利用各种硬件资源,研究人员需要在集合了多种不同算力、不同硬件架构AI加速器的计算平台上进行神经网络的模型并行训练,因此,如何高效利用各种AI加速器计算资源,并实现训练任务在多种加速器上的负载均衡,一直是研究人员关心的热点问题。提出了一种面向模型并行训练的模型拆分策略自动生成方法,该方法能够基于静态的网络模型自动生成模型拆分策略,实现网络层在不同AI加速器上的任务分配。基于该方法自动生成的模型分配策略,能够高效利用单个计算平台上的所有计算资源,并保证模型训练任务在各设备之间的负载均衡,与目前使用的人工拆分策略相比,具有更高的时效性,节省拆分策略生成时间100倍以上,且降低了由于人为因素带来的不确定性。
关键词
模型并行
模型训练
模型拆分
负载均衡
Keywords
model parallelism
model training
model split
load balancing
分类号
TP393.02 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
一种面向数据中心的能耗感知虚拟机放置策略
杨傲
马春苗
伍卫国
王思敏
赵坤
《西安电子科技大学学报》
EI
CAS
CSCD
北大核心
2022
4
在线阅读
下载PDF
职称材料
2
面向混合异构架构的模型并行训练优化方法
高开
郭振华
陈永芳
王丽
赵雅倩
赵坤
《计算机工程与科学》
CSCD
北大核心
2021
2
在线阅读
下载PDF
职称材料
3
面向模型并行训练的模型拆分策略自动生成方法
王丽
郭振华
曹芳
高开
赵雅倩
赵坤
《计算机工程与科学》
CSCD
北大核心
2020
1
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
