期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
异构环境下平滑加权轮询Reduce任务调度算法研究
被引量：
3
1
作者
黄伟建
贾孟玉
黄亮
《现代电子技术》
北大核心
2020年第23期139-142,共4页
传统MapReduce在处理倾斜数据时会造成负载不均衡,降低MapReduce框架的执行效率。虽然利用贪心算法分区减轻了MapReduce应用中的数据倾斜,但是忽略了Reduce异构性,因为MapReduce的计算环境通常是异构的,即使中间数据没有倾斜,由于计算...
传统MapReduce在处理倾斜数据时会造成负载不均衡,降低MapReduce框架的执行效率。虽然利用贪心算法分区减轻了MapReduce应用中的数据倾斜,但是忽略了Reduce异构性,因为MapReduce的计算环境通常是异构的,即使中间数据没有倾斜,由于计算能力不同,任务在不同节点上的执行时间也是不同的。为了避免异构性导致Reduce性能下降的问题,提出一种在异构环境下动态平滑加权轮询调度算法。该算法根据节点的计算能力和数据本地性这两个因素选取Reduce计算节点来提高Reduce任务执行效率,还进一步将优化后的框架用于并行图像处理。实验结果表明,动态平滑加权轮询调度算法减少了Reduce跨节点传输的网络带宽,同时也减少了Reduce任务的执行时间。
展开更多
关键词
Reduce
任务调度
负载均衡
异构集群
平滑
加权
轮询
算法
节点选取
并行图像处理
在线阅读
下载PDF
职称材料
异构Flink集群中负载均衡算法研究与实现
被引量：
9
2
作者
汪志峰
赵宇海
王国仁
《南京大学学报（自然科学版）》
CAS
CSCD
北大核心
2021年第1期110-120,共11页
Flink是目前非常流行的流处理引擎.和先前的Hadoop,Spark,Storm等分布式计算框架相比,Flink能实现低延迟、高吞吐,保证Exactly Once.调度模块是保证集群高性能非常重要的一部分,但目前Flink调度默认把集群中所有节点看作是同等性能的,...
Flink是目前非常流行的流处理引擎.和先前的Hadoop,Spark,Storm等分布式计算框架相比,Flink能实现低延迟、高吞吐,保证Exactly Once.调度模块是保证集群高性能非常重要的一部分,但目前Flink调度默认把集群中所有节点看作是同等性能的,采用轮询调度策略.但在异构集群里这样的调度就会低效,因为计算资源少的节点运行的Task和计算资源多的节点运行的Task一样多,所以局部负载不均衡,影响Job的运行时间和吞吐量,造成延时.提出平滑加权轮询任务调度算法和基于蚁群算法的任务调度算法,解决运行过程中集群负载不均衡问题.平滑加权轮询任务调度算法在任务调度初始阶段根据集群资源按照权重平滑轮询调度.基于蚁群算法的任务调度算法是在运行过程中当集群已使用资源高于阈值时采用类似蚁群算法去执行任务调度,动态计算全局最优任务分配方案,能重新负载均衡.
展开更多
关键词
APACHE
Flink
任务调度
负载均衡
平滑加权轮询任务调度
基于蚁群算法的
任务调度
在线阅读
下载PDF
职称材料
题名
异构环境下平滑加权轮询Reduce任务调度算法研究
被引量：
3
1
作者
黄伟建
贾孟玉
黄亮
机构
河北工程大学信息与电气工程学院
河北省信息安全测评中心
出处
《现代电子技术》
北大核心
2020年第23期139-142,共4页
基金
河北省自然科学基金项目:云计算中分布式Jobtracker节点模型的建立与优化(F2015402077)
河北省高等学校科学技术研究项目:基于复杂网络的空气质量动态分析和预测方法研究(QN2018073)。
文摘
传统MapReduce在处理倾斜数据时会造成负载不均衡,降低MapReduce框架的执行效率。虽然利用贪心算法分区减轻了MapReduce应用中的数据倾斜,但是忽略了Reduce异构性,因为MapReduce的计算环境通常是异构的,即使中间数据没有倾斜,由于计算能力不同,任务在不同节点上的执行时间也是不同的。为了避免异构性导致Reduce性能下降的问题,提出一种在异构环境下动态平滑加权轮询调度算法。该算法根据节点的计算能力和数据本地性这两个因素选取Reduce计算节点来提高Reduce任务执行效率,还进一步将优化后的框架用于并行图像处理。实验结果表明,动态平滑加权轮询调度算法减少了Reduce跨节点传输的网络带宽,同时也减少了Reduce任务的执行时间。
关键词
Reduce
任务调度
负载均衡
异构集群
平滑
加权
轮询
算法
节点选取
并行图像处理
Keywords
Reduce task scheduling
load balancing
heterogeneous cluster
smooth weighted polling algorithm
node selection
parallel image processing
分类号
TN911.1-34 [电子电信—通信与信息系统]
TP311 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
异构Flink集群中负载均衡算法研究与实现
被引量：
9
2
作者
汪志峰
赵宇海
王国仁
机构
东北大学计算机科学与工程学院
北京理工大学计算机学院
出处
《南京大学学报（自然科学版）》
CAS
CSCD
北大核心
2021年第1期110-120,共11页
基金
科技部重点研发项目“云计算和大数据”重点专项(2018YFB1004402)。
文摘
Flink是目前非常流行的流处理引擎.和先前的Hadoop,Spark,Storm等分布式计算框架相比,Flink能实现低延迟、高吞吐,保证Exactly Once.调度模块是保证集群高性能非常重要的一部分,但目前Flink调度默认把集群中所有节点看作是同等性能的,采用轮询调度策略.但在异构集群里这样的调度就会低效,因为计算资源少的节点运行的Task和计算资源多的节点运行的Task一样多,所以局部负载不均衡,影响Job的运行时间和吞吐量,造成延时.提出平滑加权轮询任务调度算法和基于蚁群算法的任务调度算法,解决运行过程中集群负载不均衡问题.平滑加权轮询任务调度算法在任务调度初始阶段根据集群资源按照权重平滑轮询调度.基于蚁群算法的任务调度算法是在运行过程中当集群已使用资源高于阈值时采用类似蚁群算法去执行任务调度,动态计算全局最优任务分配方案,能重新负载均衡.
关键词
APACHE
Flink
任务调度
负载均衡
平滑加权轮询任务调度
基于蚁群算法的
任务调度
Keywords
Apache Flink
task scheduling
load balancing
smooth weighted round⁃robin task scheduling
task scheduling based on ant colony algorithm
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
异构环境下平滑加权轮询Reduce任务调度算法研究
黄伟建
贾孟玉
黄亮
《现代电子技术》
北大核心
2020
3
在线阅读
下载PDF
职称材料
2
异构Flink集群中负载均衡算法研究与实现
汪志峰
赵宇海
王国仁
《南京大学学报（自然科学版）》
CAS
CSCD
北大核心
2021
9
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
