期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
3
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
分布式计算中基于资源分级的自适应Min-Min算法
被引量：
4
1
作者
巩子杰
张亚平
张铭栋
《计算机应用研究》
CSCD
北大核心
2016年第3期716-719,725,共5页
Min-Min任务调度算法的思路总是优先调度执行时间较短的小任务,无法得到理想的最优跨度及资源负载平衡。针对该问题,提出基于资源分级的自适应Min-Min算法。分配任务前,先参考现有资源的属性进行分级处理,再与任务在资源中的最小完成时...
Min-Min任务调度算法的思路总是优先调度执行时间较短的小任务,无法得到理想的最优跨度及资源负载平衡。针对该问题,提出基于资源分级的自适应Min-Min算法。分配任务前,先参考现有资源的属性进行分级处理,再与任务在资源中的最小完成时间作乘积得到的最小任务资源组合进行调度;在任务调度过程中,引入自适应阈值,调节长任务的调度等级,从而达到优化效果。通过模拟仿真实验,表明该算法在时间跨度和负载平衡上均有较好性能。
展开更多
关键词
分布式计算
任务调度
MIN-MIN算法
资源分级
负载平衡
在线阅读
下载PDF
职称材料
异构Flink集群中负载均衡算法研究与实现
被引量：
9
2
作者
汪志峰
赵宇海
王国仁
《南京大学学报（自然科学版）》
CAS
CSCD
北大核心
2021年第1期110-120,共11页
Flink是目前非常流行的流处理引擎.和先前的Hadoop,Spark,Storm等分布式计算框架相比,Flink能实现低延迟、高吞吐,保证Exactly Once.调度模块是保证集群高性能非常重要的一部分,但目前Flink调度默认把集群中所有节点看作是同等性能的,...
Flink是目前非常流行的流处理引擎.和先前的Hadoop,Spark,Storm等分布式计算框架相比,Flink能实现低延迟、高吞吐,保证Exactly Once.调度模块是保证集群高性能非常重要的一部分,但目前Flink调度默认把集群中所有节点看作是同等性能的,采用轮询调度策略.但在异构集群里这样的调度就会低效,因为计算资源少的节点运行的Task和计算资源多的节点运行的Task一样多,所以局部负载不均衡,影响Job的运行时间和吞吐量,造成延时.提出平滑加权轮询任务调度算法和基于蚁群算法的任务调度算法,解决运行过程中集群负载不均衡问题.平滑加权轮询任务调度算法在任务调度初始阶段根据集群资源按照权重平滑轮询调度.基于蚁群算法的任务调度算法是在运行过程中当集群已使用资源高于阈值时采用类似蚁群算法去执行任务调度,动态计算全局最优任务分配方案,能重新负载均衡.
展开更多
关键词
APACHE
Flink
任务调度
负载均衡
平滑加权轮询任务调度
基于蚁群算法的任务调度
在线阅读
下载PDF
职称材料
面向Flink的负载均衡任务调度算法的研究与实现
被引量：
10
3
作者
李文佳
史岚
+1 位作者
季航旭
罗意彭
《计算机工程与科学》
CSCD
北大核心
2022年第7期1141-1151,共11页
Apache Flink是现在主流的大数据分布式计算引擎之一,其中任务调度问题是分布式计算系统中的关键问题。由于集群的异构性以及不同算子复杂度不同,大数据计算系统Flink中不可避免地会出现负载不均的情况,针对这种问题,提出了基于资源反...
Apache Flink是现在主流的大数据分布式计算引擎之一,其中任务调度问题是分布式计算系统中的关键问题。由于集群的异构性以及不同算子复杂度不同,大数据计算系统Flink中不可避免地会出现负载不均的情况,针对这种问题,提出了基于资源反馈的负载均衡任务调度算法RFTS。通过实时资源监控、区域划分和基于人工萤火虫优化的任务调度算法3个模块,把负载过重的机器中处于等待状态的任务分配给负载较轻的机器,来实现集群的负载均衡,提高系统集群利用率和执行效率。最后通过基于TPC-C和TPC-H数据集的实验结果表明,RFTS算法从执行时间和吞吐量2个方面有效提升了Apache Flink计算系统的性能。
展开更多
关键词
Apache
Flink
基于资源反馈的负载均衡任务调度算法
实时资源监控
区域划分
人工萤火虫优化算法
在线阅读
下载PDF
职称材料
题名
分布式计算中基于资源分级的自适应Min-Min算法
被引量：
4
1
作者
巩子杰
张亚平
张铭栋
机构
天津大学软件学院
天津大学环境科学与工程学院
出处
《计算机应用研究》
CSCD
北大核心
2016年第3期716-719,725,共5页
基金
国家自然科学基金资助项目(60776807)
文摘
Min-Min任务调度算法的思路总是优先调度执行时间较短的小任务,无法得到理想的最优跨度及资源负载平衡。针对该问题,提出基于资源分级的自适应Min-Min算法。分配任务前,先参考现有资源的属性进行分级处理,再与任务在资源中的最小完成时间作乘积得到的最小任务资源组合进行调度;在任务调度过程中,引入自适应阈值,调节长任务的调度等级,从而达到优化效果。通过模拟仿真实验,表明该算法在时间跨度和负载平衡上均有较好性能。
关键词
分布式计算
任务调度
MIN-MIN算法
资源分级
负载平衡
Keywords
distributed computing
task
scheduling
Min-Min
algorithm
resource
classificati
on
load
balancing
分类号
TP301.6 [自动化与计算机技术—计算机系统结构]
在线阅读
下载PDF
职称材料
题名
异构Flink集群中负载均衡算法研究与实现
被引量：
9
2
作者
汪志峰
赵宇海
王国仁
机构
东北大学计算机科学与工程学院
北京理工大学计算机学院
出处
《南京大学学报（自然科学版）》
CAS
CSCD
北大核心
2021年第1期110-120,共11页
基金
科技部重点研发项目“云计算和大数据”重点专项(2018YFB1004402)。
文摘
Flink是目前非常流行的流处理引擎.和先前的Hadoop,Spark,Storm等分布式计算框架相比,Flink能实现低延迟、高吞吐,保证Exactly Once.调度模块是保证集群高性能非常重要的一部分,但目前Flink调度默认把集群中所有节点看作是同等性能的,采用轮询调度策略.但在异构集群里这样的调度就会低效,因为计算资源少的节点运行的Task和计算资源多的节点运行的Task一样多,所以局部负载不均衡,影响Job的运行时间和吞吐量,造成延时.提出平滑加权轮询任务调度算法和基于蚁群算法的任务调度算法,解决运行过程中集群负载不均衡问题.平滑加权轮询任务调度算法在任务调度初始阶段根据集群资源按照权重平滑轮询调度.基于蚁群算法的任务调度算法是在运行过程中当集群已使用资源高于阈值时采用类似蚁群算法去执行任务调度,动态计算全局最优任务分配方案,能重新负载均衡.
关键词
APACHE
Flink
任务调度
负载均衡
平滑加权轮询任务调度
基于蚁群算法的任务调度
Keywords
Apache Flink
task
scheduling
load
balancing
smooth weighted round⁃robin
task
scheduling
task
scheduling
based
on
ant col
on
y
algorithm
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
面向Flink的负载均衡任务调度算法的研究与实现
被引量：
10
3
作者
李文佳
史岚
季航旭
罗意彭
机构
东北大学计算机科学与工程学院
辽宁工业大学软件学院
出处
《计算机工程与科学》
CSCD
北大核心
2022年第7期1141-1151,共11页
基金
科技部重点研发项目(2018YFB1004402)。
文摘
Apache Flink是现在主流的大数据分布式计算引擎之一,其中任务调度问题是分布式计算系统中的关键问题。由于集群的异构性以及不同算子复杂度不同,大数据计算系统Flink中不可避免地会出现负载不均的情况,针对这种问题,提出了基于资源反馈的负载均衡任务调度算法RFTS。通过实时资源监控、区域划分和基于人工萤火虫优化的任务调度算法3个模块,把负载过重的机器中处于等待状态的任务分配给负载较轻的机器,来实现集群的负载均衡,提高系统集群利用率和执行效率。最后通过基于TPC-C和TPC-H数据集的实验结果表明,RFTS算法从执行时间和吞吐量2个方面有效提升了Apache Flink计算系统的性能。
关键词
Apache
Flink
基于资源反馈的负载均衡任务调度算法
实时资源监控
区域划分
人工萤火虫优化算法
Keywords
Apache Flink
load balancing task scheduling algorithm based on resource feedback
real-time
resource
m
on
itoring
area divisi
on
glowworm swarm optimizati
on
algorithm
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
分布式计算中基于资源分级的自适应Min-Min算法
巩子杰
张亚平
张铭栋
《计算机应用研究》
CSCD
北大核心
2016
4
在线阅读
下载PDF
职称材料
2
异构Flink集群中负载均衡算法研究与实现
汪志峰
赵宇海
王国仁
《南京大学学报（自然科学版）》
CAS
CSCD
北大核心
2021
9
在线阅读
下载PDF
职称材料
3
面向Flink的负载均衡任务调度算法的研究与实现
李文佳
史岚
季航旭
罗意彭
《计算机工程与科学》
CSCD
北大核心
2022
10
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
