-
题名Storm启发式均衡图划分调度优化方法
被引量：5
- 1
-
-
作者
简琤峰
卢涛
张美玉
-
机构
浙江工业大学计算机学院数字媒体技术研究所
-
出处
《小型微型计算机系统》
CSCD
北大核心
2018年第11期2538-2544,共7页
-
基金
国家自然基金面上项目(61672461
61672463)资助
-
文摘
针对现有Storm调度器未考虑通信代价,负载不均、无法动态重调度等缺陷,提出了基于启发式均衡图划分算法的调度策略.通过对Storm建立调度模型,将负载检测作为调度器的输入实现动态并行参数优化和重调度优化,最终减少集群节点间的数据发送率,并且保持节点间负载均衡.实验表明本文算法建立的动态调度器能够有效减少数据处理延时,提升集群吞吐量,实现对集群性能的整体优化.
-
关键词
STORM
动态调度
图均衡划分
重调度
-
Keywords
Storm
dynamic scheduling
graph partitioning
re-scheduling
-
分类号
TP319
[自动化与计算机技术—计算机软件与理论]
-
-
题名一种松弛的优化均衡流式图划分算法研究
被引量：1
- 2
-
-
作者
殷晓波
罗恩
-
机构
安徽理工大学计算机科学与工程学院
中南大学信息科学与工程学院
-
出处
《计算机科学》
CSCD
北大核心
2016年第4期231-234,共4页
-
基金
安徽省科技厅自然科学基金重点项目(1308085MF94)资助
-
文摘
在大规模图数据的分布式处理中,往往需要将图数据进行划分并放置在不同的节点上。如果数据划分得不均衡,那么部分节点可能会成为分布式系统的瓶颈。为了提高图数据划分的均衡性,并且有效地应对图数据的快速更新,提出了一种松弛的优化均衡流式图划分算法。首先,定义了一种同时包含划分内部代价和划分之间的割的代价的目标函数作为图划分的整体框架。然后,在图划分框架的基础上通过最大化和最小化两种优化函数分析了均衡图划分问题,并给出了二者之间的关系。最后,针对流式图数据,提出一种贪婪的图最优k划分算法。该划分算法以最大化优化函数为基础,通过最大化顶点放置产生的目标函数增加值进行节点划分块的选取。实验表明,提出的图划分算法与相关算法相比,不仅均衡性好,而且通信开销小,在基于该算法进行图划分时上层应用的计算性能得到了明显的提高。
-
关键词
图
均衡图划分
分布式计算
启发式算法
-
Keywords
Graph,Balanced graph partitioning,Distributed computing, Heuristic algorithm
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名异构计算中一种图的非均衡划分算法
被引量：7
- 3
-
-
作者
沈轶炜
曾国荪
-
机构
同济大学计算机科学技术系
国家高性能计算机工程技术中心同济分中心上海
-
出处
《计算机科学》
CSCD
北大核心
2006年第6期260-263,共4页
-
基金
国家自然科学基金资助项目(60173026)
上海科委重大项目(03DZ15029)
上海高校网络技术E-研究院资助(200301-1)。
-
文摘
现有的图的划分算法大多是均衡划分,要求划分块的权值相等,划分块之间的连接代价尽量最小。但是在异构计算环境中,不同的处理机的计算能力不尽相同,从而在并行任务调度时所分配的计算任务量也应随之不同。所以为了适应更广泛意义上的异构负载均衡,本文提出了异构计算中的一种任务图的非均衡划分算法。该算法根据任意给定的需求,使得划分好的各个子集权值不均等。其中划分子集的个数等于异构环境中处理机的个数,各子集的大小比例于不同处理机的计算能力。算法包括3步粗化阶段、非均衡划分阶段以及精化还原阶段。本文通过用格林威治大学提供的系列开放图来测试该算法,实验结果表明算法是准确有效的。
-
关键词
异构计算
非均衡的图划分
任务图
分布向量
-
Keywords
Heterogeneous computing, Unbalanced partitioning, Task graph, Distribution vector
-
分类号
TP301.6
[自动化与计算机技术—计算机系统结构]
-
