-
题名分布式数据流处理系统管理中负载均衡问题建模与求解
被引量：4
- 1
-
-
作者
唐颖峰
陈世平
-
机构
上海对外贸经贸大学教务处
上海理工大学管理学院
-
出处
《运筹与管理》
CSSCI
CSCD
北大核心
2021年第4期155-162,共8页
-
基金
国家自然科学基金资助项目(61170277,61472256)
上海市教委科研创新重点项目(12zz137)
上海市一流学科建设项目(S1201YLXK)。
-
文摘
对分布式数据流处理系统管理中,处理节点负载均衡问题进行了研究。阐述了分布式数据流处理系统的运行机理以及节点负载不均衡的成因,并提出了对系统负载均衡调整的优化方案;对提出的优化方案建立模型,并对模型的适用条件进行理论分析;然后采用蚁群算法对模型进行求解,并针对分布式数据流处理系统实时性的需求对算法进行改进;最后用实验证明本文所建立的模型及其求解方法对于解决分布式数据流处理系统管理中节点负载均衡问题的有效性。
-
关键词
系统管理
分布式数据流处理系统
负载均衡
组合优化问题
蚁群算法
-
Keywords
system management
distributed stream processing system
load balancing
combinatorial optimization problem
ant colony optimization
-
分类号
C931
[经济管理—管理学]
-
-
题名基于分布式流处理的自适应数据分发策略
被引量：2
- 2
-
-
作者
闾程豪
荆一楠
何震瀛
王晓阳
-
机构
复旦大学软件学院
上海市数据科学重点实验室(复旦大学)
复旦大学计算机科学技术学院
-
出处
《计算机应用与软件》
北大核心
2018年第8期24-30,共7页
-
基金
国家自然科学基金项目(61732004)
上海市科技创新行动计划项目(16DZ1100200)
-
文摘
现有的分布式流数据分发方法通常只针对某一类数据分布的特征进行优化,以降低处理的延迟时间。现实情况中,数据分布的特征往往会随着时间发生变化,导致针对特定数据分布特征进行优化的分发方法无法总是获得最低的处理延迟时间。解决上述问题可以使用一种自适应数据分发策略APS(Adaptive Partition Strategy)。在mini-batch分布式流处理模型中,APS策略选取一系列当下被广泛使用的数据分发方法作为候选,在每个minibatch上对不同候选方法的最大负载和键值分离程度进行整体评估,进而根据评估结果进行分发方法的调整。实验结果表明,在处理维基项目的真实数据集时,该策略与现有分发方法相比,最多能将处理延迟时间降低26.7%。
-
关键词
分布式数据流处理
流数据分发
负载均衡
键值分离
自适应策略
-
Keywords
Distributed stream data processing
Stream data partition
Load balance
Key splitting
Adaptive strategy
-
分类号
TP3
[自动化与计算机技术—计算机科学与技术]
-
