-
题名Hadoop异构集群中数据负载均衡的研究
被引量：6
- 1
-
-
作者
张松
杜庆伟
孙静
孙振
-
机构
南京航空航天大学计算机科学与技术学院
中国人民解放军
-
出处
《计算机应用与软件》
CSCD
2016年第5期31-34,共4页
-
基金
国家自然科学基金项目(61202350)
-
文摘
Hadoop平台下,数据的负载均衡对平台性能的发挥有着深远的影响。首先分析默认数据负载均衡的局限性,针对现有默认HDFS(Hadoop Distributed File System)数据负载均衡算法只考虑存储空间利用率,而未考虑节点间异构性的问题,提出一种量化异构集群数据负载均衡的数学模型。该模型根据节点的存储空间及节点性能计算得到各个节点的理论空间利用率,并根据当前集群存储空间利用率动态调整节点最大负载。实验结果表明,提出的数据负载均衡策略能够让异构集群达到更合理的均衡状态,提高集群的效率,并有效减少作业的执行时间。
-
关键词
HADOOP
HDFS
数据负载均衡
异构集群
-
Keywords
Hadoop
HDFS
Data load balancing
Heterogeneous cluster
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名多机群网格的数据负载均衡模型
被引量：1
- 2
-
-
作者
黄雨田
陈庆奎
-
机构
上海理工大学计算机与电气工程学院
-
出处
《计算机应用》
CSCD
北大核心
2008年第1期52-55,共4页
-
基金
国家自然科学基金资助项目(60573108)
上海市重点学科建设项目(T0502)
上海教委发展基金资助项目(07ZZ92)
-
文摘
在多个计算机机群构成的网格环境下,为了提高异构资源的利用率,提出了一个数据负载均衡模型。根据查询节点的计算能力、存储能力、通信能力,研究了查询节点的性能模型。利用数据饱和度、数据负载矩阵、数据迁移技术描述了系统的数据负载均衡机制。试验结果表明:该模型适合海量数据的查询。
-
关键词
多机群网格
异构资源
数据负载均衡
数据饱和度
-
Keywords
Multi-Cluster Grid （MCG）
heterogeneous resource
data load balance
data saturation
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
