-
题名面向MapReduce计算模式的中间数据通信优化
被引量：3
- 1
-
-
作者
曹云鹏
王海峰
-
机构
临沂大学信息科学与工程学院
山东省网络环境智能计算技术重点实验室临沂大学研究所单位问题已经过作者核实
-
出处
《计算机应用》
CSCD
北大核心
2018年第4期1078-1083,共6页
-
基金
山东省自然科学基金资助项目(ZR2017MF050,ZR2015FL014)
山东省高等学校科学技术计划项目(J17KA049)
+2 种基金
英文没有，原文末中文也没有：山东省重大科技创新工程项目(2017CXGC0701)
山东省自主创新及成果转化专项(2014ZZCX02702)
山东省重点研发项目(2016GGX109001)。
-
文摘
针对MapReduce计算模式在Map阶段结束后会产生海量中间数据,导致存在大量跨越机架交换机的数据通信问题,提出一种优化Map密集型作业的中间数据通信优化方法。首先,提取MapReduce计算作业的运行前调度信息的特征并且量化数据通信活跃度;然后,采用朴素贝叶斯分类模型实现分类预测,将历史作业的运行数据作为样本来训练分类模型;最后,根据作业分类预测结果把通信活跃的作业集中映射到同一机架中,通过提高通信局部性来优化性能瓶颈。实验结果表明,所提方案对Shuffle子过程稠密的作业优化效果明显,能够提高4%~5%的计算性能;此外,在多用户运行情况下能降低4.1%中间数据通信延迟。所提方法可有效降低大数据计算过程中的通信延迟,提高异构集群的计算性能。
-
关键词
MapReduce计算模型
大数据处理
通信优化
中间数据
机器学习
-
Keywords
MapReduce computing model
big data processing
communication optimization
intermediate data
machine learning
-
分类号
TP302.7
[自动化与计算机技术—计算机系统结构]
-
