期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于灰盒模型的Hadoop MapReduce job参数性能分析与预测
被引量：
6
1
作者
周世龙
陈兴蜀
罗永刚
《四川大学学报（工程科学版）》
CSCD
北大核心
2014年第S1期146-154,共9页
针对传统使用统计机器学习对Hadoop MapReduce job参数性能预测时完全基于黑盒模型,预测精度不高且不具有扩展性等问题,提出一种结合黑盒和白盒的灰盒预测方法。定性分析了MapReduce job配置参数对job性能的影响;基于局部加权线性回归...
针对传统使用统计机器学习对Hadoop MapReduce job参数性能预测时完全基于黑盒模型,预测精度不高且不具有扩展性等问题,提出一种结合黑盒和白盒的灰盒预测方法。定性分析了MapReduce job配置参数对job性能的影响;基于局部加权线性回归分别对job的map task和reduce task性能进行预测;实现Hadoop调度器模拟器,并利用调度器模拟器对预测的job map task和reduce task进行调度,计算job执行时间,达到预测job性能目的。实验通过对比传统基于黑盒方法的预测效果,表明灰盒模型有更好的预测精度,并且可以完成集群规模变化后的job性能预测。
展开更多
关键词
HADOOP
调度器模拟
配置参数
灰盒模型
局部加权线性回归
在线阅读
下载PDF
职称材料
题名
基于灰盒模型的Hadoop MapReduce job参数性能分析与预测
被引量：
6
1
作者
周世龙
陈兴蜀
罗永刚
机构
四川大学计算机学院网络与可信计算研究所
出处
《四川大学学报（工程科学版）》
CSCD
北大核心
2014年第S1期146-154,共9页
基金
国家自然科学基金资助项目(61272447)
科技部支撑计划资助项目(2012BAH18B05)
文摘
针对传统使用统计机器学习对Hadoop MapReduce job参数性能预测时完全基于黑盒模型,预测精度不高且不具有扩展性等问题,提出一种结合黑盒和白盒的灰盒预测方法。定性分析了MapReduce job配置参数对job性能的影响;基于局部加权线性回归分别对job的map task和reduce task性能进行预测;实现Hadoop调度器模拟器,并利用调度器模拟器对预测的job map task和reduce task进行调度,计算job执行时间,达到预测job性能目的。实验通过对比传统基于黑盒方法的预测效果,表明灰盒模型有更好的预测精度,并且可以完成集群规模变化后的job性能预测。
关键词
HADOOP
调度器模拟
配置参数
灰盒模型
局部加权线性回归
Keywords
Hadoop
scheduling simulation
configuration grey-box model
local weighted linear regression
分类号
TP181 [自动化与计算机技术—控制理论与控制工程]
O212.1 [理学—概率论与数理统计]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于灰盒模型的Hadoop MapReduce job参数性能分析与预测
周世龙
陈兴蜀
罗永刚
《四川大学学报（工程科学版）》
CSCD
北大核心
2014
6
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
