期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于数据局部性的推测式Hadoop任务调度算法研究
被引量：
9
1
作者
刘奎
刘向东
+1 位作者
马宝来
王翠荣
《计算机应用研究》
CSCD
北大核心
2014年第1期182-187,共6页
针对Hadoop平台现有任务调度算法优化程度不高的问题,提出了一种基于数据局部性的推测式任务调度算法。该算法通过计算节点上Map和Reduce任务时长比例,结合不同节点上数据的局部特性,采用了比现有算法更精确的任务进度探测方式找出快慢...
针对Hadoop平台现有任务调度算法优化程度不高的问题,提出了一种基于数据局部性的推测式任务调度算法。该算法通过计算节点上Map和Reduce任务时长比例,结合不同节点上数据的局部特性,采用了比现有算法更精确的任务进度探测方式找出快慢节点,在快节点上启动剩余时间最长的落后任务的备份任务,用移动计算代替移动数据。在Hadoop环境中进行了实验,结果表明该算法比现有算法缩短了任务平均运行时间,加快了任务的执行效率。
展开更多
关键词
HADOOP
任务调度
异构环境
数据局部性
在线阅读
下载PDF
职称材料
题名
基于数据局部性的推测式Hadoop任务调度算法研究
被引量：
9
1
作者
刘奎
刘向东
马宝来
王翠荣
机构
东北大学秦皇岛分校计算机与通信学院
东北大学
信息与工程
学院
出处
《计算机应用研究》
CSCD
北大核心
2014年第1期182-187,共6页
基金
国家自然科学基金资助项目(61070162
71071028)
文摘
针对Hadoop平台现有任务调度算法优化程度不高的问题,提出了一种基于数据局部性的推测式任务调度算法。该算法通过计算节点上Map和Reduce任务时长比例,结合不同节点上数据的局部特性,采用了比现有算法更精确的任务进度探测方式找出快慢节点,在快节点上启动剩余时间最长的落后任务的备份任务,用移动计算代替移动数据。在Hadoop环境中进行了实验,结果表明该算法比现有算法缩短了任务平均运行时间,加快了任务的执行效率。
关键词
HADOOP
任务调度
异构环境
数据局部性
Keywords
Hadoop job scheduling heterogeneous environments locality of data
分类号
TP301.6 [自动化与计算机技术—计算机系统结构]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于数据局部性的推测式Hadoop任务调度算法研究
刘奎
刘向东
马宝来
王翠荣
《计算机应用研究》
CSCD
北大核心
2014
9
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
