期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
3
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于数据局部性的推测式Hadoop任务调度算法研究
被引量：
9
1
作者
刘奎
刘向东
+1 位作者
马宝来
王翠荣
《计算机应用研究》
CSCD
北大核心
2014年第1期182-187,共6页
针对Hadoop平台现有任务调度算法优化程度不高的问题,提出了一种基于数据局部性的推测式任务调度算法。该算法通过计算节点上Map和Reduce任务时长比例,结合不同节点上数据的局部特性,采用了比现有算法更精确的任务进度探测方式找出快慢...
针对Hadoop平台现有任务调度算法优化程度不高的问题,提出了一种基于数据局部性的推测式任务调度算法。该算法通过计算节点上Map和Reduce任务时长比例,结合不同节点上数据的局部特性,采用了比现有算法更精确的任务进度探测方式找出快慢节点,在快节点上启动剩余时间最长的落后任务的备份任务,用移动计算代替移动数据。在Hadoop环境中进行了实验,结果表明该算法比现有算法缩短了任务平均运行时间,加快了任务的执行效率。
展开更多
关键词
hadoop
任务调度
异构环境
数据局部性
在线阅读
下载PDF
职称材料
一种基于资源预取的Hadoop作业调度算法
被引量：
4
2
作者
万兵
黄梦醒
段茜
《计算机应用研究》
CSCD
北大核心
2014年第6期1639-1643,共5页
Hadoop原有的作业调度算法在任务级调度阶段均采用简单考虑数据本地性的任务分配策略,并不能保证良好的数据本地性,而相应的改进算法改进目标不一,也不完全适用于所有作业调度场合。针对以上问题,结合数据预取理念提出一种基于资源预取...
Hadoop原有的作业调度算法在任务级调度阶段均采用简单考虑数据本地性的任务分配策略,并不能保证良好的数据本地性,而相应的改进算法改进目标不一,也不完全适用于所有作业调度场合。针对以上问题,结合数据预取理念提出一种基于资源预取的作业调度算法。通过估算节点上正在运行任务的剩余执行时间,并与传输一个数据块所需时间进行比较,预选出待预取的候选节点;并从当前正在运行作业的未分配任务中选取非本地map任务作为待预取任务;最后,为该任务在候选节点上预取其所需数据。实验结果表明该改进算法有效地提高了作业的数据本地性,并在一定程度上减少了作业执行时间。
展开更多
关键词
作业调度
数据本地性
资源预取
hadoop
MAPREDUCE
云计算
在线阅读
下载PDF
职称材料
一种基于DAG的MapReduce任务调度算法
被引量：
7
3
作者
唐一韬
黄晶
肖球
《计算机科学》
CSCD
北大核心
2014年第S1期42-46,51,共6页
Hadoop已成为研究云计算的基础平台,MapReduce是其大数据分布式处理的计算模型。针对异构集群下MapReduce数据分布、数据本地性、作业执行流程等问题,提出一种基于DAG的MapReduce调度算法。把集群中的节点按计算能力进行划分,将MapReduc...
Hadoop已成为研究云计算的基础平台,MapReduce是其大数据分布式处理的计算模型。针对异构集群下MapReduce数据分布、数据本地性、作业执行流程等问题,提出一种基于DAG的MapReduce调度算法。把集群中的节点按计算能力进行划分,将MapReduce作业转换成DAG模型,改进向上排序值计算方法,使其在异构集群中计算更精准、任务的优先级排序更合理。综合节点的计算能力与数据本地性及集群利用情况,选择合理的数据节点分配和执行任务,减少当前任务完成时间。实验表明,该算法能合理分布数据,有效提高数据本地性,减少通信开销,缩短整个作业集的调度长度,从而提高集群的利用率。
展开更多
关键词
DAG
调度算法
MAPREDUCE
hadoop
异构环境
大数据
在线阅读
下载PDF
职称材料
题名
基于数据局部性的推测式Hadoop任务调度算法研究
被引量：
9
1
作者
刘奎
刘向东
马宝来
王翠荣
机构
东北大学秦皇岛分校计算机与通信学院
东北大学信息与工程学院
出处
《计算机应用研究》
CSCD
北大核心
2014年第1期182-187,共6页
基金
国家自然科学基金资助项目(61070162
71071028)
文摘
针对Hadoop平台现有任务调度算法优化程度不高的问题,提出了一种基于数据局部性的推测式任务调度算法。该算法通过计算节点上Map和Reduce任务时长比例,结合不同节点上数据的局部特性,采用了比现有算法更精确的任务进度探测方式找出快慢节点,在快节点上启动剩余时间最长的落后任务的备份任务,用移动计算代替移动数据。在Hadoop环境中进行了实验,结果表明该算法比现有算法缩短了任务平均运行时间,加快了任务的执行效率。
关键词
hadoop
任务调度
异构环境
数据局部性
Keywords
hadoop job scheduling heterogeneous environments locality of data
分类号
TP301.6 [自动化与计算机技术—计算机系统结构]
在线阅读
下载PDF
职称材料
题名
一种基于资源预取的Hadoop作业调度算法
被引量：
4
2
作者
万兵
黄梦醒
段茜
机构
海南大学信息科学技术学院
出处
《计算机应用研究》
CSCD
北大核心
2014年第6期1639-1643,共5页
基金
国家自然科学基金资助项目(71161007)
国家教育部社科基金资助项目(10YJCZH049)
+1 种基金
海南省重点科技计划资助项目(ZDXM20120061
ZDXM20130078)
文摘
Hadoop原有的作业调度算法在任务级调度阶段均采用简单考虑数据本地性的任务分配策略,并不能保证良好的数据本地性,而相应的改进算法改进目标不一,也不完全适用于所有作业调度场合。针对以上问题,结合数据预取理念提出一种基于资源预取的作业调度算法。通过估算节点上正在运行任务的剩余执行时间,并与传输一个数据块所需时间进行比较,预选出待预取的候选节点;并从当前正在运行作业的未分配任务中选取非本地map任务作为待预取任务;最后,为该任务在候选节点上预取其所需数据。实验结果表明该改进算法有效地提高了作业的数据本地性,并在一定程度上减少了作业执行时间。
关键词
作业调度
数据本地性
资源预取
hadoop
MAPREDUCE
云计算
Keywords
job
scheduling
data
locality
resource prefetching
hadoop
MapReduce
cloud computing
分类号
TP393 [自动化与计算机技术—计算机应用技术]
TP301.6 [自动化与计算机技术—计算机系统结构]
在线阅读
下载PDF
职称材料
题名
一种基于DAG的MapReduce任务调度算法
被引量：
7
3
作者
唐一韬
黄晶
肖球
机构
湖南长沙民政职业技术学院
湖南大学信息科学与工程学院
出处
《计算机科学》
CSCD
北大核心
2014年第S1期42-46,51,共6页
基金
2011年湖南省"十二五"规划课题:基于立体化教学环境的创新型IT人才模式研究与实践
2012年国家教育部资助国内青年骨干教师访问学者科研业务费资助
文摘
Hadoop已成为研究云计算的基础平台,MapReduce是其大数据分布式处理的计算模型。针对异构集群下MapReduce数据分布、数据本地性、作业执行流程等问题,提出一种基于DAG的MapReduce调度算法。把集群中的节点按计算能力进行划分,将MapReduce作业转换成DAG模型,改进向上排序值计算方法,使其在异构集群中计算更精准、任务的优先级排序更合理。综合节点的计算能力与数据本地性及集群利用情况,选择合理的数据节点分配和执行任务,减少当前任务完成时间。实验表明,该算法能合理分布数据,有效提高数据本地性,减少通信开销,缩短整个作业集的调度长度,从而提高集群的利用率。
关键词
DAG
调度算法
MAPREDUCE
hadoop
异构环境
大数据
Keywords
DAG,
scheduling
algorithm,MapReduce,
hadoop
,
heterogeneous
environment,Big
data
分类号
TP301.6 [自动化与计算机技术—计算机系统结构]
TP311.13 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于数据局部性的推测式Hadoop任务调度算法研究
刘奎
刘向东
马宝来
王翠荣
《计算机应用研究》
CSCD
北大核心
2014
9
在线阅读
下载PDF
职称材料
2
一种基于资源预取的Hadoop作业调度算法
万兵
黄梦醒
段茜
《计算机应用研究》
CSCD
北大核心
2014
4
在线阅读
下载PDF
职称材料
3
一种基于DAG的MapReduce任务调度算法
唐一韬
黄晶
肖球
《计算机科学》
CSCD
北大核心
2014
7
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
