期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
3
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于Dijkstra算法分布式JobTracker节点模型通信方式的优化
1
作者
黄伟建
杨海龙
《河南师范大学学报（自然科学版）》
CAS
北大核心
2016年第3期154-159,共6页
针对MapReduce框架下JobTracker单点失效而引发的系统运行崩溃问题,通过建立分布式JobTracker节点模型来改善JobTracker的可靠性,并基于Dijkstra算法的单源最短路径思想对新建立模型中主从节点间的通信方式进行优化与改进,使任务节点优...
针对MapReduce框架下JobTracker单点失效而引发的系统运行崩溃问题,通过建立分布式JobTracker节点模型来改善JobTracker的可靠性,并基于Dijkstra算法的单源最短路径思想对新建立模型中主从节点间的通信方式进行优化与改进,使任务节点优先与其最近的不同机架和不同数据中心的3个控制节点进行通信.实验结果表明,分布式JobTracker节点模型能在一定程度上缓解由单JobTracker节点失效引起的作业失败问题,并且改进后的通信方式能够缓解单JobTracker节点存在的瓶颈,均衡JobTracker节点的负载.
展开更多
关键词
MAPREDUCE
通信方式
DIJKSTRA
jobtrack
er
TaskTracker
在线阅读
下载PDF
职称材料
Hadoop集群部署实验的设计与实现
被引量：
20
2
作者
孟永伟
黄建强
+1 位作者
曹腾飞
王晓英
《实验技术与管理》
CAS
北大核心
2015年第1期145-149,共5页
阐述了Hadoop软件框架中的两大核心技术——HDFS分布式文件系统架构和MapReduce分布式处理机制,设计了Hadoop集群部署实验的具体方案,主要包括实验目的、实验区域的划分、节点的规划等,并且以一组实验设备为例,详细说明了配置方法,给出...
阐述了Hadoop软件框架中的两大核心技术——HDFS分布式文件系统架构和MapReduce分布式处理机制,设计了Hadoop集群部署实验的具体方案,主要包括实验目的、实验区域的划分、节点的规划等,并且以一组实验设备为例,详细说明了配置方法,给出了实现过程。通过该实验能够让学生从理论和实践上掌握Hadoop有关的技术知识。
展开更多
关键词
HADOOP
集群部署
HDFS
MAPREDUCE
NameNode
DataNode
jobtrack
TaskTrack
在线阅读
下载PDF
职称材料
MapReduce高可用性的研究与优化
被引量：
3
3
作者
黄伟建
周鸣爱
《计算机工程与设计》
CSCD
北大核心
2014年第11期4044-4048,共5页
为提高MapReduce的可用性,提出一种分布式Jobtracker节点模型的优化方案。对Hadoop的核心技术之一MapReduce编程模型中的作业调度过程进行研究分析,指出单一Jobtracker带来的性能瓶颈,提出相应的优化方案;在此基础上,建立总体设计模型,...
为提高MapReduce的可用性,提出一种分布式Jobtracker节点模型的优化方案。对Hadoop的核心技术之一MapReduce编程模型中的作业调度过程进行研究分析,指出单一Jobtracker带来的性能瓶颈,提出相应的优化方案;在此基础上,建立总体设计模型,将原MapReduce中单一的Jobtracker节点优化为具有多个Jobtracker节点的Jobtracker集群;在该模型的基础上,采用多对多的通信方法优化通信方式,以维护作业量列表的方式优化作业均衡,提高MapReduce的可用性和作业执行效率。通过测试系统的容错性和执行效率,验证了优化后模型的高可用性和高效性。
展开更多
关键词
云计算
编程模型
控制节点
高可用性
优化
在线阅读
下载PDF
职称材料
题名
基于Dijkstra算法分布式JobTracker节点模型通信方式的优化
1
作者
黄伟建
杨海龙
机构
河北工程大学信息与电气工程学院
出处
《河南师范大学学报（自然科学版）》
CAS
北大核心
2016年第3期154-159,共6页
基金
河北省自然科学基金(F2015402077)
河北省重点基础研究项目(14964206D)
文摘
针对MapReduce框架下JobTracker单点失效而引发的系统运行崩溃问题,通过建立分布式JobTracker节点模型来改善JobTracker的可靠性,并基于Dijkstra算法的单源最短路径思想对新建立模型中主从节点间的通信方式进行优化与改进,使任务节点优先与其最近的不同机架和不同数据中心的3个控制节点进行通信.实验结果表明,分布式JobTracker节点模型能在一定程度上缓解由单JobTracker节点失效引起的作业失败问题,并且改进后的通信方式能够缓解单JobTracker节点存在的瓶颈,均衡JobTracker节点的负载.
关键词
MAPREDUCE
通信方式
DIJKSTRA
jobtrack
er
TaskTracker
Keywords
Hadoop
mapreduce
communication mode
dijkstra
jobtrack
er
tasktracker
分类号
TP301 [自动化与计算机技术—计算机系统结构]
在线阅读
下载PDF
职称材料
题名
Hadoop集群部署实验的设计与实现
被引量：
20
2
作者
孟永伟
黄建强
曹腾飞
王晓英
机构
青海大学计算机技术与应用系
出处
《实验技术与管理》
CAS
北大核心
2015年第1期145-149,共5页
基金
清华携手Google助力西部教育-科研培育项目"在线社会网络模型研究及鲁棒性分析"
国家自然科学基金项目(61363019)
+1 种基金
青海省科技创新能力促进计划项目(2014-ZJ-718
2014-ZJ-941Q)
文摘
阐述了Hadoop软件框架中的两大核心技术——HDFS分布式文件系统架构和MapReduce分布式处理机制,设计了Hadoop集群部署实验的具体方案,主要包括实验目的、实验区域的划分、节点的规划等,并且以一组实验设备为例,详细说明了配置方法,给出了实现过程。通过该实验能够让学生从理论和实践上掌握Hadoop有关的技术知识。
关键词
HADOOP
集群部署
HDFS
MAPREDUCE
NameNode
DataNode
jobtrack
TaskTrack
Keywords
Hadoop
cluster
HDFS
MapReduce
NameNode
DataNode
jobtrack
TaskTrack
分类号
TP311.52 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
MapReduce高可用性的研究与优化
被引量：
3
3
作者
黄伟建
周鸣爱
机构
河北工程大学信息与电气工程学院
出处
《计算机工程与设计》
CSCD
北大核心
2014年第11期4044-4048,共5页
基金
河北省科学技术研究与发展计划基金项目(12213511D)
文摘
为提高MapReduce的可用性,提出一种分布式Jobtracker节点模型的优化方案。对Hadoop的核心技术之一MapReduce编程模型中的作业调度过程进行研究分析,指出单一Jobtracker带来的性能瓶颈,提出相应的优化方案;在此基础上,建立总体设计模型,将原MapReduce中单一的Jobtracker节点优化为具有多个Jobtracker节点的Jobtracker集群;在该模型的基础上,采用多对多的通信方法优化通信方式,以维护作业量列表的方式优化作业均衡,提高MapReduce的可用性和作业执行效率。通过测试系统的容错性和执行效率,验证了优化后模型的高可用性和高效性。
关键词
云计算
编程模型
控制节点
高可用性
优化
Keywords
cloud computing
MapReduce
jobtrack
er
high availability
optimization
分类号
TP302 [自动化与计算机技术—计算机系统结构]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于Dijkstra算法分布式JobTracker节点模型通信方式的优化
黄伟建
杨海龙
《河南师范大学学报（自然科学版）》
CAS
北大核心
2016
0
在线阅读
下载PDF
职称材料
2
Hadoop集群部署实验的设计与实现
孟永伟
黄建强
曹腾飞
王晓英
《实验技术与管理》
CAS
北大核心
2015
20
在线阅读
下载PDF
职称材料
3
MapReduce高可用性的研究与优化
黄伟建
周鸣爱
《计算机工程与设计》
CSCD
北大核心
2014
3
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
