SingleMapReduce:单一输出HDFS文件的MapReduce编程模型 被引量：2

1

作者 陈吉荣 乐嘉锦 《华南理工大学学报（自然科学版）》 EI CAS CSCD 北大核心 2014年第5期135-142,共8页

经典MapReduce编程模型的输出结果不是单一的Hadoop分布式文件系统(HDFS)文件,为此,文中提出了单一输出文件的MapReduce编程模型:SingleMapReduce.该模型通过拦截Job Successful状态,将输出目录下的所有文件"整合"为单一文件... 经典MapReduce编程模型的输出结果不是单一的Hadoop分布式文件系统(HDFS)文件,为此,文中提出了单一输出文件的MapReduce编程模型:SingleMapReduce.该模型通过拦截Job Successful状态,将输出目录下的所有文件"整合"为单一文件.文中给出了HDFS的4个重要特征,提出了HDFS的"块典型分布"和"块非典型分布"的概念,设计了一种通过整合元数据来达到整合文件的算法.理论分析和实验结果表明:该模型的MapReduce计算的输出结果为单一文件;该模型可以再次以文件的形式对MapReduce计算的输出结果进行分片,并可用并行方式导入大表或大文件到HDFS中;该模型间接支持了名称节点的扩展性. 展开更多

关键词 分布式计算系统 元数据 MAPREDUCE hadoop分布式文件系统 名称节点 数据节点 块

在线阅读 下载PDF 职称材料

HDFS可视化及其在QAR数据中的应用研究 被引量：1

2

作者 冯兴杰 吴稀钰 《中国民航大学学报》 CAS 2017年第1期56-59,共4页

Hadoop是一个由Apache基金会开发的开源的云计算基础框架,主要由Hadoop分布式文件系统(HDFS,Hadoop distributed file system)和Map/Reduce分布式计算模型组成。其中,HDFS为海量数据提供分布式存储,如何方便快捷地使用并管理HDFS成为目... Hadoop是一个由Apache基金会开发的开源的云计算基础框架,主要由Hadoop分布式文件系统(HDFS,Hadoop distributed file system)和Map/Reduce分布式计算模型组成。其中,HDFS为海量数据提供分布式存储,如何方便快捷地使用并管理HDFS成为目前亟待解决的问题。Hadoop提供了命令行接口与浏览器接口以访问HDFS,但是其浏览器接口的交互界面并不友好,给用户的使用带来了不便,因此目前用户访问HDFS主要是通过命令行的方式。为了方便用户使用并管理HDFS,在深入研究HDFS工作原理的基础上,采用struts2开源架构及JFree Chart图表绘制类库设计并实现了HDFS可视化系统。利用该系统实现了对海量QAR数据文件的分布式存储,提高了对QAR数据进行并行化数据挖掘的效率。 展开更多

关键词 hdfs 可视化 hadoop QAR数据文件 集群管理

在线阅读 下载PDF 职称材料

基于HDFS和NVME的机载航电云储存技术研究 被引量：1

3

作者 戴苏榕 胡尧 任金牛 《航空电子技术》 2015年第3期26-29,39,共5页

随着飞机性能的提高,航空电子设备功能的日益复杂,航电系统产生的数据量在呈指数增长。现有航电存储系统已很难满足未来先进航电系统必须具备多平台网络互联能力和数据共享能力。为更好地存储、管理飞机飞行过程产生的数据,本文提出了基... 随着飞机性能的提高,航空电子设备功能的日益复杂,航电系统产生的数据量在呈指数增长。现有航电存储系统已很难满足未来先进航电系统必须具备多平台网络互联能力和数据共享能力。为更好地存储、管理飞机飞行过程产生的数据,本文提出了基于HDFS和NVME固态盘的航电云存储系统设计,充分体现了航电云存储系统的高性能、高可靠性以及海量数据的管理能力,且能满足未来航电大数据的存储和管理要求。 展开更多

关键词 航电大数据 云存储 基于hadoop分布式文件系统 非易失性闪存加速

在线阅读 下载PDF 职称材料

一种跨HDFS集群的文件资源分布式高效存储方法 被引量：4

4

作者 戴威 《电子设计工程》 2019年第21期14-17,22,共5页

针对传统文件资源存储方法存在存储效率低的问题,提出了一种跨HDFS集群的文件资源分布式高效存储方法。依据HDFS集群文件资源特征及存储原理,分析资源分布式存储的逻辑关系,保证文件资源存储环境安全。依据标准Hadoop布局方案,保持设备... 针对传统文件资源存储方法存在存储效率低的问题,提出了一种跨HDFS集群的文件资源分布式高效存储方法。依据HDFS集群文件资源特征及存储原理,分析资源分布式存储的逻辑关系,保证文件资源存储环境安全。依据标准Hadoop布局方案,保持设备物理特性,对资源分布进行优化配置,实现文件资源存储自定义功能。通过文件合并、映射计算元数据在名字节点中内存损耗情况,设计高效存储过程,由此完成集群文件资源的分布式高效存储。在集群环境拓扑结构中进行实验验证,通过实验结果可知,该方法存储效率最高为98%,能够为文件资源安全存储提供技术支持。 展开更多

关键词 跨hdfs集群 文件资源 分布式 高效存储 优化配置

在线阅读 下载PDF 职称材料

基于FTP+HDFS的单片机多媒体数据的存储研究与实现

5

作者 刘跃博 叶桦 +1 位作者 仰燕兰 陈旭璇 《信息技术与信息化》 2019年第11期231-235,共5页

在互联网快速发展的背景下,传统企业的产业互联网化已经成了不可避免的趋势。本文在为某公司开发软件系统的课题背景下,研究单片机产生的大量多媒体数据如何进行存储并使该文件服务器满足后续文件处理等可扩展性需求。为实现这一目的,... 在互联网快速发展的背景下,传统企业的产业互联网化已经成了不可避免的趋势。本文在为某公司开发软件系统的课题背景下,研究单片机产生的大量多媒体数据如何进行存储并使该文件服务器满足后续文件处理等可扩展性需求。为实现这一目的,本文研究了FTP、HDFS等文件存储解决方案,通过实验综合分析各自的性能、对硬件的要求以及可扩展性,与此同时结合课题背景的实际工作场景,使该文件服务器满足实际工作中所要求的各项内容。通过分析上述内容,本文最终得出FTP+HDFS混合式文件服务器的解决方案,该方案不仅满足多媒体数据文件存储的各项要求,还能在单片机一类的低功耗设备上稳定运行,成功解决了这一实际工程中遇到的问题。 展开更多

关键词 FTP hdfs 单片机 文件迁移 JAVA分布式

在线阅读 下载PDF 职称材料

面向用电数据的HDFS数据读取策略

6

作者 许珑璋 向敏 《无线互联科技》 2018年第5期19-20,共2页

随着智能电网的发展,数据的访问并发量在不断增加,如何对这些海量的用电数据进行高效读取是现今电力企业亟待解决的问题。文章在基于HDFS读策略的基础上,提出一种面向用电数据的HDFS数据读取策略。综合节点的网络距离、带宽利用率和CPU... 随着智能电网的发展,数据的访问并发量在不断增加,如何对这些海量的用电数据进行高效读取是现今电力企业亟待解决的问题。文章在基于HDFS读策略的基础上,提出一种面向用电数据的HDFS数据读取策略。综合节点的网络距离、带宽利用率和CPU使用率3种因素,通过评判函数找出性能最优的节点并进行访问。实验验证,该策略可以有效提高数据的读取效率,提升了数据的读性能服务。 展开更多

关键词 用电数据 hdfs 智能电网 读策略 读取效率

在线阅读 下载PDF 职称材料

天地一体化网络中基于HDFS的元数据优化策略

7

作者 王坤 杨杨 邱雪松 《无线电通信技术》 2018年第1期9-13,共5页

Hadoop分布式文件系统(HDFS)是Hadoop的核心之一,已经广泛应用于天地一体化网络数据的存储。但由于HDFS存储和管理的数据容量受限于命名节点(Name Node)的内存大小,其扩展性受到制约。针对Name Node管理元数据时存在的加载文件系统镜像(... Hadoop分布式文件系统(HDFS)是Hadoop的核心之一,已经广泛应用于天地一体化网络数据的存储。但由于HDFS存储和管理的数据容量受限于命名节点(Name Node)的内存大小,其扩展性受到制约。针对Name Node管理元数据时存在的加载文件系统镜像(FSImage)时间过长、容量受内存大小限制等问题,提出将HDFS层级化的元数据结构调整为扁平化结构,并将元数据移出内存的优化思路,设计了基于日志结构合并树(Log-Structured Merge-Tree,LSM)与内存映射文件进行元数据管理的F-HDFS架构,并介绍了F-HDFS的元数据管理方式。通过F-HDFS的原型系统与HDFS的对比实验,表明F-HDFS性能整体优于HDFS,可提供稳定快速的元数据服务,能存储与管理超过HDFS 5.3倍以上的数据。 展开更多

关键词 hadoop hdfs 元数据管理 扩展性 内存映射文件

在线阅读 下载PDF 职称材料

Hadoop分布式文件系统的模型分析 被引量：22

8

作者 王峰 雷葆华 《电信科学》 北大核心 2010年第12期95-99,共5页

Hadoop分布式文件系统是遵循Google文件系统原理进行开发和实现的,受到了业界极大关注,并已被广泛应用。鉴于当前缺乏从系统设计理论的角度对其开展的相关研究,本文从Hadoop分布式文件系统架构的建模入手,通过对模型各组成部分进行分析... Hadoop分布式文件系统是遵循Google文件系统原理进行开发和实现的,受到了业界极大关注,并已被广泛应用。鉴于当前缺乏从系统设计理论的角度对其开展的相关研究,本文从Hadoop分布式文件系统架构的建模入手,通过对模型各组成部分进行分析,并将其与传统的分布式文件系统进行比较,总结出Hadoop分布式文件系统具有的海量、高可扩展性、高可靠性、高性能等面向云计算领域应用的重要特征。本文有助于研究者系统、深入地研究Hadoop分布式文件系统的设计与实现,并为云计算背景下的分布式文件系统设计提供重要的参考。 展开更多

关键词 hadoop分布式文件系统 系统模型 云计算

在线阅读 下载PDF 职称材料

基于Hadoop云计算平台的海量文本处理研究 被引量：11

9

作者 张学亮 陈金勇 陈勇 《无线电通信技术》 2014年第1期54-57,共4页

针对海量文本数据处理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储海量文本数据集,通过文本词频利用MapReduce原理建立分布式索引,以分布式数据库HBase存储关键词... 针对海量文本数据处理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储海量文本数据集,通过文本词频利用MapReduce原理建立分布式索引,以分布式数据库HBase存储关键词索引,并提供实时检索,实现对海量文本数据的分布式并行处理。实验结果表明,Hadoop框架为大规模数据的分布式并行处理提供了很好的解决方案。 展开更多

关键词 海量文本处理 hadoop hdfs HBASE MAPREDUCE 分布式并行处理

在线阅读 下载PDF 职称材料

基于Hadoop的海运业分布式搜索引擎的应用研究 被引量：3

10

作者 陈宁 柴向阳 孙勇 《西安工程大学学报》 CAS 2015年第1期73-77,共5页

针对海运业务系统越来越复杂,区域间数据交换日益频繁,致使海运企业无法高效、稳定地使用传统体系处理业务信息的问题,采用Map/Reduce分布式计算模型以及分布式文件系统,设计了一个基于Hadoop的分布式搜索引擎.该搜索引擎能够使海运企... 针对海运业务系统越来越复杂,区域间数据交换日益频繁,致使海运企业无法高效、稳定地使用传统体系处理业务信息的问题,采用Map/Reduce分布式计算模型以及分布式文件系统,设计了一个基于Hadoop的分布式搜索引擎.该搜索引擎能够使海运企业在合理时间内获取、管理、处理业务信息.通过该分布式搜索引擎,可以高效、稳定地满足海运企业日益繁重的庞大的业务需求. 展开更多

关键词 海运业 hadoop MAP/REDUCE 分布式文件系统 搜索引擎

在线阅读 下载PDF 职称材料

基于Hadoop的地震属性数据存储结构 被引量：2

11

作者 朱丽萍 王显灿 +2 位作者 李洪奇 王建东 王小朋 《信息技术》 2017年第6期170-173,共4页

地震属性分析在储层评价、地层岩性解释等方面有着重要的作用。单机环境地震属性分析计算比较耗时,使用Hadoop分布式并行计算框架,可以缩短计算时间。单一地震属性以SEGY格式独立保存,多种地震属性上传至HDFS时被分发至不同节点,而计算... 地震属性分析在储层评价、地层岩性解释等方面有着重要的作用。单机环境地震属性分析计算比较耗时,使用Hadoop分布式并行计算框架,可以缩短计算时间。单一地震属性以SEGY格式独立保存,多种地震属性上传至HDFS时被分发至不同节点,而计算时通常使用多种地震属性共同参与计算,增加了节点之间的数据传递的开销。通过改变地震属性数据组织形式,抽取同一坐标地震属性进行组合,并把坐标位置相邻的地震属性组合到一个文件中,减少集群节点间不必要的数据传递。实验表明相比于传统方法,使用MapReduce完成地震属性分析相关计算用时明显减少,并且计算用时随着集群中节点数目的增加而减少。 展开更多

关键词 hadoop 分布式文件系统 地震属性 文件格式

在线阅读 下载PDF 职称材料

基于Hadoop的云存储系统文件处理与安全研究 被引量：4

12

作者 李颖超 《现代电子技术》 北大核心 2016年第21期112-115,119,共5页

由于公有云存储中存在数据泄露、丢失、存储不稳定等不安全因素,私有云存储成为解决当前企业安全存储需求的最佳选择。针对单点内存负载过高,写入效率低下的问题,设计了一套处理大量小文件的模块,通过缓存多个小文件合并,再合并文件元... 由于公有云存储中存在数据泄露、丢失、存储不稳定等不安全因素,私有云存储成为解决当前企业安全存储需求的最佳选择。针对单点内存负载过高,写入效率低下的问题,设计了一套处理大量小文件的模块,通过缓存多个小文件合并,再合并文件元数据放置索引表,通过索引表中的偏移量寻找块中小文件数据的方式,提高HDFS写入大量小文件的系统性能,经过测试验证了优化方案的有效性。 展开更多

关键词 hadoop hdfs 私有云存储 小文件优化

在线阅读 下载PDF 职称材料

基于Hadoop的云存储系统的设计与研究 被引量：6

13

作者 刘姝 《郑州轻工业学院学报（自然科学版）》 CAS 2014年第5期60-63,共4页

针对海量数据的存储和处理,设计了一个基于Hadoop的云存储系统.该系统在分布式文件系统和MapReduce编程模型2个核心技术的基础上建立基于Hadoop的云存储模型,优化了存储方式,提高了集群中网络带宽和磁盘的利用率,同时MapReduce编程框架... 针对海量数据的存储和处理,设计了一个基于Hadoop的云存储系统.该系统在分布式文件系统和MapReduce编程模型2个核心技术的基础上建立基于Hadoop的云存储模型,优化了存储方式,提高了集群中网络带宽和磁盘的利用率,同时MapReduce编程框架的设计使系统拥有更强的计算能力.该系统可通过Linux集群技术搭建Hadoop平台,进行测试和分析.应用实践表明,该系统具有低成本、高效率、易扩展和安全可靠等特点,能稳定高效地满足海量数据的处理要求. 展开更多

关键词 云存储 hadoop 分布式并行计算 hdfs MAPREDUCE

在线阅读 下载PDF 职称材料

基于大数据的数据处理与分析技术

14

作者 童晓涛 《数字技术与应用》 2025年第3期208-210,共3页

在数字化浪潮下,数据跃升为核心资产,大数据处理与分析技术成为焦点。本文深入剖析了其架构,数据存储涵盖Hadoop Distributed File System等,计算框架有Map Reduce与Apache Spark等助力。在安全隐私保护层面,本文详述了分布式拒绝服务攻... 在数字化浪潮下,数据跃升为核心资产,大数据处理与分析技术成为焦点。本文深入剖析了其架构,数据存储涵盖Hadoop Distributed File System等,计算框架有Map Reduce与Apache Spark等助力。在安全隐私保护层面,本文详述了分布式拒绝服务攻击(DDoS)等威胁及对应防护技术,对称、非对称加密算法等应用,以及欧盟GDPR、美国CCPA和我国相关法规与企业实践。 展开更多

关键词 数据处理 hadoop distributed file System 大数据

在线阅读 下载PDF 职称材料

基于Hadoop的海量气象雷达小文件存储研究 被引量：4

15

作者 杨芙容 王永丽 王文明 《成都信息工程学院学报》 2015年第3期254-258,共5页

针对气象雷达观测产生的文件多、数据量大、计算复杂等特点,通过研究分布式存储计算平台Hadoop,提出将雷达观测中实时生成的一次产品文件直接存储在HBase中;而对立体扫描文件和计算生成的二次产品文件,采用Sequence File技术合并处理后... 针对气象雷达观测产生的文件多、数据量大、计算复杂等特点,通过研究分布式存储计算平台Hadoop,提出将雷达观测中实时生成的一次产品文件直接存储在HBase中;而对立体扫描文件和计算生成的二次产品文件,采用Sequence File技术合并处理后存储在Hadoop分布式文件系统中。根据雷达文件的标识特点,将HBase的行主键设计成时间+产品参数,利用随机散列与预分区保证HBase中regionserver的负载均衡;通过与直接存储在Hadoop分布式文件系统的方案进行比较,从Name Node的内存占用和文件读取时间两个方面进行测试和方案评估。实验证明该方案节省约60%的Name Node的内存空间,同时提高近18%的文件读取速率。 展开更多

关键词 计算机应用 大数据 雷达数据 小文件问题 分布式存储 hadoop HBASE SEQUENCE file

在线阅读 下载PDF 职称材料

Hadoop分布式存储架构的性能分析 被引量：6

16

作者 王凌晖 解云月 周美华 《现代电子技术》 北大核心 2018年第18期92-95,共4页

近几十年,随着互联网的发展,数据正在呈爆炸式增长。为了保存和处理这些数据,传统的IT架构已经满足不了,云计算应运而生。Hadoop是云计算下的一种分布式处理的软件架构,能够对大数据进行存储和处理,而它最核心的两大组件就是HDFS和Map R... 近几十年,随着互联网的发展,数据正在呈爆炸式增长。为了保存和处理这些数据,传统的IT架构已经满足不了,云计算应运而生。Hadoop是云计算下的一种分布式处理的软件架构,能够对大数据进行存储和处理,而它最核心的两大组件就是HDFS和Map Reduce,分别实现了分布式文件存储和分布式并行任务处理。文中,将基于PEPA对HDFS进行建模分析,并对HDFS的性能进行评估。 展开更多

关键词 hadoop 云计算 分布式存储 hdfs PEPA 性能评估

在线阅读 下载PDF 职称材料

基于Hadoop生态的高校学生行为预警平台设计与实现 被引量：7

17

作者 钱红兵 赵文广 +1 位作者 李艳丽 张蕊 《电子设计工程》 2020年第5期66-70,共5页

基于从高校众多的信息系统中采集海量数据,并从中挖掘出对学生行为管理有用知识的目的,本文采用了文献研究法、个案研究法及实证研究法,通过研究相关文献、技术文档,和系统设计案例,结合实际情况设计和实现一个基于Hadoop生态技术的学... 基于从高校众多的信息系统中采集海量数据,并从中挖掘出对学生行为管理有用知识的目的,本文采用了文献研究法、个案研究法及实证研究法,通过研究相关文献、技术文档,和系统设计案例,结合实际情况设计和实现一个基于Hadoop生态技术的学生行为预警平台系统,得出了使用Hadoop大数据技术实现学生行为预警平台来提高学生行为管理工作具有可行性的结论。 展开更多

关键词 hadoop hdfs 机器学习 高校 分布式文件系统 学生行为预警

在线阅读 下载PDF 职称材料

Hadoop对小文件的处理性能的研究

18

作者 艾明 《信息技术》 2015年第10期142-144,148,共4页

Hadoop是Apache基金会所开发的支持涉及数千个节点和海量数据的分布式计算的高级项目。它是一个开源免费的软件框架,受到谷歌的MapReduce和谷歌文件系统(GFS)的启发,由Java语言实现,全球的开发志愿者共同对它进行完善。Hadoop的子项目包... Hadoop是Apache基金会所开发的支持涉及数千个节点和海量数据的分布式计算的高级项目。它是一个开源免费的软件框架,受到谷歌的MapReduce和谷歌文件系统(GFS)的启发,由Java语言实现,全球的开发志愿者共同对它进行完善。Hadoop的子项目包括HDFS,MapReduce,HBase,Hive等。HDFS是一个分布式文件系统,提供高吞吐量的应用数据接口使得Hadoop具有很好的性能。MapReduce是一个软件框架,它执行涉及海量集群数据的分布式计算的MapReduce算法。尽管Hadoop被广泛使用,但它仍然存在一些影响性能的缺陷,对于小文件的处理能力就是其中缺陷之一。档案文件(Hadoop Archives)和序列文件(sequence files)是两种现有的改善小文件处理问题的解决方案,但它们仍然有各自的不足,提出一个解决方案,保留它们的优点使Hadoop在处理小文件上拥有更好的性能。 展开更多

关键词 hadoop MAPREDUCE hdfs(hadoop distributed file System) hadoop ARCHIVES sequence fileS

在线阅读 下载PDF 职称材料

基于Linux构建Hadoop高性能服务器集群 被引量：1

19

作者 汪瑜斌 《通信电源技术》 2018年第9期151-152,154,共3页

随着大多数企业在生产过程中对并行计算要求的提高,而且Hadoop框架已成为当今大数据时代的关键部件,构建高性能的Hadoop服务器集群已成为大势所趋。文章介绍了如何在Linux下实现Hadoop高性能服务器集群的搭建,并且创建了一个hadoop账号... 随着大多数企业在生产过程中对并行计算要求的提高,而且Hadoop框架已成为当今大数据时代的关键部件,构建高性能的Hadoop服务器集群已成为大势所趋。文章介绍了如何在Linux下实现Hadoop高性能服务器集群的搭建,并且创建了一个hadoop账号,对帐号的home目录下的hadoop文件夹中相关的6个配置文件进行配置。针对这些关键的配置文件,设置hdfs.replication配置文件块的副本数,完成Map和Reduce任务数的配置,通过和硬件的结合来使Hadoop服务器性能达到最优。 展开更多

关键词 Linux 服务器 hadoop MAPREDUCE 分布式文件系统 高性能

在线阅读 下载PDF 职称材料

云存储系统中数据冗余策略优化问题 被引量：13

20

作者 李玲 付园 +1 位作者 麻晓珍 张海蓉 《吉林大学学报（信息科学版）》 CAS 2013年第1期1-7,共7页

针对云存储系统现有冗余策略及其改进策略的不足,提出一种将完全备份与改进的RS(Reed-Solomon)纠删码结合的自适应数据冗余策略RIRS(Replication Improved RS)。该策略能根据具体应用环境调整参数以最大限度地优化系统性能。在参数调整... 针对云存储系统现有冗余策略及其改进策略的不足,提出一种将完全备份与改进的RS(Reed-Solomon)纠删码结合的自适应数据冗余策略RIRS(Replication Improved RS)。该策略能根据具体应用环境调整参数以最大限度地优化系统性能。在参数调整使其退化成纯粹的完全备份方法条件下,提出一个动态副本管理优化模型DRMO(Dynamic Replication Management Optimized)对其进行改进。实现副本数和副本位置的动态调整。分析表明,RIRS充分融合了完全备份和纠删码冗余的优势,能节省存储空间,降低访问时延并提高系统的可靠性和稳定性。在此基础上提出的DRMO能在满足数据有效性要求的同时,进一步节省存储空间并实现负载均衡。 展开更多

关键词 云存储 冗余策略 纠删码 分布式文件系统

在线阅读 下载PDF 职称材料