期刊文献+
共找到105篇文章
< 1 2 6 >
每页显示 20 50 100
面向Hadoop分布式文件系统的小文件存取优化方法 被引量:13
1
作者 李铁 燕彩蓉 +1 位作者 黄永锋 宋亚龙 《计算机应用》 CSCD 北大核心 2014年第11期3091-3095,3099,共6页
为提高Hadoop分布式文件系统(HDFS)的小文件处理效率,提出了一种面向HDFS的智能小文件存取优化方法——SmartFS。SmartFS通过分析小文件访问日志,获取用户访问行为,建立文件关联概率模型,并根据基于文件关联关系的合并算法将小文件组装... 为提高Hadoop分布式文件系统(HDFS)的小文件处理效率,提出了一种面向HDFS的智能小文件存取优化方法——SmartFS。SmartFS通过分析小文件访问日志,获取用户访问行为,建立文件关联概率模型,并根据基于文件关联关系的合并算法将小文件组装成大文件之后存至HDFS;当从HDFS获取文件时,根据基于文件关联关系的预取算法来提高文件访问效率,并提出基于预取的缓存替换算法来管理缓存空间,从而提高文件的命中率。实验结果表明,SmartFS有效减少了HDFS中NameNode的元数据空间,减少了用户与HDFS的交互次数,提高了小文件的存储效率和访问速度。 展开更多
关键词 hadoop分布式文件系统 文件 文件关联 预取 缓存
在线阅读 下载PDF
Hadoop分布式文件系统的模型分析 被引量:22
2
作者 王峰 雷葆华 《电信科学》 北大核心 2010年第12期95-99,共5页
Hadoop分布式文件系统是遵循Google文件系统原理进行开发和实现的,受到了业界极大关注,并已被广泛应用。鉴于当前缺乏从系统设计理论的角度对其开展的相关研究,本文从Hadoop分布式文件系统架构的建模入手,通过对模型各组成部分进行分析... Hadoop分布式文件系统是遵循Google文件系统原理进行开发和实现的,受到了业界极大关注,并已被广泛应用。鉴于当前缺乏从系统设计理论的角度对其开展的相关研究,本文从Hadoop分布式文件系统架构的建模入手,通过对模型各组成部分进行分析,并将其与传统的分布式文件系统进行比较,总结出Hadoop分布式文件系统具有的海量、高可扩展性、高可靠性、高性能等面向云计算领域应用的重要特征。本文有助于研究者系统、深入地研究Hadoop分布式文件系统的设计与实现,并为云计算背景下的分布式文件系统设计提供重要的参考。 展开更多
关键词 hadoop分布式文件系统 系统模型 云计算
在线阅读 下载PDF
基于新型存储器件的分布式文件系统性能优化 被引量:7
3
作者 董聪 张晓 +1 位作者 程文迪 石佳 《计算机应用》 CSCD 北大核心 2020年第12期3594-3603,共10页
新型存储器件的I/O性能通常比传统固态驱动器(SSD)高一个数量级,然而使用新型存储器件的分布式文件系统相对于使用SSD的分布式文件系统性能并没有显著的提高,这说明目前的分布式文件系统并不能充分发挥新型存储器件的性能。针对这个问题... 新型存储器件的I/O性能通常比传统固态驱动器(SSD)高一个数量级,然而使用新型存储器件的分布式文件系统相对于使用SSD的分布式文件系统性能并没有显著的提高,这说明目前的分布式文件系统并不能充分发挥新型存储器件的性能。针对这个问题,对Hadoop分布式文件系统(HDFS)的数据写入流程及传输过程进行了量化分析。通过量化分析HDFS数据写入过程各阶段的时间开销,发现在写入数据的各个阶段中,节点间数据传输的时间占比较大。因此提出了对应的优化方案,通过异步写入的方式并行化数据传输与处理过程,使得不同数据包的处理阶段叠加起来,减少了数据包整体的处理时间,从而提升了HDFS的写入性能。实验结果表明,所提方案将HDFS的写入吞吐量提升了15%~24%,总体的写入执行时间降低了28%~36%。 展开更多
关键词 分布式文件系统 hadoop分布式文件系统 非易失性存储器 性能优化 异步写入
在线阅读 下载PDF
面向搜索引擎的分布式文件系统性能分析 被引量:12
4
作者 董守斌 赵铁柱 《华南理工大学学报(自然科学版)》 EI CAS CSCD 北大核心 2011年第4期7-14,共8页
搜索引擎是一种数据密集型应用,其性能极大依赖于底层文件系统的性能.文中主要讨论分布式文件系统在搜索引擎应用环境下的性能评估和性能优化问题.首先概述了分布式文件系统的性能影响因素及相关研究进展;在此基础上提出基于Hadoop的开... 搜索引擎是一种数据密集型应用,其性能极大依赖于底层文件系统的性能.文中主要讨论分布式文件系统在搜索引擎应用环境下的性能评估和性能优化问题.首先概述了分布式文件系统的性能影响因素及相关研究进展;在此基础上提出基于Hadoop的开放架构,系统地评估HDFS和Lustre在搜索引擎应用场景下的性能;最后针对实验评估发现的HDFS在写性能及小文件数据处理方面的不足,提出改进方案,为搜索引擎的分布式文件系统优化提供参考. 展开更多
关键词 搜索引擎 分布式文件系统 hdfs文件系统 LUSTRE文件系统 性能分析 性能优化
在线阅读 下载PDF
一种面向分布式文件系统的文件预取模型的设计与实现 被引量:2
5
作者 师明 刘轶 唐歌实 《计算机科学》 CSCD 北大核心 2014年第7期30-35,共6页
如何为上层应用和计算提供稳定高效的文件I/O性能,是分布式文件系统性能研究的热点。文中分析分布式文件系统在设计机理上的共同特征,基于此提出一种通用型的启发式文件预取模型,并选取HDFS平台进行系统实现。启发式文件预取对上层应用... 如何为上层应用和计算提供稳定高效的文件I/O性能,是分布式文件系统性能研究的热点。文中分析分布式文件系统在设计机理上的共同特征,基于此提出一种通用型的启发式文件预取模型,并选取HDFS平台进行系统实现。启发式文件预取对上层应用透明,采用在文件系统内部建立预取线程池的方法,以组成文件块的数据存储文件为预取单位,在分布式文件系统内部实现。这种设计思路具有一定的普适性,适合推广应用于多种分布式文件系统。实验结果表明,所述的启发式文件预取,能够有效提升分布式文件系统的I/O性能。 展开更多
关键词 分布式文件系统 文件预取 启发式 hdfs
在线阅读 下载PDF
基于P2P的分布式文件系统下载效率优化 被引量:2
6
作者 廖彬 于炯 +1 位作者 张陶 杨兴耀 《计算机应用》 CSCD 北大核心 2011年第9期2317-2320,2328,共5页
对分布式文件系统(HDFS)集群内部数据块存储机制与下载流程进行分析研究,结合P2P多点与多线程下载思想,从数据块、文件、集群三个方面提出了数据下载效率优化算法。考虑到集群内部可能因多线程下载出现的负载均衡问题,提出下载点选择算... 对分布式文件系统(HDFS)集群内部数据块存储机制与下载流程进行分析研究,结合P2P多点与多线程下载思想,从数据块、文件、集群三个方面提出了数据下载效率优化算法。考虑到集群内部可能因多线程下载出现的负载均衡问题,提出下载点选择算法以优化下载点的选择。实验结果表明,三种优化算法都能提高下载效率,下载点选择算法能够很好地实现集群内部DataNode负载均衡。 展开更多
关键词 云计算 分布式文件系统 对等网 并行下载 负载均衡
在线阅读 下载PDF
云环境下分布式文件系统负载均衡研究 被引量:13
7
作者 吴瑶瑶 杨庚 《计算机工程与应用》 CSCD 北大核心 2019年第10期67-72,224,共7页
Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)是一种适合在通用硬件上运行的低成本、高度容错性的分布式文件系统,能提供高吞吐量的数据访问,适合针对大规模数据集上的应用。然而,HDFS中还面临一些性能优化问题,如负载... Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)是一种适合在通用硬件上运行的低成本、高度容错性的分布式文件系统,能提供高吞吐量的数据访问,适合针对大规模数据集上的应用。然而,HDFS中还面临一些性能优化问题,如负载均衡不足。虽然Hadoop系统自带的负载均衡器可以实现均衡调整,但需要用户预先给出静态的阈值。为了解决阈值的固定性和主观性,通过对磁盘空间使用率、CPU利用率、内存利用率、磁盘I/O占用率、网络带宽占用率等参数的分析评估优化,形成对阈值的计算表达式,并通过理论分析和仿真实验对阈值的计算和负载均衡进行验证。实验结果表明,相比较Hadoop静态的输入阈值的算法,该方法达到了更好的平衡效果,提高了计算资源的利用率。 展开更多
关键词 云环境 hadoop分布式文件系统(hdfs) 负载均衡 动态阈值
在线阅读 下载PDF
一种优化分布式文件系统的文件合并策略 被引量:6
8
作者 陈剑 龚发根 《计算机应用》 CSCD 北大核心 2011年第A02期161-163,共3页
分布式文件系统的性能对整个分布式系统的性能有着重要的影响,以Hadoop分布式文件系统(HDFS)为研究目标,针对HDFS处理小文件数据性能差的问题,分析存在的问题,提出一种新的文件合并策略,优化系统I/O性能。实现结果表明这种合并策略能有... 分布式文件系统的性能对整个分布式系统的性能有着重要的影响,以Hadoop分布式文件系统(HDFS)为研究目标,针对HDFS处理小文件数据性能差的问题,分析存在的问题,提出一种新的文件合并策略,优化系统I/O性能。实现结果表明这种合并策略能有效提高分布式文件系统的性能。 展开更多
关键词 分布式文件系统 hadoop分布式文件系统 性能优化
在线阅读 下载PDF
基于Hadoop架构的电力系统连锁故障分布式计算技术 被引量:13
9
作者 刘友波 刘洋 +3 位作者 刘俊勇 李勇 刘挺坚 刁塑 《电力系统自动化》 EI CSCD 北大核心 2016年第7期90-97,共8页
以提升大规模组合故障快速仿真分析能力为目标,在Hadoop框架下研发了连锁故障分布式计算技术。基于PSD-BPA软件计算模块,利用Java开发连锁故障计算分析功能,实现驱动判定、故障集筛选、事故链搜索、严重度评估4类模块。通过部署Hadoop... 以提升大规模组合故障快速仿真分析能力为目标,在Hadoop框架下研发了连锁故障分布式计算技术。基于PSD-BPA软件计算模块,利用Java开发连锁故障计算分析功能,实现驱动判定、故障集筛选、事故链搜索、严重度评估4类模块。通过部署Hadoop分布式文件系统(HDFS)存储调度功能,将事故链解耦为小粒度单一故障场景进行计算,可针对连锁故障仿真的不同复杂度提供跨系统的分布式计算服务,灵活应对计算开始前连锁故障中事故链组合的不可预测性。利用10机、16机系统和某省网实际数据进行技术测试,结果表明所研发系统实现了连锁故障分析应用与数据在计算服务网络中的分离,具备动态调配计算节点资源的能力,能自动适应事件规模为电网连锁故障的仿真分析提供强大计算能力,具有在线应用前景。 展开更多
关键词 连锁故障 分布式计算 hadoop分布式文件系统(hdfs) PSD-BPA
在线阅读 下载PDF
基于HDFS的区域医学影像分布式存储架构设计 被引量:29
10
作者 李彭军 陈光杰 郭文明 《南方医科大学学报》 CAS CSCD 北大核心 2011年第3期495-498,共4页
构建区域医学影像协作平台是均衡医疗资源、提高基层医院诊疗水平、降低医疗费用的有效途径,但是构建区域化影像平台在技术和成本上还存在巨大的挑战。本文详细分析了传统集中式存储和HDFS(Hadoop Distributed File System)分布式存储... 构建区域医学影像协作平台是均衡医疗资源、提高基层医院诊疗水平、降低医疗费用的有效途径,但是构建区域化影像平台在技术和成本上还存在巨大的挑战。本文详细分析了传统集中式存储和HDFS(Hadoop Distributed File System)分布式存储系统的优缺点,设计了一种适合HDFS特点的S-DICOM文件格式,以及集中式存储(FC SAN)和分布式存储(HDFS集群)结合的统一存储架构,开发了一套SDFO(S-DICOM File Operator)中间件,为上层的PACS应用组件提供透明的存储访问接口。测试结果表明此架构可以满足海量医学影像资料的快速存取和处理需求。 展开更多
关键词 图像归档与传输系统 云计算 软件即服务 hadoop分布式文件系统
在线阅读 下载PDF
基于Hadoop平台的分布式重删存储系统 被引量:16
11
作者 刘青 付印金 +1 位作者 倪桂强 梅建民 《计算机应用》 CSCD 北大核心 2016年第2期330-335,共6页
针对数据中心存在大量数据冗余的问题,特别是备份数据造成的存储容量浪费,提出一种基于Hadoop平台的分布式重复数据删除解决方案。该方案通过检测并消除特定数据集内的冗余数据,来显著降低数据存储容量,优化存储空间利用率。利用Hadoop... 针对数据中心存在大量数据冗余的问题,特别是备份数据造成的存储容量浪费,提出一种基于Hadoop平台的分布式重复数据删除解决方案。该方案通过检测并消除特定数据集内的冗余数据,来显著降低数据存储容量,优化存储空间利用率。利用Hadoop大数据处理平台下的分布式文件系统(HDFS)和非关系型数据库HBase两种数据管理模式,设计并实现一种可扩展分布式重删存储系统。其中,Map Reduce并行编程框架实现分布式并行重删处理,HDFS负责重删后的数据存储,在HBase数据库中构建索引表,实现高效数据块索引查询。最后,利用虚拟机镜像文件数据集对系统进行了测试,基于Hadoop平台的分布式重删系统能在保证高重删率的同时,具有高吞吐率和良好的可扩展性。 展开更多
关键词 重复数据删除 分布式存储 hadoop HBASE hadoop分布式文件系统
在线阅读 下载PDF
SQL-DFS:一种基于HDFS的海量小文件存储系统 被引量:7
12
作者 马志强 杨双涛 +1 位作者 闫瑞 张泽广 《北京工业大学学报》 CAS CSCD 北大核心 2016年第1期134-141,共8页
针对Hadoop分布式文件系统(Hadoop distributed file system,HDFS)进行小文件存储时Name Node内存占用率高的问题,通过分析HDFS基础架构,提出了基于元数据存储集群的SQL-DFS文件系统.通过在Name Node中加入小文件处理模块实现了小文件... 针对Hadoop分布式文件系统(Hadoop distributed file system,HDFS)进行小文件存储时Name Node内存占用率高的问题,通过分析HDFS基础架构,提出了基于元数据存储集群的SQL-DFS文件系统.通过在Name Node中加入小文件处理模块实现了小文件元数据由Name Node内存到元数据存储集群的迁移,借助关系数据库集群实现了小文件元数据的快速读写,并对小文件读取过程进行优化,减少了文件客户端对Name Node的请求次数;通过将部分Data Node文件块的校验工作交由元数据存储集群完成,进一步降低了Name Node节点的负载压力.最终通过搭建HDFS和SQL-DFS实验平台,对HDFS和SQL-DFS 2种架构进行了小文件读写的对比测试,实验结果表明:SQLDFS在文件平均耗时(file average cost,FAC)和内存占用率方面均明显优于原HDFS架构,具有更好的小文件存储能力,可用于海量小文件的存储. 展开更多
关键词 hadoop分布式文件系统(hdfs) 元数据存储集群 文件 元数据 内存占用率
在线阅读 下载PDF
基于Redis的海量小文件分布式存储方法研究 被引量:22
13
作者 刘高军 王帝澳 《计算机工程与科学》 CSCD 北大核心 2013年第10期58-64,共7页
小文件作为信息传输、存储的重要方式,使用相当广泛,用户对其可靠性和速度的要求也在不断提高。针对目前小文件存储效率较低的问题,首先结合分布式存储系统HDFS的大文件存储优势和Redis缓存技术,提出快速合并小文件的存储方案。把小文... 小文件作为信息传输、存储的重要方式,使用相当广泛,用户对其可靠性和速度的要求也在不断提高。针对目前小文件存储效率较低的问题,首先结合分布式存储系统HDFS的大文件存储优势和Redis缓存技术,提出快速合并小文件的存储方案。把小文件合并为Sequence File存储到HDFS上,采用多元线性回归分析确定负载系数进行负载均衡调节,并在获取文件时使用缓存保证效率。在实验上,搭建相应的文件平台,分别对上传、获取、删除以及内存占用和传统直接上传的方式进行对比分析。可以看出,与传统的直接上传文件到HDFS的方式相比,经过改进的小文件处理方式可以在保证文件可靠性的同时,更快速地处理小文件。 展开更多
关键词 hdfs 文件 文件缓存 分布式文件系统
在线阅读 下载PDF
基于HDFS的云存储系统小文件优化方案 被引量:9
14
作者 邹振宇 郑烇 +1 位作者 王嵩 杨坚 《计算机工程》 CAS CSCD 北大核心 2016年第3期34-40,46,共8页
Hadoop分布式文件系统(HDFS)具有高容错、可伸缩、廉价存储等优良特性,在大数据存储和分析场景中得到广泛应用。但对于海量小文件存储,HDFS存在高内存消耗、高延迟访问等缺陷。为此,结合"合肥城市云"系统"一次上传,多次... Hadoop分布式文件系统(HDFS)具有高容错、可伸缩、廉价存储等优良特性,在大数据存储和分析场景中得到广泛应用。但对于海量小文件存储,HDFS存在高内存消耗、高延迟访问等缺陷。为此,结合"合肥城市云"系统"一次上传,多次下载"的特性,提出一种基于小文件属性的优化方案。根据文件之间的相关性设定优先级,对小于5 MB的文件按优先级高低合并后再上传,并生成索引记录。结合随机化思想,采用两级缓存策略,将预提取数据缓存在内存池中,提高访问效率。同时,系统定期查询访问日志,根据用户访问习惯,动态调整预提取因子的大小。实验结果表明,该方案能有效提高小文件访问效率,降低名字节点和数据节点的内存开销,在有海量小文件存取的情况下提升系统的交互性。 展开更多
关键词 hadoop分布式文件系统 文件 预提取 随机化 动态调整
在线阅读 下载PDF
Hadoop分布式存储架构的性能分析 被引量:6
15
作者 王凌晖 解云月 周美华 《现代电子技术》 北大核心 2018年第18期92-95,共4页
近几十年,随着互联网的发展,数据正在呈爆炸式增长。为了保存和处理这些数据,传统的IT架构已经满足不了,云计算应运而生。Hadoop是云计算下的一种分布式处理的软件架构,能够对大数据进行存储和处理,而它最核心的两大组件就是HDFS和Map R... 近几十年,随着互联网的发展,数据正在呈爆炸式增长。为了保存和处理这些数据,传统的IT架构已经满足不了,云计算应运而生。Hadoop是云计算下的一种分布式处理的软件架构,能够对大数据进行存储和处理,而它最核心的两大组件就是HDFS和Map Reduce,分别实现了分布式文件存储和分布式并行任务处理。文中,将基于PEPA对HDFS进行建模分析,并对HDFS的性能进行评估。 展开更多
关键词 hadoop 云计算 分布式存储 hdfs PEPA 性能评估
在线阅读 下载PDF
基于纠删码和动态副本策略的HDFS改进系统 被引量:10
16
作者 李晓恺 代翔 +1 位作者 李文杰 崔喆 《计算机应用》 CSCD 北大核心 2012年第8期2150-2153,2158,共5页
为了让Hadoop分布式文件系统(HDFS)达到更高的存储效率以及更加优化的负载均衡能力,针对HDFS的多副本存储技术提出了改进方案——Noah。Noah引入了编码和译码模块,对HDFS中的block进行编码分解,生成更多数量的数据分片(section),并随机... 为了让Hadoop分布式文件系统(HDFS)达到更高的存储效率以及更加优化的负载均衡能力,针对HDFS的多副本存储技术提出了改进方案——Noah。Noah引入了编码和译码模块,对HDFS中的block进行编码分解,生成更多数量的数据分片(section),并随机地分散保存到集群当中,替代原有系统的多副本容灾策略;在集群出现节点失效的情况下,通过收集与失效block相关的任意70%左右的section进行原始数据的恢复;同时根据分布式集群运行情况以及对副本数目需求的不同采用动态副本策略。通过相关的集群实验,表明Noah在容灾效率、负载均衡、存储成本以及安全性上对HDFS作了相应的优化。 展开更多
关键词 hadoop分布式文件系统 分布式存储 数据容灾 负载均衡 动态副本
在线阅读 下载PDF
基于hadoop云平台的智能电网HDFS资源存储技术研究 被引量:10
17
作者 孟祥萍 周来 《电测与仪表》 北大核心 2014年第19期24-30,共7页
面对未来智能电网海量存储资源的管理困难、可靠性低、维护分布式数据成本高等难题,文章首先在Hadoop云计算平台基础上搭建HDFS(Hadoop Distributed File System),论证了其强大的数据存储性能,并通过实验发现HDFS在进一步提高存储性能... 面对未来智能电网海量存储资源的管理困难、可靠性低、维护分布式数据成本高等难题,文章首先在Hadoop云计算平台基础上搭建HDFS(Hadoop Distributed File System),论证了其强大的数据存储性能,并通过实验发现HDFS在进一步提高存储性能方面的诸多瓶颈——节点状态信息缺失、系统负载不均、存储效率下降等。随后考虑HDFS原始方案的弊端并给出完善数据节点状态信息、设定数据副本系数的HDFS架构改进方案,最后通过在仿真平台上的实验,有效地平衡了节点间的负载,显著提高了存储效率,同时增强了用户体验,证明了该策略提高HDFS系统存储性能的可行性。 展开更多
关键词 智能电网 数据存储 hadoop hdfs
在线阅读 下载PDF
一种基于影像块组织的遥感数据分布式存储方法 被引量:9
18
作者 池子文 张丰 +1 位作者 杜震洪 刘仁义 《浙江大学学报(理学版)》 CAS CSCD 2014年第1期95-99,112,共6页
云存储是解决动态增长的海量遥感数据产品存储管理难题的有效手段.针对云存储在遥感数据存储领域中存在的问题,提出了一种基于影像块组织的遥感数据分布式Key-Value存储模型,解决了分布式文件系统存储大规模影像块效率低下的问题,使遥... 云存储是解决动态增长的海量遥感数据产品存储管理难题的有效手段.针对云存储在遥感数据存储领域中存在的问题,提出了一种基于影像块组织的遥感数据分布式Key-Value存储模型,解决了分布式文件系统存储大规模影像块效率低下的问题,使遥感数据云存储具备了空间区域访问特性;结合开源分布式文件系统HDFS,实现了影像数据的分布式高效存储与空间区域检索.实验与分析表明,系统在多用户并发连接情况下可以维持较高的吞吐率,同时具备良好的可伸缩性和稳定性. 展开更多
关键词 遥感数据产品 分布式文件系统 hdfs MapFile Ke 卜value
在线阅读 下载PDF
基于HDFS的高可靠性存储系统的研究 被引量:7
19
作者 李明明 李伟 《西安科技大学学报》 CAS 北大核心 2016年第3期428-433,共6页
由于机器硬件故障导致的重要文件丢失对工作造成了极大影响。HDFS分布式文件系统通过文件副本机制提高了存储的可靠性。但HDFS中Name Node单点故障问题导致了当Name Node岩机时,整个集群不可用,从而导致了用HDFS进行文件存储不是100%的... 由于机器硬件故障导致的重要文件丢失对工作造成了极大影响。HDFS分布式文件系统通过文件副本机制提高了存储的可靠性。但HDFS中Name Node单点故障问题导致了当Name Node岩机时,整个集群不可用,从而导致了用HDFS进行文件存储不是100%的安全可靠。文中通过UCarp虚拟IP软件建立Name Node的备份节点。当HDFS岩机时,备份节点会自动竞争为新的Name Node,为集群提供元数据服务,从而保证HDFS在任何时候都不会有数据丢失现象,提高了HDFS的可靠性。 展开更多
关键词 hadoop平台 分布式文件系统 名字节点 备份节点 UCarp
在线阅读 下载PDF
HDFS中高效存储小文件的方法 被引量:10
20
作者 尹颖 林庆 林涵阳 《计算机工程与设计》 北大核心 2015年第2期406-409,共4页
为改善应用Hadoop分布式文件系统存储大量小文件时效率低下的问题,将NameNode职责分离,使用单独的NFS服务器同步存储元数据信息,以降低Client数据请求压力,提供大吞吐量数据访问并改善访问延迟;设计文件与数据块的对应模式,允许在同一... 为改善应用Hadoop分布式文件系统存储大量小文件时效率低下的问题,将NameNode职责分离,使用单独的NFS服务器同步存储元数据信息,以降低Client数据请求压力,提供大吞吐量数据访问并改善访问延迟;设计文件与数据块的对应模式,允许在同一块中存储多个小文件,并对系统加以实现,为海量小文件的存储提供了一个有效的解决方案。实验结果表明,该机制可以在数据迅速增长的背景下实现海量小文件的高效存取。 展开更多
关键词 hadoop分布式文件系统 海量小文件 性能优化 职责分离 合并小文件
在线阅读 下载PDF
上一页 1 2 6 下一页 到第
使用帮助 返回顶部