期刊文献+
共找到291篇文章
< 1 2 15 >
每页显示 20 50 100
基于HDFS的分布式文件系统 被引量:21
1
作者 刘军 冷芳玲 +1 位作者 李世奇 鲍玉斌 《东北大学学报(自然科学版)》 EI CAS CSCD 北大核心 2019年第6期795-800,共6页
在现有的开源分布式文件存储系统HDFS上,构建一个智能大数据存储系统IHDFS.该系统提出了大数据去重模块、大数据放置模块、大数据智能迁移模块和大数据编码模块,构造了智能分布式文件存储系统,可以提高用户访问效率,节省集群的存储空间... 在现有的开源分布式文件存储系统HDFS上,构建一个智能大数据存储系统IHDFS.该系统提出了大数据去重模块、大数据放置模块、大数据智能迁移模块和大数据编码模块,构造了智能分布式文件存储系统,可以提高用户访问效率,节省集群的存储空间.实验结果表明,数据去重模块很好地节省了存储空间;数据放置模块合理地分配文件上传的存储层,使数据上传速度提高一倍;数据智能迁移模块提高了用户在高等存储层上文件的命中率,提高了用户获取数据的效率;数据编码模块节省了集群的储存空间,节省了大约原来存储空间的三分之一. 展开更多
关键词 多层存储架构 hdfs 智能 优化 分布式
在线阅读 下载PDF
基于HDFS的跨集群分布式文件系统研究 被引量:5
2
作者 王大志 《信息技术与信息化》 2019年第8期229-230,共2页
本文尝试构建一种基于HDFS的跨集群分布式文件系统,分别在小文件存储和负载均衡两个方面进行改进,提升HDFS分布式集群存储小文件的效率,降低NameNode元数据存储压力。
关键词 云存储 跨集群 hdfs 分布式系统
在线阅读 下载PDF
面向搜索引擎的分布式文件系统性能分析 被引量:12
3
作者 董守斌 赵铁柱 《华南理工大学学报(自然科学版)》 EI CAS CSCD 北大核心 2011年第4期7-14,共8页
搜索引擎是一种数据密集型应用,其性能极大依赖于底层文件系统的性能.文中主要讨论分布式文件系统在搜索引擎应用环境下的性能评估和性能优化问题.首先概述了分布式文件系统的性能影响因素及相关研究进展;在此基础上提出基于Hadoop的开... 搜索引擎是一种数据密集型应用,其性能极大依赖于底层文件系统的性能.文中主要讨论分布式文件系统在搜索引擎应用环境下的性能评估和性能优化问题.首先概述了分布式文件系统的性能影响因素及相关研究进展;在此基础上提出基于Hadoop的开放架构,系统地评估HDFS和Lustre在搜索引擎应用场景下的性能;最后针对实验评估发现的HDFS在写性能及小文件数据处理方面的不足,提出改进方案,为搜索引擎的分布式文件系统优化提供参考. 展开更多
关键词 搜索引擎 分布式文件系统 hdfs文件系统 LUSTRE文件系统 性能分析 性能优化
在线阅读 下载PDF
分布式文件系统与MPP数据库的混搭架构在电信大数据平台中的应用 被引量:20
4
作者 张雨 蔡鑫 +2 位作者 李爱民 刘翼 姚晓辉 《电信科学》 北大核心 2013年第11期12-16,共5页
通过对分布式文件系统和MPP数据库这两种大数据技术领域重要方向的研究比较,提出了采用混搭架构进行大数据平台架构规划和设计的思路和实现方法,并在具体项目中进行了实际验证。该架构能够兼具两种技术的优点,适应不同场景的大数据存储... 通过对分布式文件系统和MPP数据库这两种大数据技术领域重要方向的研究比较,提出了采用混搭架构进行大数据平台架构规划和设计的思路和实现方法,并在具体项目中进行了实际验证。该架构能够兼具两种技术的优点,适应不同场景的大数据存储和处理要求。 展开更多
关键词 分布式文件系统 MPP数据库 混搭架构
在线阅读 下载PDF
支持文件重删的HDFS分布式备份系统研究 被引量:3
5
作者 王建辉 石宇良 《电子设计工程》 2014年第4期19-22,共4页
随着传统行业电子化的速度日渐加快,电脑上的数据量与日俱增,数据备份领域面临的挑战也越来越大。传统备份因为需要大量的磁盘阵列作为存储介质,所以在成本控制上一直是个难题。针对该情况,结合云存储平台低廉的成本、高效的资源伸缩与... 随着传统行业电子化的速度日渐加快,电脑上的数据量与日俱增,数据备份领域面临的挑战也越来越大。传统备份因为需要大量的磁盘阵列作为存储介质,所以在成本控制上一直是个难题。针对该情况,结合云存储平台低廉的成本、高效的资源伸缩与利用率,研究在HDFS系统中加入新的重复数据删除技术,并对原有备份策略进行优化,设计出一种基于云存储中的重复数据删除技术的备份系统。最后通过实验,对改进后的方案系统与传统备份方案备份文件所占空间、时间等参数进行了对比。 展开更多
关键词 备份 重复数据删除技术 hdfs 云存储
在线阅读 下载PDF
Hadoop分布式文件系统的模型分析 被引量:22
6
作者 王峰 雷葆华 《电信科学》 北大核心 2010年第12期95-99,共5页
Hadoop分布式文件系统是遵循Google文件系统原理进行开发和实现的,受到了业界极大关注,并已被广泛应用。鉴于当前缺乏从系统设计理论的角度对其开展的相关研究,本文从Hadoop分布式文件系统架构的建模入手,通过对模型各组成部分进行分析... Hadoop分布式文件系统是遵循Google文件系统原理进行开发和实现的,受到了业界极大关注,并已被广泛应用。鉴于当前缺乏从系统设计理论的角度对其开展的相关研究,本文从Hadoop分布式文件系统架构的建模入手,通过对模型各组成部分进行分析,并将其与传统的分布式文件系统进行比较,总结出Hadoop分布式文件系统具有的海量、高可扩展性、高可靠性、高性能等面向云计算领域应用的重要特征。本文有助于研究者系统、深入地研究Hadoop分布式文件系统的设计与实现,并为云计算背景下的分布式文件系统设计提供重要的参考。 展开更多
关键词 HADOOP分布式文件系统 系统模型 云计算
在线阅读 下载PDF
海量下的分布式文件系统测试平台设计与实现 被引量:1
7
作者 温东新 王雪娇 +3 位作者 张展 钱军 张中兆 崔忠强 《哈尔滨工业大学学报》 EI CAS CSCD 北大核心 2012年第11期55-58,共4页
为了对海量存储中的分布式文件系统的容错能力进行测试,设计并实现了基于海量存储下的自动化分布式文件系统测试平台,采用从服务层和目录文件层进行故障注入的技术,其中包括服务器失效和目录文件操作失败等多种故障.该平台集成了注入故... 为了对海量存储中的分布式文件系统的容错能力进行测试,设计并实现了基于海量存储下的自动化分布式文件系统测试平台,采用从服务层和目录文件层进行故障注入的技术,其中包括服务器失效和目录文件操作失败等多种故障.该平台集成了注入故障工具、系统监测工具和工作负载工具,工作人员可通过平台的主控端进行评测.通过实验数据表明,该测试平台能够有效评测不同文件系统的容错性能,并对不同存储系统的各项技术指标进行比较. 展开更多
关键词 存储系统 分布式文件系统 故障注入 容错测试
在线阅读 下载PDF
云计算中的分布式文件系统 被引量:1
8
作者 郎为民 杨德鹏 《电信快报(网络与通信)》 2012年第2期3-6,24,共5页
云计算是一种基于互联网提供服务的业务模式,它能够实现IT基础设施的资源化和服务化,用户可以按需进行定制和付费,从而彻底改变了传统IT基础设施的提供和支付方式,有效解决了无限增长的海量信息存储和计算问题。文章给出了云计算分布式... 云计算是一种基于互联网提供服务的业务模式,它能够实现IT基础设施的资源化和服务化,用户可以按需进行定制和付费,从而彻底改变了传统IT基础设施的提供和支付方式,有效解决了无限增长的海量信息存储和计算问题。文章给出了云计算分布式文件系统的主要类型,分析了Google文件系统(GFS)和Hadoop分布式文件系统(HDFS)的演进情况。最后,详细描述了分布式文件系统的工作原理。 展开更多
关键词 云计算 分布式文件系统 Google文件系统(GFS) Hadoop分布式文件系统(hdfs)
在线阅读 下载PDF
分布式文件系统的文件访问处理、安全访问方法及装置 被引量:6
9
作者 刘勇 陆小慧 《广东通信技术》 2018年第3期69-75,共7页
本文研究并提供了一种分布式文件系统的文件访问处理、安全访问方法及装置。其中访问处理方法包括:获取对分布式文件系统内部文件中待加密的文件信息;对文件信息指示的文件和文件所属目录中至少之一所对应的访问过程进行加密,和/或对所... 本文研究并提供了一种分布式文件系统的文件访问处理、安全访问方法及装置。其中访问处理方法包括:获取对分布式文件系统内部文件中待加密的文件信息;对文件信息指示的文件和文件所属目录中至少之一所对应的访问过程进行加密,和/或对所述文件信息指示的文件本身进行加密。采用本文提供的上述技术方案,解决了已有技术中,分布式文件系统中因无鉴权机制导致文件访问存在安全隐患等技术问题,从而增强了分布式文件系统中文件访问的安全性。 展开更多
关键词 分布式文件系统 访问处理 访问加密 hdfs
在线阅读 下载PDF
Cumulus:一个基于网络编码的分布式文件系统 被引量:1
10
作者 陈运海 陈正亮 +1 位作者 王钦辉 叶保留 《微电子学与计算机》 CSCD 北大核心 2012年第9期74-78,共5页
基于网络编码在并发式数据传输时能够有效地降低网络负载的优越性,应用网络编码优化分布式文件系统的容错问题得到了广泛的关注.为了研究网络编码在分布式文件系统中的应用及其在降低网络负载的有效性,文中基于开源的Hadoop项目设计并... 基于网络编码在并发式数据传输时能够有效地降低网络负载的优越性,应用网络编码优化分布式文件系统的容错问题得到了广泛的关注.为了研究网络编码在分布式文件系统中的应用及其在降低网络负载的有效性,文中基于开源的Hadoop项目设计并实现了面向网络编码的分布式文件系统.该系统通过对存储文件进行切分,然后将这些文件切片进行编码存储,能够以更小的冗余开销获得更好的容错性能,同时,能够利用网络编码的性能提高网络资源利用率. 展开更多
关键词 网络编码 分布式文件系统 冗余容错 HADOOP 网络资源利用率
在线阅读 下载PDF
大规模分布式文件系统元数据管理综述 被引量:2
11
作者 王洋 刘星 +5 位作者 须成忠 江松 王刚 文韬 范小朋 陆平 《集成技术》 2016年第2期57-72,共16页
文件系统的元数据主要是用来描述它的命名空间,访问权限和数据定位等信息的数据。由于50%-80%的文件系统访问要涉及到元数据,元数据服务的性能将极大地影响整个分布式文件系统的性能。为此,文章重点讨论元数据管理面临的问题,从元数据... 文件系统的元数据主要是用来描述它的命名空间,访问权限和数据定位等信息的数据。由于50%-80%的文件系统访问要涉及到元数据,元数据服务的性能将极大地影响整个分布式文件系统的性能。为此,文章重点讨论元数据管理面临的问题,从元数据服务的高可扩展技术、高性能技术和高可用技术三个主要方向进行综述,重点分析了各自的主要问题以及目前发展起来的一些主流技术,同时对未来分布式文件系统的元数据管理一些值得关注的问题进行了梳理和展望,为相关研究提供一定的参考。 展开更多
关键词 元数据 分布式文件系统 工作负载 高可扩展 高性能 高可用
在线阅读 下载PDF
中小规模分布式文件系统集群构架的优化方案 被引量:2
12
作者 白俊 王新 耿昕 《武汉工程大学学报》 CAS 2014年第1期69-73,共5页
针对分布式文件系统的应用存在处理小文件效率不高的问题,提出一种适用于中小规模分布式文件系统集群的应用架构,将传统分布式文件系统集群中的内网划分为两个子网:对外子网和对内子网,对外子网中传输与外网之间的交互数据,对内子网中... 针对分布式文件系统的应用存在处理小文件效率不高的问题,提出一种适用于中小规模分布式文件系统集群的应用架构,将传统分布式文件系统集群中的内网划分为两个子网:对外子网和对内子网,对外子网中传输与外网之间的交互数据,对内子网中传输分布件系统集群的管理数据。每个数据结点同时与对外和对内两个子网连接,并代替名称节点负责与外网直接的数据交流;名称节点本身只与对内子网连接。对外子网与外网之间使用防火墙设备加强安全性,并使用负载均衡设备将来自外网的数据请求合理的分配到每个数据节点上;增加了缓存机制对系统处理小文件操作进行优化,部署实验环境,设计一个测试程序对缓存效率测试,对1000个100KB的文件,通过模拟多线程连续读取大量文件来测试缓存的性能,实验证明系统设计方案可行,增加磁盘缓存有利于提高系统处理小文件的存取效率,系统优化效果显著. 展开更多
关键词 缓存 中小规模分布式文件系统 管理数据
在线阅读 下载PDF
基于KFS分布式文件系统元数据模型的改进
13
作者 李媛媛 赵慧敏 +2 位作者 肖鹏 王海文 尹艳辉 《大连交通大学学报》 CAS 2014年第4期97-101,共5页
研究了云计算环境下的分布式文件系统KFS的系统架构,对于海量数据存储的云存储系统来说元数据管理效率是关键,通过分析KFS文件系统的元数据模型,提出了基于KFS分布式文件系统元数据的改进模型,即利用内存缓冲策略,对待插入的元数据进行... 研究了云计算环境下的分布式文件系统KFS的系统架构,对于海量数据存储的云存储系统来说元数据管理效率是关键,通过分析KFS文件系统的元数据模型,提出了基于KFS分布式文件系统元数据的改进模型,即利用内存缓冲策略,对待插入的元数据进行预处理并批量插入,减少查找和分裂次数,大大提高了KFS文件系统的数据访问效率.最后通过算法复杂度的分析,证明该改进算法能有效提高分布式文件系统KFS的元数据服务器的效率.同时该改进模型对于采用B+树索引机制来集中管理元数据的类似系统同样适用. 展开更多
关键词 云计算 KFS 元数据 B^+树 分布式文件系统
在线阅读 下载PDF
分布式文件系统Lustre的研究
14
作者 梁军 谢文君 《信息技术》 2014年第4期52-54,59,共4页
随着高性能技术的不断发展,传统存储系统在可扩展性、可用性和性能上已不再满足高性能计算的I/O要求,分布式文件系统Lustre可以有效地解决这些问题。探讨了分布式文件系统和Lustre体系结构,通过实验在普通PC机群上搭建了Lustre文件系统... 随着高性能技术的不断发展,传统存储系统在可扩展性、可用性和性能上已不再满足高性能计算的I/O要求,分布式文件系统Lustre可以有效地解决这些问题。探讨了分布式文件系统和Lustre体系结构,通过实验在普通PC机群上搭建了Lustre文件系统,并对机群I/O性能进行了测试。 展开更多
关键词 LUSTRE 分布式文件系统 对象存储 测试
在线阅读 下载PDF
应用级分布式文件系统接口标准化探索
15
作者 陈文捷 蔡立志 +2 位作者 楼志斌 王洁萍 李海波 《信息技术与标准化》 2012年第10期28-32,共5页
回顾了分布式文件系统的发展,分析了已有标准和分布式文件系统的通用体系架构,从接口类型、数据操作接口、管理接口等方面对主流的分布式文件系统的应用接口的特点与异同进行比较,结果表明分布式文件系统的标准化研究是必要的和可行的。
关键词 文件系统 分布式文件系统 体系结构 应用接口 标准化
在线阅读 下载PDF
基于Hadoop分布式文件系统的地震勘探大数据样本采集及存储优化 被引量:13
16
作者 杨河山 张世明 +2 位作者 曹小朋 李春雷 姜兴兴 《油气地质与采收率》 CAS CSCD 北大核心 2022年第1期121-127,共7页
随着油气勘探开发智能化应用越来越成熟、应用场景越来越丰富,大规模应用日益临近,样本的分布式存储、高效采集及并行计算已成为油气勘探开发智能化应用的迫切需求。地震勘探的智能化是油气勘探开发智能化的重要组成部分。针对地震勘探... 随着油气勘探开发智能化应用越来越成熟、应用场景越来越丰富,大规模应用日益临近,样本的分布式存储、高效采集及并行计算已成为油气勘探开发智能化应用的迫切需求。地震勘探的智能化是油气勘探开发智能化的重要组成部分。针对地震勘探数据具有的单一文件数据量大、非结构化的特点,在分析地震勘探大数据样本采集需求的基础上,提出基于Hadoop分布式文件系统(HDFS)的大文件分割和合并的解决方案,并对地震勘探数据生成3个不同维度的冗余存储,以提升地震勘探样本的采集效率。测试结果表明,基于HDFS的三倍冗余存储方案在数据量迅速增大的情况下,可以有效地提高地震勘探大数据样本的采集效率,从而满足地震勘探智能化应用需求。 展开更多
关键词 hdfs 地震勘探 大数据 样本采集 存储优化
在线阅读 下载PDF
CorsairFS:一种面向校园网的分布式文件系统 被引量:8
17
作者 刘立坤 武永卫 +1 位作者 徐鹏志 杨广文 《西安交通大学学报》 EI CAS CSCD 北大核心 2009年第8期43-47,共5页
描述了CorsairFS——一种针对校园网和企业内部网设计的专用分布式文件系统.通过采用可扩展的架构、分块存储方式和基于注册、汇报的自组织机制,系统在满足性能和吞吐量指标的前提下,具有更好的可扩展性和可管理性,能够提供同一数据的... 描述了CorsairFS——一种针对校园网和企业内部网设计的专用分布式文件系统.通过采用可扩展的架构、分块存储方式和基于注册、汇报的自组织机制,系统在满足性能和吞吐量指标的前提下,具有更好的可扩展性和可管理性,能够提供同一数据的多种不同视图,允许在不移动数据的情况下对目录结构进行重构.系统针对大量用户的数据共享和存储的工作负载进行了优化,能有效地处理大量小文件的并发访问,并通过实验说明其能够更有效地利用存储空间,提供更好的数据传输性能,特别是面对大量小文件的情况. 展开更多
关键词 分布式文件系统 可管理性 文件 校园网
在线阅读 下载PDF
几个常见分布式文件系统特征分析和性能对比(英文) 被引量:4
18
作者 熊文 喻之斌 须成忠 《集成技术》 2012年第4期58-63,共6页
近年来随着云计算市场规模不断增长,作为云计算平台基础设施的云存储系统也随之显得越来越重要。数以万计的互联网应用已经运行于云计算环境,同时大量不同的应用也即将从传统运行环境转移到云计算平台。不同的互联网应用的存储需求可能... 近年来随着云计算市场规模不断增长,作为云计算平台基础设施的云存储系统也随之显得越来越重要。数以万计的互联网应用已经运行于云计算环境,同时大量不同的应用也即将从传统运行环境转移到云计算平台。不同的互联网应用的存储需求可能不一样。例如:应用中涉及的单个文件大小,文件数量,IO访问模式,读写比率等,都对底层存储系统提出了不同的要求。这说明在云计算环境中,单个文件系统可能无法满足全部应用的存储需求,本文尝试通过在单一云计算平台中部署多个不同分布式文件系统来优化存储系统的总体性能。为了优化混合式文件系统的性能,首先需要分析不同文件系统的性能特征。本文通过量化方法分析了云计算环境下几个常用的分布式文件系统,这些文件系统分别是ceph,moosefs,glusterfs和hdfs。实验结果显示:即使针对同一文件的相同读写操作,不同分布式文件系统之间的性能也差异显著,当单个文件的大小小于256MB时,moosefs的平均写性能比其它几个文件系统高22.3%;当单个文件大小大于256KB时,glusterfs的平均读性能比其它几个文件系统高21.0%。这些结果为设计和实现一个基于以上几个分布式文件系统的混合式文件系统提供了基础。 展开更多
关键词 分布式文件系统 性能测量 基准测试程序
在线阅读 下载PDF
具有副本透明性的分布式文件系统模型的讨论 被引量:2
19
作者 陈晓宇 苏中义 《华东交通大学学报》 2000年第1期51-55,共5页
在所有典型的分布式文件系统中 ,很多时侯一个文件都有备份 ,也可称为副本 ,副本 (冗余 )是分布式系统的一大特色 ,一些问题 ,诸如文件内容的一致性 ,副本如何管理等都是需要解决的 .本文提出一种完全独特的方法 ,一种基于不同的文件视... 在所有典型的分布式文件系统中 ,很多时侯一个文件都有备份 ,也可称为副本 ,副本 (冗余 )是分布式系统的一大特色 ,一些问题 ,诸如文件内容的一致性 ,副本如何管理等都是需要解决的 .本文提出一种完全独特的方法 ,一种基于不同的文件视图的方法 ,同时操作系统透明地管理文件副本 ,并且实现文件内容一致性 。 展开更多
关键词 副本 原件 分布式文件系统 文件服务
在线阅读 下载PDF
分布式文件系统简要对比与分析 被引量:1
20
作者 江俊彦 宗丹 林锐 《内燃机与配件》 2018年第1期200-201,共2页
自20世纪以来,随着不同类型的大规模数据分析的驱动,比如用户行为分析、搜索引擎和推荐系统,大规模数据的存储和处理的需求急剧增长。本文分别对比了5种典型的分布式文件系统,介绍了其基本架构、数据分布和查询处理流程,然后对这些系统... 自20世纪以来,随着不同类型的大规模数据分析的驱动,比如用户行为分析、搜索引擎和推荐系统,大规模数据的存储和处理的需求急剧增长。本文分别对比了5种典型的分布式文件系统,介绍了其基本架构、数据分布和查询处理流程,然后对这些系统的优缺点进行了分析,最后给出了在不同场景下如何对分布式文件系统进行选择的建议,并对未来分布式文件系统的发展进行了展望。 展开更多
关键词 分布式文件系统 hdfs Ceph MooseFS GlusterFS LustreFS
在线阅读 下载PDF
上一页 1 2 15 下一页 到第
使用帮助 返回顶部