期刊文献+
共找到797篇文章
< 1 2 40 >
每页显示 20 50 100
分布式文件系统在客舱娱乐系统的应用研究
1
作者 伍兴艳 陈廷树 《长江信息通信》 2025年第3期11-14,共4页
对民用飞机客舱娱乐系统的组成、网络架构和业务需求进行了分析,总结了当前客舱娱乐系统在音视频点播业务上存在的问题,同时分析了分布式文件系统的优势。分布式文件系统以其强大的计算能力和灵活的资源分配方式,可为客舱音视频点播业... 对民用飞机客舱娱乐系统的组成、网络架构和业务需求进行了分析,总结了当前客舱娱乐系统在音视频点播业务上存在的问题,同时分析了分布式文件系统的优势。分布式文件系统以其强大的计算能力和灵活的资源分配方式,可为客舱音视频点播业务提供新的解决方案。文章选用了典型的分布式文件系统在客舱娱乐系统环境下进行部署和验证,论证了分布式文件系统可解决民机客舱音视频点播系统的存储、带宽和计算的需求,对分布式文件系统在民机客舱娱乐系统的应用具有一定的参考意义。 展开更多
关键词 客舱娱乐系统 音视频点播 网络架构 分布式文件系统
在线阅读 下载PDF
分布式文件系统与MPP数据库的混搭架构在电信大数据平台中的应用 被引量:20
2
作者 张雨 蔡鑫 +2 位作者 李爱民 刘翼 姚晓辉 《电信科学》 北大核心 2013年第11期12-16,共5页
通过对分布式文件系统和MPP数据库这两种大数据技术领域重要方向的研究比较,提出了采用混搭架构进行大数据平台架构规划和设计的思路和实现方法,并在具体项目中进行了实际验证。该架构能够兼具两种技术的优点,适应不同场景的大数据存储... 通过对分布式文件系统和MPP数据库这两种大数据技术领域重要方向的研究比较,提出了采用混搭架构进行大数据平台架构规划和设计的思路和实现方法,并在具体项目中进行了实际验证。该架构能够兼具两种技术的优点,适应不同场景的大数据存储和处理要求。 展开更多
关键词 分布式文件系统 MPP数据库 混搭架构
在线阅读 下载PDF
Hadoop分布式文件系统的模型分析 被引量:22
3
作者 王峰 雷葆华 《电信科学》 北大核心 2010年第12期95-99,共5页
Hadoop分布式文件系统是遵循Google文件系统原理进行开发和实现的,受到了业界极大关注,并已被广泛应用。鉴于当前缺乏从系统设计理论的角度对其开展的相关研究,本文从Hadoop分布式文件系统架构的建模入手,通过对模型各组成部分进行分析... Hadoop分布式文件系统是遵循Google文件系统原理进行开发和实现的,受到了业界极大关注,并已被广泛应用。鉴于当前缺乏从系统设计理论的角度对其开展的相关研究,本文从Hadoop分布式文件系统架构的建模入手,通过对模型各组成部分进行分析,并将其与传统的分布式文件系统进行比较,总结出Hadoop分布式文件系统具有的海量、高可扩展性、高可靠性、高性能等面向云计算领域应用的重要特征。本文有助于研究者系统、深入地研究Hadoop分布式文件系统的设计与实现,并为云计算背景下的分布式文件系统设计提供重要的参考。 展开更多
关键词 HADOOP分布式文件系统 系统模型 云计算
在线阅读 下载PDF
面向搜索引擎的分布式文件系统性能分析 被引量:12
4
作者 董守斌 赵铁柱 《华南理工大学学报(自然科学版)》 EI CAS CSCD 北大核心 2011年第4期7-14,共8页
搜索引擎是一种数据密集型应用,其性能极大依赖于底层文件系统的性能.文中主要讨论分布式文件系统在搜索引擎应用环境下的性能评估和性能优化问题.首先概述了分布式文件系统的性能影响因素及相关研究进展;在此基础上提出基于Hadoop的开... 搜索引擎是一种数据密集型应用,其性能极大依赖于底层文件系统的性能.文中主要讨论分布式文件系统在搜索引擎应用环境下的性能评估和性能优化问题.首先概述了分布式文件系统的性能影响因素及相关研究进展;在此基础上提出基于Hadoop的开放架构,系统地评估HDFS和Lustre在搜索引擎应用场景下的性能;最后针对实验评估发现的HDFS在写性能及小文件数据处理方面的不足,提出改进方案,为搜索引擎的分布式文件系统优化提供参考. 展开更多
关键词 搜索引擎 分布式文件系统 HDFS文件系统 LUSTRE文件系统 性能分析 性能优化
在线阅读 下载PDF
海量下的分布式文件系统测试平台设计与实现 被引量:1
5
作者 温东新 王雪娇 +3 位作者 张展 钱军 张中兆 崔忠强 《哈尔滨工业大学学报》 EI CAS CSCD 北大核心 2012年第11期55-58,共4页
为了对海量存储中的分布式文件系统的容错能力进行测试,设计并实现了基于海量存储下的自动化分布式文件系统测试平台,采用从服务层和目录文件层进行故障注入的技术,其中包括服务器失效和目录文件操作失败等多种故障.该平台集成了注入故... 为了对海量存储中的分布式文件系统的容错能力进行测试,设计并实现了基于海量存储下的自动化分布式文件系统测试平台,采用从服务层和目录文件层进行故障注入的技术,其中包括服务器失效和目录文件操作失败等多种故障.该平台集成了注入故障工具、系统监测工具和工作负载工具,工作人员可通过平台的主控端进行评测.通过实验数据表明,该测试平台能够有效评测不同文件系统的容错性能,并对不同存储系统的各项技术指标进行比较. 展开更多
关键词 存储系统 分布式文件系统 故障注入 容错测试
在线阅读 下载PDF
Cumulus:一个基于网络编码的分布式文件系统 被引量:1
6
作者 陈运海 陈正亮 +1 位作者 王钦辉 叶保留 《微电子学与计算机》 CSCD 北大核心 2012年第9期74-78,共5页
基于网络编码在并发式数据传输时能够有效地降低网络负载的优越性,应用网络编码优化分布式文件系统的容错问题得到了广泛的关注.为了研究网络编码在分布式文件系统中的应用及其在降低网络负载的有效性,文中基于开源的Hadoop项目设计并... 基于网络编码在并发式数据传输时能够有效地降低网络负载的优越性,应用网络编码优化分布式文件系统的容错问题得到了广泛的关注.为了研究网络编码在分布式文件系统中的应用及其在降低网络负载的有效性,文中基于开源的Hadoop项目设计并实现了面向网络编码的分布式文件系统.该系统通过对存储文件进行切分,然后将这些文件切片进行编码存储,能够以更小的冗余开销获得更好的容错性能,同时,能够利用网络编码的性能提高网络资源利用率. 展开更多
关键词 网络编码 分布式文件系统 冗余容错 HADOOP 网络资源利用率
在线阅读 下载PDF
大规模分布式文件系统元数据管理综述 被引量:2
7
作者 王洋 刘星 +5 位作者 须成忠 江松 王刚 文韬 范小朋 陆平 《集成技术》 2016年第2期57-72,共16页
文件系统的元数据主要是用来描述它的命名空间,访问权限和数据定位等信息的数据。由于50%-80%的文件系统访问要涉及到元数据,元数据服务的性能将极大地影响整个分布式文件系统的性能。为此,文章重点讨论元数据管理面临的问题,从元数据... 文件系统的元数据主要是用来描述它的命名空间,访问权限和数据定位等信息的数据。由于50%-80%的文件系统访问要涉及到元数据,元数据服务的性能将极大地影响整个分布式文件系统的性能。为此,文章重点讨论元数据管理面临的问题,从元数据服务的高可扩展技术、高性能技术和高可用技术三个主要方向进行综述,重点分析了各自的主要问题以及目前发展起来的一些主流技术,同时对未来分布式文件系统的元数据管理一些值得关注的问题进行了梳理和展望,为相关研究提供一定的参考。 展开更多
关键词 元数据 分布式文件系统 工作负载 高可扩展 高性能 高可用
在线阅读 下载PDF
中小规模分布式文件系统集群构架的优化方案 被引量:2
8
作者 白俊 王新 耿昕 《武汉工程大学学报》 CAS 2014年第1期69-73,共5页
针对分布式文件系统的应用存在处理小文件效率不高的问题,提出一种适用于中小规模分布式文件系统集群的应用架构,将传统分布式文件系统集群中的内网划分为两个子网:对外子网和对内子网,对外子网中传输与外网之间的交互数据,对内子网中... 针对分布式文件系统的应用存在处理小文件效率不高的问题,提出一种适用于中小规模分布式文件系统集群的应用架构,将传统分布式文件系统集群中的内网划分为两个子网:对外子网和对内子网,对外子网中传输与外网之间的交互数据,对内子网中传输分布件系统集群的管理数据。每个数据结点同时与对外和对内两个子网连接,并代替名称节点负责与外网直接的数据交流;名称节点本身只与对内子网连接。对外子网与外网之间使用防火墙设备加强安全性,并使用负载均衡设备将来自外网的数据请求合理的分配到每个数据节点上;增加了缓存机制对系统处理小文件操作进行优化,部署实验环境,设计一个测试程序对缓存效率测试,对1000个100KB的文件,通过模拟多线程连续读取大量文件来测试缓存的性能,实验证明系统设计方案可行,增加磁盘缓存有利于提高系统处理小文件的存取效率,系统优化效果显著. 展开更多
关键词 缓存 中小规模分布式文件系统 管理数据
在线阅读 下载PDF
云计算中的分布式文件系统 被引量:1
9
作者 郎为民 杨德鹏 《电信快报(网络与通信)》 2012年第2期3-6,24,共5页
云计算是一种基于互联网提供服务的业务模式,它能够实现IT基础设施的资源化和服务化,用户可以按需进行定制和付费,从而彻底改变了传统IT基础设施的提供和支付方式,有效解决了无限增长的海量信息存储和计算问题。文章给出了云计算分布式... 云计算是一种基于互联网提供服务的业务模式,它能够实现IT基础设施的资源化和服务化,用户可以按需进行定制和付费,从而彻底改变了传统IT基础设施的提供和支付方式,有效解决了无限增长的海量信息存储和计算问题。文章给出了云计算分布式文件系统的主要类型,分析了Google文件系统(GFS)和Hadoop分布式文件系统(HDFS)的演进情况。最后,详细描述了分布式文件系统的工作原理。 展开更多
关键词 云计算 分布式文件系统 Google文件系统(gfs) Hadoop分布式文件系统(HDFS)
在线阅读 下载PDF
分布式文件系统的文件访问处理、安全访问方法及装置 被引量:6
10
作者 刘勇 陆小慧 《广东通信技术》 2018年第3期69-75,共7页
本文研究并提供了一种分布式文件系统的文件访问处理、安全访问方法及装置。其中访问处理方法包括:获取对分布式文件系统内部文件中待加密的文件信息;对文件信息指示的文件和文件所属目录中至少之一所对应的访问过程进行加密,和/或对所... 本文研究并提供了一种分布式文件系统的文件访问处理、安全访问方法及装置。其中访问处理方法包括:获取对分布式文件系统内部文件中待加密的文件信息;对文件信息指示的文件和文件所属目录中至少之一所对应的访问过程进行加密,和/或对所述文件信息指示的文件本身进行加密。采用本文提供的上述技术方案,解决了已有技术中,分布式文件系统中因无鉴权机制导致文件访问存在安全隐患等技术问题,从而增强了分布式文件系统中文件访问的安全性。 展开更多
关键词 分布式文件系统 访问处理 访问加密 HDFS
在线阅读 下载PDF
基于KFS分布式文件系统元数据模型的改进
11
作者 李媛媛 赵慧敏 +2 位作者 肖鹏 王海文 尹艳辉 《大连交通大学学报》 CAS 2014年第4期97-101,共5页
研究了云计算环境下的分布式文件系统KFS的系统架构,对于海量数据存储的云存储系统来说元数据管理效率是关键,通过分析KFS文件系统的元数据模型,提出了基于KFS分布式文件系统元数据的改进模型,即利用内存缓冲策略,对待插入的元数据进行... 研究了云计算环境下的分布式文件系统KFS的系统架构,对于海量数据存储的云存储系统来说元数据管理效率是关键,通过分析KFS文件系统的元数据模型,提出了基于KFS分布式文件系统元数据的改进模型,即利用内存缓冲策略,对待插入的元数据进行预处理并批量插入,减少查找和分裂次数,大大提高了KFS文件系统的数据访问效率.最后通过算法复杂度的分析,证明该改进算法能有效提高分布式文件系统KFS的元数据服务器的效率.同时该改进模型对于采用B+树索引机制来集中管理元数据的类似系统同样适用. 展开更多
关键词 云计算 KFS 元数据 B^+树 分布式文件系统
在线阅读 下载PDF
分布式文件系统Lustre的研究
12
作者 梁军 谢文君 《信息技术》 2014年第4期52-54,59,共4页
随着高性能技术的不断发展,传统存储系统在可扩展性、可用性和性能上已不再满足高性能计算的I/O要求,分布式文件系统Lustre可以有效地解决这些问题。探讨了分布式文件系统和Lustre体系结构,通过实验在普通PC机群上搭建了Lustre文件系统... 随着高性能技术的不断发展,传统存储系统在可扩展性、可用性和性能上已不再满足高性能计算的I/O要求,分布式文件系统Lustre可以有效地解决这些问题。探讨了分布式文件系统和Lustre体系结构,通过实验在普通PC机群上搭建了Lustre文件系统,并对机群I/O性能进行了测试。 展开更多
关键词 LUSTRE 分布式文件系统 对象存储 测试
在线阅读 下载PDF
应用级分布式文件系统接口标准化探索
13
作者 陈文捷 蔡立志 +2 位作者 楼志斌 王洁萍 李海波 《信息技术与标准化》 2012年第10期28-32,共5页
回顾了分布式文件系统的发展,分析了已有标准和分布式文件系统的通用体系架构,从接口类型、数据操作接口、管理接口等方面对主流的分布式文件系统的应用接口的特点与异同进行比较,结果表明分布式文件系统的标准化研究是必要的和可行的。
关键词 文件系统 分布式文件系统 体系结构 应用接口 标准化
在线阅读 下载PDF
CorsairFS:一种面向校园网的分布式文件系统 被引量:8
14
作者 刘立坤 武永卫 +1 位作者 徐鹏志 杨广文 《西安交通大学学报》 EI CAS CSCD 北大核心 2009年第8期43-47,共5页
描述了CorsairFS——一种针对校园网和企业内部网设计的专用分布式文件系统.通过采用可扩展的架构、分块存储方式和基于注册、汇报的自组织机制,系统在满足性能和吞吐量指标的前提下,具有更好的可扩展性和可管理性,能够提供同一数据的... 描述了CorsairFS——一种针对校园网和企业内部网设计的专用分布式文件系统.通过采用可扩展的架构、分块存储方式和基于注册、汇报的自组织机制,系统在满足性能和吞吐量指标的前提下,具有更好的可扩展性和可管理性,能够提供同一数据的多种不同视图,允许在不移动数据的情况下对目录结构进行重构.系统针对大量用户的数据共享和存储的工作负载进行了优化,能有效地处理大量小文件的并发访问,并通过实验说明其能够更有效地利用存储空间,提供更好的数据传输性能,特别是面对大量小文件的情况. 展开更多
关键词 分布式文件系统 可管理性 文件 校园网
在线阅读 下载PDF
几个常见分布式文件系统特征分析和性能对比(英文) 被引量:4
15
作者 熊文 喻之斌 须成忠 《集成技术》 2012年第4期58-63,共6页
近年来随着云计算市场规模不断增长,作为云计算平台基础设施的云存储系统也随之显得越来越重要。数以万计的互联网应用已经运行于云计算环境,同时大量不同的应用也即将从传统运行环境转移到云计算平台。不同的互联网应用的存储需求可能... 近年来随着云计算市场规模不断增长,作为云计算平台基础设施的云存储系统也随之显得越来越重要。数以万计的互联网应用已经运行于云计算环境,同时大量不同的应用也即将从传统运行环境转移到云计算平台。不同的互联网应用的存储需求可能不一样。例如:应用中涉及的单个文件大小,文件数量,IO访问模式,读写比率等,都对底层存储系统提出了不同的要求。这说明在云计算环境中,单个文件系统可能无法满足全部应用的存储需求,本文尝试通过在单一云计算平台中部署多个不同分布式文件系统来优化存储系统的总体性能。为了优化混合式文件系统的性能,首先需要分析不同文件系统的性能特征。本文通过量化方法分析了云计算环境下几个常用的分布式文件系统,这些文件系统分别是ceph,moosefs,glusterfs和hdfs。实验结果显示:即使针对同一文件的相同读写操作,不同分布式文件系统之间的性能也差异显著,当单个文件的大小小于256MB时,moosefs的平均写性能比其它几个文件系统高22.3%;当单个文件大小大于256KB时,glusterfs的平均读性能比其它几个文件系统高21.0%。这些结果为设计和实现一个基于以上几个分布式文件系统的混合式文件系统提供了基础。 展开更多
关键词 分布式文件系统 性能测量 基准测试程序
在线阅读 下载PDF
具有副本透明性的分布式文件系统模型的讨论 被引量:2
16
作者 陈晓宇 苏中义 《华东交通大学学报》 2000年第1期51-55,共5页
在所有典型的分布式文件系统中 ,很多时侯一个文件都有备份 ,也可称为副本 ,副本 (冗余 )是分布式系统的一大特色 ,一些问题 ,诸如文件内容的一致性 ,副本如何管理等都是需要解决的 .本文提出一种完全独特的方法 ,一种基于不同的文件视... 在所有典型的分布式文件系统中 ,很多时侯一个文件都有备份 ,也可称为副本 ,副本 (冗余 )是分布式系统的一大特色 ,一些问题 ,诸如文件内容的一致性 ,副本如何管理等都是需要解决的 .本文提出一种完全独特的方法 ,一种基于不同的文件视图的方法 ,同时操作系统透明地管理文件副本 ,并且实现文件内容一致性 。 展开更多
关键词 副本 原件 分布式文件系统 文件服务
在线阅读 下载PDF
基于分片、松耦合的分布式文件系统的设计与实现
17
作者 华清 黄林鹏 《微电子学与计算机》 CSCD 北大核心 2006年第10期222-224,共3页
文章介绍为CGSP*(ChinaGridSupportPlatform)度身定制的一个基于分片的、松耦合的分布式文件系统。与现存的分布式文件系统相比,本系统有以下特点:(1)将资源层与管理层完全分离;(2)基于分片而不是整个文件进行管理;(3)数据资源和用户虚... 文章介绍为CGSP*(ChinaGridSupportPlatform)度身定制的一个基于分片的、松耦合的分布式文件系统。与现存的分布式文件系统相比,本系统有以下特点:(1)将资源层与管理层完全分离;(2)基于分片而不是整个文件进行管理;(3)数据资源和用户虚拟空间都纳入WSRF框架。以上几点都是针对网格海量数据密集型应用而设计的。 展开更多
关键词 CGSP分片 分布式文件系统 WSRF 网格
在线阅读 下载PDF
分布式文件系统简要对比与分析 被引量:1
18
作者 江俊彦 宗丹 林锐 《内燃机与配件》 2018年第1期200-201,共2页
自20世纪以来,随着不同类型的大规模数据分析的驱动,比如用户行为分析、搜索引擎和推荐系统,大规模数据的存储和处理的需求急剧增长。本文分别对比了5种典型的分布式文件系统,介绍了其基本架构、数据分布和查询处理流程,然后对这些系统... 自20世纪以来,随着不同类型的大规模数据分析的驱动,比如用户行为分析、搜索引擎和推荐系统,大规模数据的存储和处理的需求急剧增长。本文分别对比了5种典型的分布式文件系统,介绍了其基本架构、数据分布和查询处理流程,然后对这些系统的优缺点进行了分析,最后给出了在不同场景下如何对分布式文件系统进行选择的建议,并对未来分布式文件系统的发展进行了展望。 展开更多
关键词 分布式文件系统 HDFS Ceph MooseFS GlusterFS LustreFS
在线阅读 下载PDF
基于分布式文件系统的即插即用方法研究
19
作者 田晓波 徐欣 《现代电子技术》 2010年第2期57-59,64,共4页
按照地球剖分理论,地球表面经过剖分后,单个剖分面片将对应所属的地理信息数据载体。在实际应用中需要动态调度不同面片的数据,与之对应的存储载体频繁接入、退出系统。分布式文件系统是目前海量数据存储的首要解决方案,但尚未广泛应用... 按照地球剖分理论,地球表面经过剖分后,单个剖分面片将对应所属的地理信息数据载体。在实际应用中需要动态调度不同面片的数据,与之对应的存储载体频繁接入、退出系统。分布式文件系统是目前海量数据存储的首要解决方案,但尚未广泛应用到全球地理信息系统中。以分布式文件系统理论为基础,通过物理、协议、应用三个层次的分析,提出包括网络环境即插即用、网络资源搜索技术以及全球多维GIS数据模型设计等在内的关键技术,以实现全球地理信息系统中存储设备灵活接入和移出存储集群,为全球地理信息系统的存储资源管理提供积极的思路与方法。 展开更多
关键词 分布式文件系统 全球地理信息系统 即插即用技术 资源动态调度
在线阅读 下载PDF
分布式个人文件系统的设计与实现 被引量:3
20
作者 何兴高 张凤荔 +2 位作者 黄远军 秦志光 周明天 《电子科技大学学报》 EI CAS CSCD 北大核心 2005年第4期521-524,共4页
提出了一种基于E-mail系统的分布式文件系统——EMDFS,给出了扩展的STMP协议(ESTMP)的状态转换方式和定义,在此基础上研究了利用ESMTP来构建分布式个人文件系统的方法和模型,设计了EMDFS的模型、内外存的结构、I/O操作、用户接口以及EM... 提出了一种基于E-mail系统的分布式文件系统——EMDFS,给出了扩展的STMP协议(ESTMP)的状态转换方式和定义,在此基础上研究了利用ESMTP来构建分布式个人文件系统的方法和模型,设计了EMDFS的模型、内外存的结构、I/O操作、用户接口以及EMDFS的各种功能。 展开更多
关键词 简单邮件传输协议 互联网消息存取协议4 个人网络存储 分布式文件系统
在线阅读 下载PDF
上一页 1 2 40 下一页 到第
使用帮助 返回顶部