期刊文献+
共找到68篇文章
< 1 2 4 >
每页显示 20 50 100
DCFS2的元数据一致性策略 被引量:11
1
作者 熊劲 范志华 +3 位作者 马捷 唐荣锋 李晖 孟丹 《计算机研究与发展》 EI CSCD 北大核心 2005年第6期1019-1027,共9页
随着集群应用对机群文件系统的性能、容量和规模等需求的日益增长,采用多元数据服务器是机群文件系统发展的必然趋势.基于多元数据服务器的分布式元数据处理是文件系统研究的一个重要问题.机群文件系统DCFS2采用分布式日志技术和改进的... 随着集群应用对机群文件系统的性能、容量和规模等需求的日益增长,采用多元数据服务器是机群文件系统发展的必然趋势.基于多元数据服务器的分布式元数据处理是文件系统研究的一个重要问题.机群文件系统DCFS2采用分布式日志技术和改进的两阶段提交协议解决了分布式元数据处理下元数据的一致性问题.性能测试结果表明,DCFS2所采用的基于分布式日志的元数据处理策略能够提供高的IO性能,并能够保证在元数据服务器失效后文件系统快速恢复. 展开更多
关键词 机群文件系统 文件系统一致性 元数据一致性 分布式元数据处理
在线阅读 下载PDF
蓝鲸文件系统中元数据与数据隔离技术 被引量:9
2
作者 张敬亮 张军伟 +1 位作者 张建刚 许鲁 《计算机工程》 CAS CSCD 北大核心 2010年第2期28-30,38,共4页
针对文件系统中元数据访问对应用数据访问的干扰问题,基于资源分配分离及访问路由分发技术,在蓝鲸文件系统中实现元数据和数据存储及I/O时的隔离。测试结果表明,将元数据从数据中隔离并将其独立配置到高速存储后,应用I/O带宽提高了2.6倍... 针对文件系统中元数据访问对应用数据访问的干扰问题,基于资源分配分离及访问路由分发技术,在蓝鲸文件系统中实现元数据和数据存储及I/O时的隔离。测试结果表明,将元数据从数据中隔离并将其独立配置到高速存储后,应用I/O带宽提高了2.6倍~2.8倍,操作吞吐率提高了2倍~5倍。 展开更多
关键词 蓝鲸文件系统 集群文件系统 元数据隔离 Dbench测试集
在线阅读 下载PDF
基于高速通信协议的COSMOS机群文件系统性能研究 被引量:3
3
作者 贺劲 徐志伟 +2 位作者 孟丹 马捷 冯军 《计算机研究与发展》 EI CSCD 北大核心 2002年第2期129-135,共7页
作为曙光 30 0 0超级服务器的重要组成部分 ,COSMOS机群文件系统对机群文件系统协议、结构及性能优化等问题进行全面深入的探讨 .首先描述了基于曙光 30 0 0机群高速通信协议 BCL - 3的 COSMOS文件系统的实现 ,然后引入并发带宽利用率 ... 作为曙光 30 0 0超级服务器的重要组成部分 ,COSMOS机群文件系统对机群文件系统协议、结构及性能优化等问题进行全面深入的探讨 .首先描述了基于曙光 30 0 0机群高速通信协议 BCL - 3的 COSMOS文件系统的实现 ,然后引入并发带宽利用率 ,描述了通信与 I/ O对机群文件系统性能影响程度 ; 展开更多
关键词 机群文件系统 高速通信协议 异步I/O COSMOS 性能
在线阅读 下载PDF
CSRAID:一种新的大规模RAID系统结构 被引量:3
4
作者 刘艳 谢长生 +1 位作者 李怀阳 赵振 《小型微型计算机系统》 CSCD 北大核心 2007年第1期172-177,共6页
借鉴集群文件系统“分布式虚拟磁盘”的概念,针对大规模RAID提出了一种新的存储结构CSRAID,它由若干结构不同的SubRAID组成.数据可以根据负载特征的变化动态迁移到最适合的SubRAID,SubRAID的数目和结构,也可以适应系统负载的发展而调整... 借鉴集群文件系统“分布式虚拟磁盘”的概念,针对大规模RAID提出了一种新的存储结构CSRAID,它由若干结构不同的SubRAID组成.数据可以根据负载特征的变化动态迁移到最适合的SubRAID,SubRAID的数目和结构,也可以适应系统负载的发展而调整,从而CSRAID系统能为各用户提供一个由SubRAID物理存储空间构成的、始终适应用户I/O需求的虚拟磁盘.仿真实验结果表明与传统结构大规模RAID系统相比,同样大小存储空间的CSRAID系统的I/O性能具有显著优势. 展开更多
关键词 RAID 集群文件系统 虚拟磁盘 数据迁移
在线阅读 下载PDF
HANDY:一种具有动态扩展性的集群文件系统 被引量:2
5
作者 程斌 金海 +1 位作者 李胜利 邵志远 《小型微型计算机系统》 CSCD 北大核心 2006年第12期2189-2195,共7页
针对当前集群文件系统只支持静态扩展、不提供高可用性等问题,提出一种基于全局哈希表的动态扩展协议—GHT,利用该协议实现一种支持节点动态扩展的集群文件系统HANDY,重点阐述了协议的设计、算法和理论分析.实验数据证明,HANDY集群文件... 针对当前集群文件系统只支持静态扩展、不提供高可用性等问题,提出一种基于全局哈希表的动态扩展协议—GHT,利用该协议实现一种支持节点动态扩展的集群文件系统HANDY,重点阐述了协议的设计、算法和理论分析.实验数据证明,HANDY集群文件系统具有良好的动态扩展性和可用性,减小系统的管理和维护开销. 展开更多
关键词 集群 文件系统 动态扩展 高可用
在线阅读 下载PDF
FSbench:一个机群文件系统基准程序 被引量:2
6
作者 吕毅 马捷 唐荣锋 《计算机工程》 CAS CSCD 北大核心 2004年第2期49-51,140,共4页
FSbench是一种通用的基于Unix平台的机群文件系统基准程序,它使用独特的时间同步机制来测试文件系统真实并发时的性能,扩展了SPEC SFS的负载测试方法并用来测试多种机群文件系统,提供了多种测试共享文件的模式,可以测试共享文件的并行... FSbench是一种通用的基于Unix平台的机群文件系统基准程序,它使用独特的时间同步机制来测试文件系统真实并发时的性能,扩展了SPEC SFS的负载测试方法并用来测试多种机群文件系统,提供了多种测试共享文件的模式,可以测试共享文件的并行存取性能。 展开更多
关键词 机群文件系统 基准程序 性能测试 负载测试
在线阅读 下载PDF
LCFS中元数据服务器的可靠性分析模型 被引量:3
7
作者 王召福 章文嵩 刘仲 《计算机工程与科学》 CSCD 2005年第5期54-55,58,共3页
可靠性问题是研究大规模集群存储系统的一个重要方面,元数据服务器是大规模集群存储的中心。本文针对基于镜像复制和共享存储的服务器实现方案,采用马尔可夫补偿模型研究元数据服务器的状态迁移概率,分析了元数据服务器集群的可靠性以... 可靠性问题是研究大规模集群存储系统的一个重要方面,元数据服务器是大规模集群存储的中心。本文针对基于镜像复制和共享存储的服务器实现方案,采用马尔可夫补偿模型研究元数据服务器的状态迁移概率,分析了元数据服务器集群的可靠性以及数据一致性对可靠性的影响,对实现大规模集群文件系统中的元数据服务器有重要的指导意义。 展开更多
关键词 存储系统 可靠性分析模型 元数据服务器 LCFS 马尔可夫模型
在线阅读 下载PDF
一个集群文件系统的虚拟化支持平台研究与实现 被引量:3
8
作者 邬延辉 陈征 龚松春 《电信科学》 北大核心 2012年第9期34-37,共4页
在分布式数据管理中,服务器的虚拟化是一项重要工作,将网络中的多个服务器进行虚拟集成,可以快速完成一些大型的计算任务,并且减少硬件花费,减少空间和能量消耗。多数服务器虚拟化产品具有动态迁移的特点,动态迁移技术可以使虚拟服务器... 在分布式数据管理中,服务器的虚拟化是一项重要工作,将网络中的多个服务器进行虚拟集成,可以快速完成一些大型的计算任务,并且减少硬件花费,减少空间和能量消耗。多数服务器虚拟化产品具有动态迁移的特点,动态迁移技术可以使虚拟服务器在运行时从一台机器转移到另一台机器,避免因硬件维护所产生的暂时或长时间服务中断。动态迁移需要共享存储器,其性能随虚拟服务器数量增加,成为整个系统的瓶颈。提出和实现了一个基于Lustre集群文件系统的、建立在开源虚拟机解决方案KVM之上的服务器虚拟环境。实验结果证实,虚拟环境提升了虚拟服务器的输入输出性能,同时使得创建KVM用户的耗费时间明显缩短。 展开更多
关键词 集群文件系统 服务器虚拟化 KVM虚拟机
在线阅读 下载PDF
基于云存储的网盘系统架构及关键技术研究 被引量:18
9
作者 杨岳湘 邓文平 +1 位作者 邓劲生 李阳 《电信科学》 北大核心 2012年第10期68-72,共5页
面向企业网或校园网的移动办公与存储的网盘系统有着广泛的市场需求,传统的网盘技术在性能、用户共享、安全性、可扩展性等方面存在诸多缺陷。针对这些不足,本文提出了一种基于云存储的高性能网盘系统架构:采用分布式文件系统MooseFS实... 面向企业网或校园网的移动办公与存储的网盘系统有着广泛的市场需求,传统的网盘技术在性能、用户共享、安全性、可扩展性等方面存在诸多缺陷。针对这些不足,本文提出了一种基于云存储的高性能网盘系统架构:采用分布式文件系统MooseFS实现用户数据存储与访问的集群架构;在安全性方面,结合SAMBA实现用户权限管理,用户数据存储支持128 bit AES加密,SSH保证了传输链路的安全;最后,结合用户的实际需求,提供基于Web的访问方式以及客户端的同步盘模式。结果表明,系统在性能、安全性、可扩展性等多方面具有显著优势。 展开更多
关键词 网盘 云存储 分布式文件系统 集群 用户空间
在线阅读 下载PDF
并行文件系统的关键技术与框架设计 被引量:2
10
作者 魏文国 谢赞福 +1 位作者 陈潮填 陈国华 《计算机工程》 CAS CSCD 北大核心 2004年第13期44-46,共3页
论述并行文件系统的工作负载特征——基于空间和时间的文件访问模式,并对非连续数据访问技术进行比较研究;给出并行文件系统设计的原则与目标,最后提出并行文件系统的框架。
关键词 LINUX集群 并行文件系统 非连续数据访问 框架设计
在线阅读 下载PDF
一种支持EB级存储的可扩展存储空间管理方法 被引量:1
11
作者 邢晶 熊劲 +1 位作者 孙凝晖 马捷 《计算机研究与发展》 EI CSCD 北大核心 2013年第8期1573-1582,共10页
随着海量数据应用的增多,机群文件系统需要具备对PB甚至EB级存储空间进行管理的能力.受数据位置信息维护方法的限制,在面对需要管理的百亿甚至万亿个对象时,对象存储服务器在数据定位、负载均衡和复本维护方面均存在可扩展处理的问题.... 随着海量数据应用的增多,机群文件系统需要具备对PB甚至EB级存储空间进行管理的能力.受数据位置信息维护方法的限制,在面对需要管理的百亿甚至万亿个对象时,对象存储服务器在数据定位、负载均衡和复本维护方面均存在可扩展处理的问题.为了满足日益增长的存储需求,提出了一种可扩展的存储空间管理方法.首先,该方法将存储空间中的对象位置信息通过Extendible Hashing以两级索引结构的方式进行组织,以此来支持对海量对象位置信息的扩展性管理;其次,该方法依靠对象位置信息在多服务器的分布结果来放置对象,文件系统能通过对索引结构的调整以较低开销实现负载均衡;最后,该方法以数据位置信息组织的索引结构为粒度进行复本维护以降低复本位置信息的维护开销.实验评测表明,存储空间管理方法能够支持海量数据的高效管理.在负载均衡方法的作用下,多存储服务器的I/O聚合带宽因负载均衡而能够取得10%的提升.相比Lustre和DCFS3,该系统在多客户端并发访问环境下具有更好的扩展性能. 展开更多
关键词 机群文件系统 海量存储 数据放置 数据定位 多复本 存储空间管理
在线阅读 下载PDF
集群文件服务系统中的负载均衡算法的研究 被引量:4
12
作者 刘恩海 李伟 +2 位作者 张素琪 董永峰 方新春 《计算机工程与设计》 CSCD 北大核心 2013年第8期2754-2758,共5页
为解决目前集群文件服务系统中负载均衡算法的缺陷,充分考虑文件本身存在的差异,降低大文件分配到负载重的服务器上而造成负载失衡的可能性,避免频繁收集节点的负载信息造成大量额外的网络开销而降低系统吞吐量,提出了改进的负载均衡算... 为解决目前集群文件服务系统中负载均衡算法的缺陷,充分考虑文件本身存在的差异,降低大文件分配到负载重的服务器上而造成负载失衡的可能性,避免频繁收集节点的负载信息造成大量额外的网络开销而降低系统吞吐量,提出了改进的负载均衡算法。该算法综合考虑文件负载量、服务器的硬件配置及其实时负载量,引入对上传文件大小和数量的计算,改变服务器负载量定时更新为定量更新。实验结果表明,该算法减少了客户的等待响应时间,提高了系统吞吐量,达到了良好的负载均衡。 展开更多
关键词 文件服务系统 负载均衡 集群 文件负载 服务器负载
在线阅读 下载PDF
蓝鲸机群文件系统文件layout设计与实现 被引量:1
13
作者 张军伟 郭明阳 +1 位作者 张建刚 许鲁 《计算机科学》 CSCD 北大核心 2008年第11期56-59,共4页
维护文件逻辑位置到物理位置映射关系的文件布局是文件系统的重要组成部分。针对蓝鲸海量机群文件系统中文件的条带分布特性,分析了目前普遍采用的三级间接地址文件布局和扩展块段文件布局的优缺点。有效结合三级间接地址文件布局避免... 维护文件逻辑位置到物理位置映射关系的文件布局是文件系统的重要组成部分。针对蓝鲸海量机群文件系统中文件的条带分布特性,分析了目前普遍采用的三级间接地址文件布局和扩展块段文件布局的优缺点。有效结合三级间接地址文件布局避免查询、直接映射的优点和扩展块段文件布局映射高效、空间占用少的优点,提出了一种新的固定长度扩展块段文件布局,并在小文件环境对其进行了优化改进,提出了幂次长度扩展块段文件布局。实验测试结果表明该文件布局可以有效适用于蓝鲸机群文件系统,达到了预期效果。该文件布局同样适用于其他采用条带机制的文件系统。 展开更多
关键词 BWFS 机群文件系统 文件布局 条带
在线阅读 下载PDF
机群文件系统DCFS2的高可用性研究与实现 被引量:1
14
作者 李晖 范志华 +1 位作者 熊劲 马捷 《计算机工程》 CAS CSCD 北大核心 2006年第7期69-71,共3页
对DCFS2采用的高可用技术进行了介绍,主要对DCFS2的客户端高可用的问题进行了分析,解决了在DCFS2的结构下的客户端失效的恢复问题。对DCFS2的性能测试表明,DCFS2可提供具有竞争性的带宽和元数据性能和高可用性。
关键词 机群文件系统 DCFS2 高可用技术 日志技术 IP-SAN
在线阅读 下载PDF
基于对象存储的集群存储系统设计 被引量:7
15
作者 刘仲 章文嵩 +1 位作者 王召福 周兴铭 《计算机工程与科学》 CSCD 2005年第2期78-81,共4页
集群存储是解决大规模数据存储的重要方法。本文提出一种基于对象存储的集群存储系统结构,将文件分为 目录路径元数据、文件元数据与数据对象三部分并独立管理。性能比较与分析表明,该方法能够支持超大规模的文件及超 大容量的目录,明... 集群存储是解决大规模数据存储的重要方法。本文提出一种基于对象存储的集群存储系统结构,将文件分为 目录路径元数据、文件元数据与数据对象三部分并独立管理。性能比较与分析表明,该方法能够支持超大规模的文件及超 大容量的目录,明显地减少网络访问消息数量,提高访问性能,并且解决了因为修改目录而导致的大量元数据迁移问题。 展开更多
关键词 集群存储系统 系统设计 数据存储 对象存储
在线阅读 下载PDF
SQL-DFS:一种基于HDFS的海量小文件存储系统 被引量:7
16
作者 马志强 杨双涛 +1 位作者 闫瑞 张泽广 《北京工业大学学报》 CAS CSCD 北大核心 2016年第1期134-141,共8页
针对Hadoop分布式文件系统(Hadoop distributed file system,HDFS)进行小文件存储时Name Node内存占用率高的问题,通过分析HDFS基础架构,提出了基于元数据存储集群的SQL-DFS文件系统.通过在Name Node中加入小文件处理模块实现了小文件... 针对Hadoop分布式文件系统(Hadoop distributed file system,HDFS)进行小文件存储时Name Node内存占用率高的问题,通过分析HDFS基础架构,提出了基于元数据存储集群的SQL-DFS文件系统.通过在Name Node中加入小文件处理模块实现了小文件元数据由Name Node内存到元数据存储集群的迁移,借助关系数据库集群实现了小文件元数据的快速读写,并对小文件读取过程进行优化,减少了文件客户端对Name Node的请求次数;通过将部分Data Node文件块的校验工作交由元数据存储集群完成,进一步降低了Name Node节点的负载压力.最终通过搭建HDFS和SQL-DFS实验平台,对HDFS和SQL-DFS 2种架构进行了小文件读写的对比测试,实验结果表明:SQLDFS在文件平均耗时(file average cost,FAC)和内存占用率方面均明显优于原HDFS架构,具有更好的小文件存储能力,可用于海量小文件的存储. 展开更多
关键词 Hadoop分布式文件系统(HDFS) 元数据存储集群 小文件 元数据 内存占用率
在线阅读 下载PDF
大规模集群文件系统LCFS的元数据管理与访问机制 被引量:2
17
作者 王召福 章文嵩 刘仲 《计算机工程与科学》 CSCD 2005年第8期103-105,共3页
文件系统的元数据包括文件基本属性信息和目录结构信息。在基于集群技术的大规模文件系统中,有效的元数据管理是系统实现的核心。本文在设计了与元数据管理相关的三类协议的基础上,提出了集群化的元数据服务器实现模型,并分析和比较了... 文件系统的元数据包括文件基本属性信息和目录结构信息。在基于集群技术的大规模文件系统中,有效的元数据管理是系统实现的核心。本文在设计了与元数据管理相关的三类协议的基础上,提出了集群化的元数据服务器实现模型,并分析和比较了各种实现方式的优缺点。 展开更多
关键词 集群 元数据 文件系统 目录
在线阅读 下载PDF
LINUX集群系统并行应用程序监测技术的研究 被引量:2
18
作者 王文义 梁青云 王若雨 《郑州大学学报(工学版)》 CAS 2005年第2期98-101,共4页
从大多普通用户的实际情况出发,在proc文件系统基础上结合MySQL数据库和GTK+技术,提出了一种简单实用的LINUX集群系统的并行计算监测工具的实现方法.该工具可以将运行中集群的节点状态实时地呈现给用户,其主要功能模块有用户交互、显示... 从大多普通用户的实际情况出发,在proc文件系统基础上结合MySQL数据库和GTK+技术,提出了一种简单实用的LINUX集群系统的并行计算监测工具的实现方法.该工具可以将运行中集群的节点状态实时地呈现给用户,其主要功能模块有用户交互、显示、控制、数据库服务端等7个模块,从而对进一步改进与提高并行应用程序的质量提供了科学依据. 展开更多
关键词 LINUX 应用程序 集群系统 监测技术 MYSQL数据库 普通用户 文件系统 监测工具 并行计算 用户交互 功能模块 科学依据 PMC 服务端
在线阅读 下载PDF
高性能动态虚拟盘阵系统结构 被引量:1
19
作者 刘军 张英 +2 位作者 唐玉华 王磊 杨学军 《计算机工程与应用》 CSCD 北大核心 2003年第30期31-33,共3页
尽管外存储设备的容量增加很快,但是仍无法满足用户应用程序的需要;性能上,外存储设备已成为计算机系统的瓶颈;在集群环境下,将分布式的外设构成一种动态虚拟存储系统能够较好地解决这个问题。通过很好地组织数据,动态存储系统能够随用... 尽管外存储设备的容量增加很快,但是仍无法满足用户应用程序的需要;性能上,外存储设备已成为计算机系统的瓶颈;在集群环境下,将分布式的外设构成一种动态虚拟存储系统能够较好地解决这个问题。通过很好地组织数据,动态存储系统能够随用户的需求而动态扩容和收缩,并且具有高并发性和高可靠性等特点。论文从当今的应用需求出发,分析了用户存储特点及提出动态虚拟盘阵存储系统的原理,介绍了动态虚拟盘阵存储的体系结构和特性。 展开更多
关键词 文件系统 集群 动态虚拟盘阵
在线阅读 下载PDF
InfiniBandⅢ型集群系统可视化监测工具的实现方法 被引量:1
20
作者 王文义 阴斐 王若雨 《计算机工程与应用》 CSCD 北大核心 2005年第22期87-90,156,共5页
随着集群系统的广泛应用,用户对系统的综合性能要求显得越来越重要。该文在基于InfiniBand[1]ⅢPC集群的平台上,通过对目前常用的监测系统的分析,针对它们所共有的一些不足之处,在其基础上开发了一个实用的对并行处理过程的可视化监测... 随着集群系统的广泛应用,用户对系统的综合性能要求显得越来越重要。该文在基于InfiniBand[1]ⅢPC集群的平台上,通过对目前常用的监测系统的分析,针对它们所共有的一些不足之处,在其基础上开发了一个实用的对并行处理过程的可视化监测工具。工具通过lm_sensors获取硬件信息,以proc文件获取负载信息,并通过MPE生成记录并行程序执行过程的log文件,具有能以图形方式实时显示硬件信息和系统节点负载信息,以及需要时可以用图形方式重现程序执行过程的功能。 展开更多
关键词 INFINIBAND 型集群lm_sensors/proc文件系统 MPE KYLIX
在线阅读 下载PDF
上一页 1 2 4 下一页 到第
使用帮助 返回顶部