蓝鲸集群文件系统中资源交互一致性协议

1

作者 张军伟 贾瑞勇 +2 位作者 贾亚军 张建刚 许鲁 《计算机工程》 CAS CSCD 北大核心 2008年第11期7-9,共3页

在蓝鲸集群文件系统中,分布式资源交互在系统异常的情况下会出现资源状态不一致的情况,为解决这一问题,该文提出分布式资源交互一致性协议S2PC-RT。S2PC-RT引入资源交互序号保证一致性,通过增加资源申请空间减少消息等待。证明协议的正... 在蓝鲸集群文件系统中,分布式资源交互在系统异常的情况下会出现资源状态不一致的情况,为解决这一问题,该文提出分布式资源交互一致性协议S2PC-RT。S2PC-RT引入资源交互序号保证一致性,通过增加资源申请空间减少消息等待。证明协议的正确性,并在蓝鲸集群文件系统中实现了协议。测试结果表明,S2PC-RT能够保证资源的一致性,有效提高分布式资源的交互性能。 展开更多

关键词 蓝鲸集群文件系统 集群文件系统 资源交互 一致性

在线阅读 下载PDF 职称材料

一个集群文件系统的虚拟化支持平台研究与实现 被引量：3

2

作者 邬延辉 陈征 龚松春 《电信科学》 北大核心 2012年第9期34-37,共4页

在分布式数据管理中,服务器的虚拟化是一项重要工作,将网络中的多个服务器进行虚拟集成,可以快速完成一些大型的计算任务,并且减少硬件花费,减少空间和能量消耗。多数服务器虚拟化产品具有动态迁移的特点,动态迁移技术可以使虚拟服务器... 在分布式数据管理中,服务器的虚拟化是一项重要工作,将网络中的多个服务器进行虚拟集成,可以快速完成一些大型的计算任务,并且减少硬件花费,减少空间和能量消耗。多数服务器虚拟化产品具有动态迁移的特点,动态迁移技术可以使虚拟服务器在运行时从一台机器转移到另一台机器,避免因硬件维护所产生的暂时或长时间服务中断。动态迁移需要共享存储器,其性能随虚拟服务器数量增加,成为整个系统的瓶颈。提出和实现了一个基于Lustre集群文件系统的、建立在开源虚拟机解决方案KVM之上的服务器虚拟环境。实验结果证实,虚拟环境提升了虚拟服务器的输入输出性能,同时使得创建KVM用户的耗费时间明显缩短。 展开更多

关键词 集群文件系统 服务器虚拟化 KVM虚拟机

在线阅读 下载PDF 职称材料

一种集群文件系统二级缓存协同置换算法

3

作者 韩宗芬 林运章 +2 位作者 金海 岳建辉 徐婕 《计算机工程与科学》 CSCD 2004年第9期54-56,共3页

集群文件系统二级缓存置换算法中 ,某一存储节点的二级缓存单点不命中会破坏集群文件系统的并行性 ,从而降低其他存储节点二级缓存的效率 ,进而降低系统缓存的整体命中率。本文提出了存储节点间协同置换的概念 ,并设计了置换算法CMQ。... 集群文件系统二级缓存置换算法中 ,某一存储节点的二级缓存单点不命中会破坏集群文件系统的并行性 ,从而降低其他存储节点二级缓存的效率 ,进而降低系统缓存的整体命中率。本文提出了存储节点间协同置换的概念 ,并设计了置换算法CMQ。仿真结果表明 ,与LRU、LFU和MQ等传统置换算法相比 ,CMQ算法命中率有了显著提高。 展开更多

关键词 集群文件系统 二级缓存 协同置换 CMQ

在线阅读 下载PDF 职称材料

大规模集群文件系统中的I/O拥塞控制机制

4

作者 钱迎进 金士尧 肖侬 《计算机研究与发展》 EI CSCD 北大核心 2011年第S1期153-160,共8页

首先研究了分布式集群存储系统中如何为各个客户端提供公平有效的I/O服务的问题,然后针对大规模集群文件系统提出了一种分布式I/O拥塞控制的策略.在拥塞控制下,当服务器轻载时,可以让单个客户端并行地发出更多的I/O请求给服务器,以达到... 首先研究了分布式集群存储系统中如何为各个客户端提供公平有效的I/O服务的问题,然后针对大规模集群文件系统提出了一种分布式I/O拥塞控制的策略.在拥塞控制下,当服务器轻载时,可以让单个客户端并行地发出更多的I/O请求给服务器,以达到最大化网络和服务器资源的利用率以及I/O吞吐率的目的;当服务器重载时,通过一种节流控制,限制各个客户端可并行发送的I/O请求的数目,减少服务器缓冲的I/O请求的数目,降低服务器内存压力,控制客户端I/O请求的响应延迟.最后,经过一系列模拟实验,对拥塞控制策略进行了评估和验证. 展开更多

关键词 大规模 集群文件系统 I?O拥塞控制 响应延迟 服务质量

在线阅读 下载PDF 职称材料

一种新的集群文件系统模型研究

5

作者 张辰 孟凡荣 《计算机工程与设计》 CSCD 2004年第12期2245-2246,2260,共3页

集群作为成本低、高性能并行或分布式计算平台已经成熟,同时提供许多关键服务(高效通信、负载平衡等)的软件包也已经出现,然而对于集群文件系统的可扩展性和高可用性仍然缺乏有效的支持。为此,介绍了一种基于可扩展性和高可用性的集群... 集群作为成本低、高性能并行或分布式计算平台已经成熟,同时提供许多关键服务(高效通信、负载平衡等)的软件包也已经出现,然而对于集群文件系统的可扩展性和高可用性仍然缺乏有效的支持。为此,介绍了一种基于可扩展性和高可用性的集群文件系统模型,并从可用性角度与集群文件系统(CFS,Cluster File System)进行了比较分析。 展开更多

关键词 集群文件系统 高可用性 可扩展性 分布式计算 并行 负载平衡 软件包 System) 服务 比较分析

在线阅读 下载PDF 职称材料

基于网络存储的异构集群文件系统研究与实现 被引量：4

6

作者 贾瑞勇 张延园 《西北工业大学学报》 EI CAS CSCD 北大核心 2005年第1期49-54,共6页

分析了存储区域网络环境下多平台文件共享所面临的主要问题及解决途径 ,提出了一个基于网络存储的开放系统与大型机集群文件系统 ,该系统采用第三方数据传送和大型机文件系统模拟的方法 ,解决了开放系统的字节流型文件系统与大型机的记... 分析了存储区域网络环境下多平台文件共享所面临的主要问题及解决途径 ,提出了一个基于网络存储的开放系统与大型机集群文件系统 ,该系统采用第三方数据传送和大型机文件系统模拟的方法 ,解决了开放系统的字节流型文件系统与大型机的记录型文件系统的互操作问题 ,进而利用一些 I/O性能优化策略实现了一个高性能的用户态运行库 ( Runtime Library) ,使得开放系统上的应用程序利用该运行库可以实现对网络存储上大型机文件的高速访问。实验结果表明 ,与传统的客户 /服务器文件共享模式相比 。 展开更多

关键词 存储区域网络 集群文件系统 文件共享

在线阅读 下载PDF 职称材料

一种SAN环境下集群文件系统的元数据缓存研究 被引量：3

7

作者 许祥 罗宇 《计算机研究与发展》 EI CSCD 北大核心 2012年第S1期240-244,共5页

为了发挥SAN环境的存储访问优势,阐明了一种以CIFS协议为原型的集群文件系统,通过考察此架构下数据和元数据相互独立又彼此制约的特殊关系,提出了一种元数据缓存方法;为了减少因元数据获取而给数据读写带来的性能损失,对元数据缓存舍弃... 为了发挥SAN环境的存储访问优势,阐明了一种以CIFS协议为原型的集群文件系统,通过考察此架构下数据和元数据相互独立又彼此制约的特殊关系,提出了一种元数据缓存方法;为了减少因元数据获取而给数据读写带来的性能损失,对元数据缓存舍弃了原有的管理方法,尽可能地保证其在客户端是可缓冲的;针对可能引起客户端与服务器端元数据不一致的情况进行了分析,并提出了解决方法;最后通过测试进行了初步验证. 展开更多

关键词 SAN 集群文件系统 元数据缓存 一致性

在线阅读 下载PDF 职称材料

多级集群文件系统的全局命名空间的设计与实现

8

作者 封仲淹 万继光 +1 位作者 李锡武 李旭 《计算机工程》 EI CAS CSCD 北大核心 2006年第21期67-69,72,共4页

随着存储数据的爆炸性增长和集群技术的快速发展,集群文件系统的研究越来越成为一个焦点,该文设计并实现了一个多级集群文件系统(MCFS)的全局命名空间,MCFS系统采用元数据分层管理思想,建立一个统一的元数据树,从而使整个系统运行在一... 随着存储数据的爆炸性增长和集群技术的快速发展,集群文件系统的研究越来越成为一个焦点,该文设计并实现了一个多级集群文件系统(MCFS)的全局命名空间,MCFS系统采用元数据分层管理思想,建立一个统一的元数据树,从而使整个系统运行在一个松耦合、异构的环境下实现全局命名空间,提高了系统的并行性和可扩展性。在介绍了MCFS命名空间管理的同时,进行了相应的试验测试和性能分析。 展开更多

关键词 并行文件系统 分布文件系统 多级集群文件系统 全局命名空间 元数据树

在线阅读 下载PDF 职称材料

集群文件系统的性能最优化配置

9

作者 王扬 周可 +1 位作者 李春花 鲁良 《计算机研究与发展》 EI CSCD 北大核心 2007年第z1期168-172,共5页

集群文件系统是当前存储系统的研究热点.在资源一定的条件下,存储系统中元数据服务器和数据存储服务器节点及客户端节点数量之间的配置比例会对系统性能产生较大的影响.分析了lustre集群文件系统的参数配置,针对两种典型应用环境:文件... 集群文件系统是当前存储系统的研究热点.在资源一定的条件下,存储系统中元数据服务器和数据存储服务器节点及客户端节点数量之间的配置比例会对系统性能产生较大的影响.分析了lustre集群文件系统的参数配置,针对两种典型应用环境:文件服务和Web服务,测试了不同节点数和不同lustre条块大小配置下的系统性能;通过对比分析,得出lustre集群文件系统最优化配置,为提高集群文件系统性能提供参考.测试结果显示.当lustre文件系统的OST节点数与client节点数相当时系统性能最好. 展开更多

关键词 集群文件系统 配置参数 性能

在线阅读 下载PDF 职称材料

面向虚拟机的两类集群文件系统性能对比

10

作者 王昌盛 张鹏 阎伟东 《计算机应用》 CSCD 北大核心 2015年第A02期339-341,共3页

关注虚拟机性能维度,以单位时间内硬盘内读写次数(IOPS)作为度量指标,采用测试法对比虚拟机分别运行在两类集群文件系统性能。相同硬件配置下的实验结果显示,当集群文件系统提供服务的虚拟化节点规模小于16台时,单台虚拟机运行在共享式... 关注虚拟机性能维度,以单位时间内硬盘内读写次数(IOPS)作为度量指标,采用测试法对比虚拟机分别运行在两类集群文件系统性能。相同硬件配置下的实验结果显示,当集群文件系统提供服务的虚拟化节点规模小于16台时,单台虚拟机运行在共享式集群文件系统的IOPS要比分布式集群文件系统至少高15%;否则,随着虚拟化节点规模的增加,后者可提供的峰值IOPS能力要比前者好。换言之,共享式集群文件系统性能较好,但扩展性较差,适合千台规模的虚拟机场景;分布式文件系统扩展性好,适合千台以上虚拟机场景。 展开更多

关键词 集群文件系统 单位时间内硬盘内读写次数

在线阅读 下载PDF 职称材料

基于Linux的集群文件系统CSFS的实现

11

作者 丁凯 高扬 《计算机工程与设计》 CSCD 2004年第10期1778-1780,共3页

传统的分布式文件系统无法为集群系统提供严格的单一映像功能(SSI),使得集群系统的管理较为复杂。基于Linux的集群文件系统CSFS(Cluster Single File System),提供单一映像功能,有效地解决了这一问题。通过对Linux虚拟文件系统(VFS)特... 传统的分布式文件系统无法为集群系统提供严格的单一映像功能(SSI),使得集群系统的管理较为复杂。基于Linux的集群文件系统CSFS(Cluster Single File System),提供单一映像功能,有效地解决了这一问题。通过对Linux虚拟文件系统(VFS)特点的分析,在VFS上添加文件系统CSFS,提高了集群系统的可用性和可管理性。 展开更多

关键词 集群文件系统 集群系统 虚拟文件系统 VFS 分布式文件系统 可管理性 映像 CSFS SSI 严格

在线阅读 下载PDF 职称材料

蓝鲸文件系统中元数据与数据隔离技术 被引量：9

12

作者 张敬亮 张军伟 +1 位作者 张建刚 许鲁 《计算机工程》 CAS CSCD 北大核心 2010年第2期28-30,38,共4页

针对文件系统中元数据访问对应用数据访问的干扰问题,基于资源分配分离及访问路由分发技术,在蓝鲸文件系统中实现元数据和数据存储及I/O时的隔离。测试结果表明,将元数据从数据中隔离并将其独立配置到高速存储后,应用I/O带宽提高了2.6倍... 针对文件系统中元数据访问对应用数据访问的干扰问题,基于资源分配分离及访问路由分发技术,在蓝鲸文件系统中实现元数据和数据存储及I/O时的隔离。测试结果表明,将元数据从数据中隔离并将其独立配置到高速存储后,应用I/O带宽提高了2.6倍～2.8倍,操作吞吐率提高了2倍～5倍。 展开更多

关键词 蓝鲸文件系统 集群文件系统 元数据隔离 Dbench测试集

在线阅读 下载PDF 职称材料

一种新的文件系统元数据的检查点容错策略 被引量：3

13

作者 秦航 徐婕 《计算机工程与设计》 CSCD 2004年第3期334-336,373,共4页

针对目前在集群文件系统中出现的元数据的故障问题,在PVFS的基础上提出了一种新的元数据检查点的日志管理策略。该策略在Linux环境下实现,解决了文件系统中较慢的元数据管理这一瓶颈问题,并且具备了较强的容错功能。该方法采用磁盘日志... 针对目前在集群文件系统中出现的元数据的故障问题,在PVFS的基础上提出了一种新的元数据检查点的日志管理策略。该策略在Linux环境下实现,解决了文件系统中较慢的元数据管理这一瓶颈问题,并且具备了较强的容错功能。该方法采用磁盘日志和内存日志的结构,通过对事务的管理,能满足集群文件系统中元数据高可用性的要求。 展开更多

关键词 Linux 元数据 集群文件系统 PVFS 检查点 容错性 日志恢复

在线阅读 下载PDF 职称材料

一种跨HDFS集群的文件资源调度机制 被引量：5

14

作者 胡博 陈桓 +3 位作者 张良杰 牟建伟 戴广立 马于涛 《计算机学报》 EI CSCD 北大核心 2017年第9期2093-2110,共18页

集群文件系统作为一种典型的分布式文件系统类型,通过集群内多个节点的协同,消除了单点故障以及性能瓶颈问题,实现了高可用、高性能以及动态负载均衡,并且具有较高的可扩展性,因此常作为实现和提供云存储服务的关键技术之一.该文针对HDF... 集群文件系统作为一种典型的分布式文件系统类型,通过集群内多个节点的协同,消除了单点故障以及性能瓶颈问题,实现了高可用、高性能以及动态负载均衡,并且具有较高的可扩展性,因此常作为实现和提供云存储服务的关键技术之一.该文针对HDFS集群主要局限于同一数据中心内部部署且可扩展性受限的问题,提出一种跨数据中心集群部署的文件资源调度机制和金蝶分布式文件服务KDFS,通过分布式架构再设计,支持多个HDFS集群动态组网协同工作;通过引入文件资源池,屏蔽了不同集群之间的文件差异性,能够面向多应用提供透明服务;通过引入弹性存储与最优存储策略,确保集群资源安全冗余与就近服务的同时提升了集群的存储效率.实验和实践证明,跨HDFS集群的文件资源调度机制不但解决了HDFS集群可扩展性受限的问题,同时通过跨数据中心部署,实现了集群文件异地冗余灾备、跨数据中心负载均衡以及文件就近存取服务,有效地提高了应用使用KDFS存储服务的体验. 展开更多

关键词 集群文件系统 分布式文件系统 HDFS 文件资源调度 云存储

在线阅读 下载PDF 职称材料

InfiniBandⅢ型集群系统可视化监测工具的实现方法 被引量：1

15

作者 王文义 阴斐 王若雨 《计算机工程与应用》 CSCD 北大核心 2005年第22期87-90,156,共5页

随着集群系统的广泛应用,用户对系统的综合性能要求显得越来越重要。该文在基于InfiniBand[1]ⅢPC集群的平台上,通过对目前常用的监测系统的分析,针对它们所共有的一些不足之处,在其基础上开发了一个实用的对并行处理过程的可视化监测... 随着集群系统的广泛应用,用户对系统的综合性能要求显得越来越重要。该文在基于InfiniBand[1]ⅢPC集群的平台上,通过对目前常用的监测系统的分析,针对它们所共有的一些不足之处,在其基础上开发了一个实用的对并行处理过程的可视化监测工具。工具通过lm_sensors获取硬件信息,以proc文件获取负载信息,并通过MPE生成记录并行程序执行过程的log文件,具有能以图形方式实时显示硬件信息和系统节点负载信息,以及需要时可以用图形方式重现程序执行过程的功能。 展开更多

关键词 INFINIBAND Ⅲ 型集群lm_sensors/proc文件系统 MPE KYLIX

在线阅读 下载PDF 职称材料

CSRAID:一种新的大规模RAID系统结构 被引量：3

16

作者 刘艳 谢长生 +1 位作者 李怀阳 赵振 《小型微型计算机系统》 CSCD 北大核心 2007年第1期172-177,共6页

借鉴集群文件系统“分布式虚拟磁盘”的概念,针对大规模RAID提出了一种新的存储结构CSRAID,它由若干结构不同的SubRAID组成.数据可以根据负载特征的变化动态迁移到最适合的SubRAID,SubRAID的数目和结构,也可以适应系统负载的发展而调整... 借鉴集群文件系统“分布式虚拟磁盘”的概念,针对大规模RAID提出了一种新的存储结构CSRAID,它由若干结构不同的SubRAID组成.数据可以根据负载特征的变化动态迁移到最适合的SubRAID,SubRAID的数目和结构,也可以适应系统负载的发展而调整,从而CSRAID系统能为各用户提供一个由SubRAID物理存储空间构成的、始终适应用户I/O需求的虚拟磁盘.仿真实验结果表明与传统结构大规模RAID系统相比,同样大小存储空间的CSRAID系统的I/O性能具有显著优势. 展开更多

关键词 RAID 集群文件系统 虚拟磁盘 数据迁移

在线阅读 下载PDF 职称材料

ENBD：扩展的网络磁盘设备

17

作者 张玉国 张建刚 许鲁 《计算机科学》 CSCD 北大核心 2008年第2期62-64,共3页

网络磁盘设备(Network Block Device,NBD)是一种稳定、高效的开源网络存储软件,可被用于构建基于Linux平台的网络存储系统。网络存储系统一般较为复杂,包含的模块通常要兼有多种功能,而NBD只能完成普通数据的网络传输,缺少网络存储系统... 网络磁盘设备(Network Block Device,NBD)是一种稳定、高效的开源网络存储软件,可被用于构建基于Linux平台的网络存储系统。网络存储系统一般较为复杂,包含的模块通常要兼有多种功能,而NBD只能完成普通数据的网络传输,缺少网络存储系统要求的集群化、扩展性、元数据操作等功能。该文描述如何扩展NBD,使之成为适合蓝鲸集群文件系统的网络存储软件。 展开更多

关键词 网络存储 集群文件系统 网络磁盘设备

在线阅读 下载PDF 职称材料