基于高速通信协议的COSMOS机群文件系统性能研究 被引量：3

1

作者 贺劲 徐志伟 +2 位作者 孟丹 马捷 冯军 《计算机研究与发展》 EI CSCD 北大核心 2002年第2期129-135,共7页

作为曙光 30 0 0超级服务器的重要组成部分 ,COSMOS机群文件系统对机群文件系统协议、结构及性能优化等问题进行全面深入的探讨 .首先描述了基于曙光 30 0 0机群高速通信协议 BCL - 3的 COSMOS文件系统的实现 ,然后引入并发带宽利用率 ... 作为曙光 30 0 0超级服务器的重要组成部分 ,COSMOS机群文件系统对机群文件系统协议、结构及性能优化等问题进行全面深入的探讨 .首先描述了基于曙光 30 0 0机群高速通信协议 BCL - 3的 COSMOS文件系统的实现 ,然后引入并发带宽利用率 ,描述了通信与 I/ O对机群文件系统性能影响程度 ; 展开更多

关键词 机群文件系统 高速通信协议 异步I/O COSMOS 性能

在线阅读 下载PDF 职称材料

FSbench:一个机群文件系统基准程序 被引量：2

2

作者 吕毅 马捷 唐荣锋 《计算机工程》 CAS CSCD 北大核心 2004年第2期49-51,140,共4页

FSbench是一种通用的基于Unix平台的机群文件系统基准程序,它使用独特的时间同步机制来测试文件系统真实并发时的性能,扩展了SPEC SFS的负载测试方法并用来测试多种机群文件系统,提供了多种测试共享文件的模式,可以测试共享文件的并行... FSbench是一种通用的基于Unix平台的机群文件系统基准程序,它使用独特的时间同步机制来测试文件系统真实并发时的性能,扩展了SPEC SFS的负载测试方法并用来测试多种机群文件系统,提供了多种测试共享文件的模式,可以测试共享文件的并行存取性能。 展开更多

关键词 机群文件系统 基准程序 性能测试 负载测试

在线阅读 下载PDF 职称材料

曙光机群文件系统DCFS负载平衡策略 被引量：3

3

作者 贺劲 孟丹 《计算机工程与应用》 CSCD 北大核心 2002年第14期109-111,共3页

目前机群文件系统(ClusterFileSystem)已经成为打破I/O瓶颈的重要工具。文章着重研究了曙光机群文件系统多服务器间的负载平衡策略,并介绍了其实现机制,其中着重介绍了DCFS中优化文件分布FLO(FileLayoutOpti-mization)基于环的负载平衡... 目前机群文件系统(ClusterFileSystem)已经成为打破I/O瓶颈的重要工具。文章着重研究了曙光机群文件系统多服务器间的负载平衡策略,并介绍了其实现机制,其中着重介绍了DCFS中优化文件分布FLO(FileLayoutOpti-mization)基于环的负载平衡维护结构RLA(RingbasedLoadbalanceArchitecture)。 展开更多

关键词 曙光机群文件系统 DCFS 负载平衡策略 服务质量 计算机网络

在线阅读 下载PDF 职称材料

机群文件系统DCFS2的高可用性研究与实现 被引量：1

4

作者 李晖 范志华 +1 位作者 熊劲 马捷 《计算机工程》 CAS CSCD 北大核心 2006年第7期69-71,共3页

对DCFS2采用的高可用技术进行了介绍,主要对DCFS2的客户端高可用的问题进行了分析,解决了在DCFS2的结构下的客户端失效的恢复问题。对DCFS2的性能测试表明,DCFS2可提供具有竞争性的带宽和元数据性能和高可用性。

关键词 机群文件系统 DCFS2 高可用技术 日志技术 IP-SAN

在线阅读 下载PDF 职称材料

蓝鲸机群文件系统文件layout设计与实现 被引量：1

5

作者 张军伟 郭明阳 +1 位作者 张建刚 许鲁 《计算机科学》 CSCD 北大核心 2008年第11期56-59,共4页

维护文件逻辑位置到物理位置映射关系的文件布局是文件系统的重要组成部分。针对蓝鲸海量机群文件系统中文件的条带分布特性,分析了目前普遍采用的三级间接地址文件布局和扩展块段文件布局的优缺点。有效结合三级间接地址文件布局避免... 维护文件逻辑位置到物理位置映射关系的文件布局是文件系统的重要组成部分。针对蓝鲸海量机群文件系统中文件的条带分布特性,分析了目前普遍采用的三级间接地址文件布局和扩展块段文件布局的优缺点。有效结合三级间接地址文件布局避免查询、直接映射的优点和扩展块段文件布局映射高效、空间占用少的优点,提出了一种新的固定长度扩展块段文件布局,并在小文件环境对其进行了优化改进,提出了幂次长度扩展块段文件布局。实验测试结果表明该文件布局可以有效适用于蓝鲸机群文件系统,达到了预期效果。该文件布局同样适用于其他采用条带机制的文件系统。 展开更多

关键词 BWFS 机群文件系统 文件布局 条带

在线阅读 下载PDF 职称材料

两级元服务器机群文件系统的负载平衡策略

6

作者 田俊峰 宋玮玮 于洪芬 《计算机工程》 CAS CSCD 北大核心 2007年第16期77-79,82,共4页

提出了一种两级元数据服务器机群文件系统的负载平衡策略,高级元服务器依据与二级元服务器性能最密切相关的负载信息将任务快速分配,在存储文件时,提出了一种能正确反映各存储节点I/O流量和存储量的方法:计算文件热量值,并据此对待存文... 提出了一种两级元数据服务器机群文件系统的负载平衡策略,高级元服务器依据与二级元服务器性能最密切相关的负载信息将任务快速分配,在存储文件时,提出了一种能正确反映各存储节点I/O流量和存储量的方法:计算文件热量值,并据此对待存文件进行了合理的分配存储。实验结果表明,该策略提高了系统的性能,缩短了任务执行时间,取得了较好的效果。 展开更多

关键词 机群文件系统 元数据服务器 负载平衡 热量值

在线阅读 下载PDF 职称材料

机群文件系统共享语义测试方法

7

作者 吕正 陈昊 吕毅 《计算机工程》 CAS CSCD 北大核心 2010年第10期76-79,共4页

机群文件系统能否满足用户需要的共享文件语义涉及机群文件系统服务的正确性、性能和易用性。为验证该类特性,提出文件系统共享语义测试概念,实现一个文件语义测试系统FSbench。FSbench使用随机测试和划分测试相结合的方法测试和验证文... 机群文件系统能否满足用户需要的共享文件语义涉及机群文件系统服务的正确性、性能和易用性。为验证该类特性,提出文件系统共享语义测试概念,实现一个文件语义测试系统FSbench。FSbench使用随机测试和划分测试相结合的方法测试和验证文件系统是否满足一定的语义特性。测试表明该方法能够得到令人满意的结果。 展开更多

关键词 机群文件系统 文件共享语义 共享语义测试 软件测试

在线阅读 下载PDF 职称材料

基于SSD的机群文件系统元数据存储系统 被引量：8

8

作者 陈卓 熊劲 马灿 《计算机研究与发展》 EI CSCD 北大核心 2012年第S1期269-275,共7页

随着数据量的增加和元数据操作性能需求的提高,传统基于磁盘(HDD)存储架构的机群文件系统元数据存储系统由于HDD成为性能瓶颈而无法满足需求.将SSD应用到元数据存储中,设计实现了一个基于SSD+HDD的异构元数据存储系统Hybrid MDSL.针对SS... 随着数据量的增加和元数据操作性能需求的提高,传统基于磁盘(HDD)存储架构的机群文件系统元数据存储系统由于HDD成为性能瓶颈而无法满足需求.将SSD应用到元数据存储中,设计实现了一个基于SSD+HDD的异构元数据存储系统Hybrid MDSL.针对SSD的I/O特性设计了基于追加写的元数据存储组织,并通过基于访问热度的数据迁移机制提高SSD空间利用率.测试结果表明,Hybrid MDSL明显提高了元数据I/O的性能. 展开更多

关键词 机群文件系统 SSD 元数据存储系统 数据热度

在线阅读 下载PDF 职称材料

一种机群文件系统的缓存模型 被引量：2

9

作者 黄启峰 郑纬民 沈美明 《小型微型计算机系统》 CSCD 北大核心 2003年第10期1748-1752,共5页

提出了一种新的机群文件系统缓存模型 .它充分利用机群系统累积的系统资源和高速的互联网络 ,将文件系统元数据和内容数据分离 ,分别使用分布式元数据缓存和统一缓存模型进行管理 .元数据缓存使用改进的广播一致性协议和 L RU替换算法 ... 提出了一种新的机群文件系统缓存模型 .它充分利用机群系统累积的系统资源和高速的互联网络 ,将文件系统元数据和内容数据分离 ,分别使用分布式元数据缓存和统一缓存模型进行管理 .元数据缓存使用改进的广播一致性协议和 L RU替换算法 .内容数据统一缓存则将磁盘缓存整个文件和内存缓存文件块相结合组成一个单一映像的多层次分布协作缓存 ,并使用单拷贝优先 L RU和向前传递调度缓存块替换算法以及一种贪心的数据预取方法 .实验结果表明 。 展开更多

关键词 机群文件系统 元数据缓存 统一缓存 广播一致性协议 LRU替换算法

在线阅读 下载PDF 职称材料

一个提高机群文件系统吞吐率的方法及其实现 被引量：1

10

作者 胡雨壮 孟丹 《计算机工程与应用》 CSCD 北大核心 2003年第18期87-89,99,共4页

随着工作站机群系统的迅猛发展,I/O瓶颈问题也日益严重。性能优良的机群文件系统对机群系统而言至关重要。吞吐率是指在单位时间内所处理的作业数,它是评价系统性能的一个重要指标。论文提出用路径名的多成分查找来提高文件系统的创建... 随着工作站机群系统的迅猛发展,I/O瓶颈问题也日益严重。性能优良的机群文件系统对机群系统而言至关重要。吞吐率是指在单位时间内所处理的作业数,它是评价系统性能的一个重要指标。论文提出用路径名的多成分查找来提高文件系统的创建删除吞吐率,给出并在PVFS上实现了一个路径名多成分查找方法。文章的最后对PVFS进行了优化前后的性能比较,并给出了自己的结论。 展开更多

关键词 机群 机群文件系统 LINUX PVFS LOOKUP

在线阅读 下载PDF 职称材料

蓝鲸机群文件系统的元数据一致性协议

11

作者 邵冰清 张军伟 +2 位作者 郑彩平 张浩 刘振军 《小型微型计算机系统》 CSCD 北大核心 2015年第5期903-909,共7页

蓝鲸机群文件系统BWFS采用元数据服务器集群以扩展元数据服务能力,多个服务器之间的分布式元数据一致性维护成为必须要解决的问题.然而传统一致性维护协议通常需要多次的网络交互和磁盘同步,阻碍了BWFS元数据性能扩展.BWFS在本地日志系... 蓝鲸机群文件系统BWFS采用元数据服务器集群以扩展元数据服务能力,多个服务器之间的分布式元数据一致性维护成为必须要解决的问题.然而传统一致性维护协议通常需要多次的网络交互和磁盘同步,阻碍了BWFS元数据性能扩展.BWFS在本地日志系统的基础上设计实现了一种新型的分布式元数据一致性协议.协议针对BWFS中每个分布式元数据操作只涉及到两台服务器,通过在所涉及的两台服务器之间互相保存冗余操作日志,实现了异步的分布式元数据一致性,避免了磁盘同步开销.测试表明,保证一致性的情况下分布式元数据操作的平均响应时间相比无一致性保证仅延长了约5%-15%;在宕机的情况下,单个服务器恢复10000个分布式元数据操作的时间仅1s. 展开更多

关键词 机群文件系统 分布式元数据操作 一致性

在线阅读 下载PDF 职称材料

基于对象存储的机群文件系统数据通路

12

作者 李剑宇 唐荣峰 +1 位作者 熊劲 孟丹 《计算机工程》 CAS CSCD 北大核心 2008年第10期49-51,共3页

介绍基于对象存储的机群文件系统——LionFS所采用的关键技术,包括直接递送的数据传输机制以及基于前端负载访问信息的预取技术。性能测试表明,采用预取技术后数据通路可以"并发流水",读带宽增长了70%,直接递送操作使读、写... 介绍基于对象存储的机群文件系统——LionFS所采用的关键技术,包括直接递送的数据传输机制以及基于前端负载访问信息的预取技术。性能测试表明,采用预取技术后数据通路可以"并发流水",读带宽增长了70%,直接递送操作使读、写性能分别提高24%和28%。 展开更多

关键词 机群文件系统 数据通路 预取

在线阅读 下载PDF 职称材料

一种可扩展机群文件系统的设计与实现

13

作者 黄启峰 郑纬民 沈美明 《小型微型计算机系统》 CSCD 北大核心 2003年第11期1889-1892,共4页

介绍了可扩展机群文件系统 TH- Clu FS的设计与实现 .TH- Clu FS基于共享文件模型 ,采用无服务器的对等体系结构 .同时 ,为了有效利用机群系统累积的资源 ,TH- Clu FS采用了复制与分布相结合的元数据分布管理策略、文件粒度的数据分布... 介绍了可扩展机群文件系统 TH- Clu FS的设计与实现 .TH- Clu FS基于共享文件模型 ,采用无服务器的对等体系结构 .同时 ,为了有效利用机群系统累积的资源 ,TH- Clu FS采用了复制与分布相结合的元数据分布管理策略、文件粒度的数据分布存储机制 ,以及一种自治的 I/ O负载平衡方法 .实验结果表明 ,TH - Clu FS很好地统一了机群文件系统在单一系统映像。 展开更多

关键词 机群文件系统 单一系统映像 可扩展性 I/O负载平衡

在线阅读 下载PDF 职称材料

COSMOS文件系统的性能分析 被引量：5

14

作者 杜聪 徐志伟 《计算机学报》 EI CSCD 北大核心 2001年第7期702-709,共8页

COSMOS文件系统提供单一系统映象和严格的 UNIX语义 ,提供与 UNIX文件系统的应用程序二进制兼容 .系统中没有引入集中的服务器瓶颈 ,所有的数据、元数据和目录文件都被分散存储在整个系统中 ,以提供高性能和良好的可扩展性 .测试表明 ,C... COSMOS文件系统提供单一系统映象和严格的 UNIX语义 ,提供与 UNIX文件系统的应用程序二进制兼容 .系统中没有引入集中的服务器瓶颈 ,所有的数据、元数据和目录文件都被分散存储在整个系统中 ,以提供高性能和良好的可扩展性 .测试表明 ,COSMOS文件系统具有很好的系统带宽和整体性能 ,系统具有良好的可扩展性 .文中讨论了影响系统性能和可扩展性的关键因素 .基于作者的实现经验和测试数据 。 展开更多

关键词 UNIX 操作系统 机群文件系统

在线阅读 下载PDF 职称材料

面向海量数据存储的Erasure-Code分布式文件系统I/O优化方法

15

作者 严林 邢晶 +1 位作者 霍志刚 马捷 《计算机工程与科学》 CSCD 北大核心 2013年第5期20-27,共8页

随着海量数据的快速膨胀,机群文件系统的存储方式正在逐步从复本向Erasure Code过渡。Erasure Code存储能够以更低的存储开销提供更高的可靠性。然而,由于Erasure Code存储需要通过编码生成编码数据,在存储原始数据和编码数据过程中更... 随着海量数据的快速膨胀,机群文件系统的存储方式正在逐步从复本向Erasure Code过渡。Erasure Code存储能够以更低的存储开销提供更高的可靠性。然而,由于Erasure Code存储需要通过编码生成编码数据,在存储原始数据和编码数据过程中更容易产生磁盘争用和不均衡负载,从而影响整个存储系统的I/O性能;同时,Erasure Code存储写回编码数据时,数据一致性和数据缓存之间存在冲突,传统处理数据的无缓存方式和全缓存方式在机群文件系统中都存在很大的局限性。针对这两个问题,提出了一种包括均衡负载的数据放置策略和编码缓存的一致性维护策略的Erasure Code机群文件系统I/O优化方法。通过在开发的Erasure Code分布式文件系统ECFS的实验测试表明,使用这种优化方法后机群文件系统的聚合带宽能够提高95.53%。 展开更多

关键词 机群文件系统 海量存储 Erasure-Code 数据放置 编码缓存 一致性

在线阅读 下载PDF 职称材料

NFS和PVFS文件系统吞吐率分析

16

作者 胡雨壮 孟丹 《计算机工程与应用》 CSCD 北大核心 2002年第21期59-63,共5页

随着工作站机群系统的迅猛发展,I/O瓶颈问题也日益严重。性能优良的机群文件系统对机群系统而言至关重要。吞吐率是指在单位时间内所处理的作业数,它是评价系统性能的一个重要指标。该文首先简要介绍了NFS和PVFS这两个比较有代表性的文... 随着工作站机群系统的迅猛发展,I/O瓶颈问题也日益严重。性能优良的机群文件系统对机群系统而言至关重要。吞吐率是指在单位时间内所处理的作业数,它是评价系统性能的一个重要指标。该文首先简要介绍了NFS和PVFS这两个比较有代表性的文件系统,然后比较了NFS和PVFS的吞吐率,给出了详细的测试数据。最后对NFS、PVFS吞吐率差异的产生原因和影响吞吐率的关键因素进行了较详细的分析,并给出了自己的结论。 展开更多

关键词 NFS文件系统 PVFS文件系统 吞吐率分析 操作系统 机群文件系统 LINUX

在线阅读 下载PDF 职称材料

DCFS2的元数据一致性策略 被引量：11

17

作者 熊劲 范志华 +3 位作者 马捷 唐荣锋 李晖 孟丹 《计算机研究与发展》 EI CSCD 北大核心 2005年第6期1019-1027,共9页

随着集群应用对机群文件系统的性能、容量和规模等需求的日益增长,采用多元数据服务器是机群文件系统发展的必然趋势.基于多元数据服务器的分布式元数据处理是文件系统研究的一个重要问题.机群文件系统DCFS2采用分布式日志技术和改进的... 随着集群应用对机群文件系统的性能、容量和规模等需求的日益增长,采用多元数据服务器是机群文件系统发展的必然趋势.基于多元数据服务器的分布式元数据处理是文件系统研究的一个重要问题.机群文件系统DCFS2采用分布式日志技术和改进的两阶段提交协议解决了分布式元数据处理下元数据的一致性问题.性能测试结果表明,DCFS2所采用的基于分布式日志的元数据处理策略能够提供高的IO性能,并能够保证在元数据服务器失效后文件系统快速恢复. 展开更多

关键词 机群文件系统 文件系统一致性 元数据一致性 分布式元数据处理

在线阅读 下载PDF 职称材料

一种支持EB级存储的可扩展存储空间管理方法 被引量：1

18

作者 邢晶 熊劲 +1 位作者 孙凝晖 马捷 《计算机研究与发展》 EI CSCD 北大核心 2013年第8期1573-1582,共10页

随着海量数据应用的增多,机群文件系统需要具备对PB甚至EB级存储空间进行管理的能力.受数据位置信息维护方法的限制,在面对需要管理的百亿甚至万亿个对象时,对象存储服务器在数据定位、负载均衡和复本维护方面均存在可扩展处理的问题.... 随着海量数据应用的增多,机群文件系统需要具备对PB甚至EB级存储空间进行管理的能力.受数据位置信息维护方法的限制,在面对需要管理的百亿甚至万亿个对象时,对象存储服务器在数据定位、负载均衡和复本维护方面均存在可扩展处理的问题.为了满足日益增长的存储需求,提出了一种可扩展的存储空间管理方法.首先,该方法将存储空间中的对象位置信息通过Extendible Hashing以两级索引结构的方式进行组织,以此来支持对海量对象位置信息的扩展性管理;其次,该方法依靠对象位置信息在多服务器的分布结果来放置对象,文件系统能通过对索引结构的调整以较低开销实现负载均衡;最后,该方法以数据位置信息组织的索引结构为粒度进行复本维护以降低复本位置信息的维护开销.实验评测表明,存储空间管理方法能够支持海量数据的高效管理.在负载均衡方法的作用下,多存储服务器的I/O聚合带宽因负载均衡而能够取得10%的提升.相比Lustre和DCFS3,该系统在多客户端并发访问环境下具有更好的扩展性能. 展开更多

关键词 机群文件系统 海量存储 数据放置 数据定位 多复本 存储空间管理

在线阅读 下载PDF 职称材料