-
题名Redbud并行文件系统的可扩展存储管理机制
- 1
-
-
作者
易乐天
舒继武
郑纬民
-
机构
清华大学计算机科学与技术系
-
出处
《计算机学报》
EI
CSCD
北大核心
2015年第5期961-972,共12页
-
基金
国家自然科学基金(60873066)
国家"八六三"高技术研究发展计划(2009AA01403)
高等学校博士学科点专项科研基金(20070003092)资助~~
-
文摘
数据规模和并发访问的需求日益增长,可扩展能力成为并行文件系统的重要需求之一.文中提出了一种基于非对称并行文件系统Redbud的高可扩展资源管理机制.该管理机制根据数据的访问特征,使用不同的树形结构管理不同类型的数据,满足了文件数据和元数据的并发检索需求;该管理机制还使用文件级的数据分布机制,允许用户利用各种策略进行目录和文件的管理,能满足文件级的数据访问性能、目录级数据可靠性等实际应用需求.多个基准测试程序和实际应用程序的测试结果表明,文件的独占访问能达到磁盘95%的性能;同时,随着设备和应用节点的增加,数据和元数据的并发访问性能线性增长.
-
关键词
redbud并行文件系统
高性能计算
存储资源管理
共享磁盘
-
Keywords
redbud parallel file system
supercomputing
storage resource management
shared disks
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名Redbud并行文件系统文件布局的设计与实现
- 2
-
-
作者
耿亮
王磊
鞠时光
舒继武
-
机构
江苏大学计算机科学与通信工程学院
清华大学计算机科学与技术系
-
出处
《小型微型计算机系统》
CSCD
北大核心
2010年第12期2343-2347,共5页
-
基金
高等学校博士学科点专项科研基金项目(20070003092)资助
国家"八六三"高技术研究发展计划项目(2009AA01Z139)资助
-
文摘
文件布局是文件系统的重要组成部分,维护了文件的逻辑位置到物理位置的映射关系.Redbud并行文件系统(RFS)舍弃了分布式文件系统常用的基于块的文件布局,提出一种基于扩展区间的文件布局方法,提高对大文件的顺序访问读写速度.RFS遵循"满足应用请求最低要求"的原则,即元数据服务器仅返回文件Layout中与应用请求对应的文件区间给客户端,能有效减少了客户端获取Layout的网络传输开销,提高系统的性能,并用空间连续分配策略及扩展区间实时合并策略,有效地提高了文件布局操作的速度.对比测试了RFS、EXT3和NFS对16GB大文件的操作性能,RFS随机读、随机写、顺序读、顺序写文件的吞吐率分别比NFS高47.5%、51.8%、65.6%和75.1%,RFS读文件的吞吐率略高于EXT3,RFS顺序写和随机写的吞吐率分别比EXT3高21.2%和15.4%,同时,RFS总的吞吐率呈线性增长,逼近实验环境的极限值200MB/s,结果表明,基于扩展区间文件布局的Redbud并行文件系统具有高性能.
-
关键词
redbud并行文件系统
并行文件系统
存储区域网
文件布局
扩展区间
-
Keywords
redbud parallel file system（RFS）
parallel file system
storage area network（SAN）
file layout
extent
-
分类号
TP316
[自动化与计算机技术—计算机软件与理论]
-
