-
题名PVFS元数据服务器的并行化设计与实现
被引量：1
- 1
-
-
作者
罗秋明
欧阳凯
-
机构
深圳大学超级计算中心
华中科技大学计算机科学与技术学院
-
出处
《计算机工程》
EI
CAS
CSCD
北大核心
2006年第12期50-51,54,共3页
-
文摘
PVFS并行文件系统采用集中式的元数据服务器,这使得元数据服务器在大量的文件操作情况下成为I/O瓶颈。该文通过增强PVFS的客户端和元数据服务器的相关功能,使得客户的文件请求按照文件名的Hash变换转向不同的元数据服务器,在保留原来的用户访问方式和系统配置不变的情况下实现元数据服务器的并行化,达到明显提高元数据服务器的总吞吐量和可扩展性。
-
关键词
并行文件系统
pvfs
元数据服务器
并行化
可扩展
-
Keywords
parallel file system
pvfs
Meta server
parallelization
Scalable
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名PVFS客户端目录缓存设计与实现
- 2
-
-
作者
伍卫国
方敏
吴小康
万群
胡雷钧
-
机构
西安交通大学电子与信息工程学院
浪潮(北京)电子信息产业有限公司
-
出处
《计算机工程》
EI
CAS
CSCD
北大核心
2005年第23期206-207,213,共3页
-
基金
国家"863"计划基金资助项目(2002AA104550
2002AA1Z2101
2001AA111120)
-
文摘
缓存技术是提高并行文件系统性能的关键性技术。在并行文件系统中实现客户端目录缓存,不仅可以减轻目录服务器的压力,避免目录服务器成为系统瓶颈,而且可以简化客户端操作过程,提高并行文件系统的性能。该文对PVFS并行文件系统进行了分析,建立了客户端目录缓存模型;就客户端目录缓存实现的一些关键性问题,如缓存池开辟位置、一致性等问题进行了研究,给出了解决方法,并在此基础上实现了一个客户端目录缓存的原型系统。测试结果表明,加入缓存后,PVFS系统性能有所提高。
-
关键词
并行文件系统
目录缓存
元数据
pvfs
-
Keywords
parallel file system
Directory caching
Meta-data
pvfs
-
分类号
TP311.52
[自动化与计算机技术—计算机软件与理论]
-
-
题名并行文件系统管理工具的设计与实现
被引量：1
- 3
-
-
作者
伍卫国
陈长虹
张虎
钱德沛
胡雷钧
-
机构
西安交通大学计算机系
浪潮北京电子信息股份有限公司
-
出处
《计算机工程》
CAS
CSCD
北大核心
2007年第18期279-282,共4页
-
基金
国家"863"计划基金资助项目(2004AA111110
2002AA104550)
-
文摘
通过对常用并行文件系统体系结构的分析,提出了一种适用于某一大类并行文件系统的管理框架。以该管理框架为基础,实现了PVFS并行文件系统的管理工具,并为用户提供了单一映像的管理控制台。功能测试结果表明,该管理工具的引入降低了并行文件系统管理的复杂性。
-
关键词
并行文件系统
文件系统管理工具
并行虚拟文件系统(pvfs)
-
Keywords
parallel file system
file system management tool
parallel virtual file system（pvfs）
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名高性能计算存储关键技术研究
被引量：6
- 4
-
-
作者
朱平
朱建涛
高剑刚
蒋金虎
-
机构
江南计算技术研究所
哈尔滨工业大学计算机科学与技术学院
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2011年第S1期354-364,共11页
-
基金
国家"八六三"高技术研究发展计划基金项目(2009AA01A402)
-
文摘
存储技术是影响高性能计算机发展的一个十分重要的关键技术,由其构成的系统是高性能计算机系统中的重要组成部分,其决定了计算机I/O的处理能力,进而决定了计算机的整体性能以及应用环境.为缓解I/O能力与计算能力不匹配而存在的I/O瓶颈问题,需要进一步研究计算、网络以及外围存储系统的平衡设计与系统平滑匹配,研究应用系统I/O负荷的智能设备和动态透明调整系统的资源配置,以适应计算密集型、通信密集型和I/O密集型等不同应用与服务.重点研究面向高性能计算存储系统关键技术,在高性能计算、信息处理和信息服务等应用领域对外围存储系统的I/O能力提出了很高的要求,需要支持成千上万个客户端访问高可靠、能够支持PB、EB乃至ZB级的超大规模外围存储系统,支持TBps的聚合I/O带宽能力,这对下一代HPC存储系统结构、高性能存储载体部件、I/O通路、高性能存储网络、网络存储技术等都提出了新的挑战.
-
关键词
外存系统
I/O墙
虚拟存储
分布式文件系统
数据并行与分布
云存储
-
Keywords
mass storage system
I/O wall
virtual storage
distributing file system
data parallel and layout
cloud storage
-
分类号
TP3
[自动化与计算机技术—计算机科学与技术]
-
-
题名并行虚拟文件系统客户端缓存技术研究与实现
- 5
-
-
作者
伍卫国
万群
陈长虹
方敏
钱德沛
-
机构
西安交通大学电子与信息工程学院
-
出处
《小型微型计算机系统》
CSCD
北大核心
2006年第6期1140-1144,共5页
-
基金
国家十五"八六三"计划重点项目"新型网络服务器系统(一)"等(2002AA104550
2004AA111110)资助
-
文摘
缓存技术是一种提高文件系统性能的关键性技术.在并行文件系统中实现客户端缓存,既能够减轻集群服务器系统的通信负载,又能有效地提高文件系统的性能.对PVFS并行文件系统进行了分析,建立了客户端缓存模型;就客户端缓存实现的一些关键性问题,如一致性、查找、替换等进行了研究,给出了解决方案,并在此基础上实现了一个客户端缓存的原型系统.测试结果表明,加入缓存后,PVFS整体性能有明显的提高.
-
关键词
pvfs
并行文件系统
集群系统
客户端缓存
一致性
-
Keywords
pvfs
parallel file system
cluster system
client caching
consistency
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名虚拟机快速全系统在线迁移
被引量：5
- 6
-
-
作者
张翔
霍志刚
马捷
孟丹
-
机构
中国科学院计算技术研究所国家智能计算机研究开发中心
中国科学院研究生院
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2012年第3期661-668,共8页
-
基金
国家"八六三"高技术研究发展计划基金项目(2009AA01A129)
-
文摘
虚拟机全系统在线迁移对于广域网或者没有共享存储的局域网中的虚拟化平台非常重要.然而,全系统映像一般在几十吉字节(gigabyte,GB)量级,迁移这些数据需占用大量I/O带宽且时间开销很大.快速全系统在线迁移方法具有如下特点:文件系统感知的磁盘同步,利用文件系统的磁盘块分配位图,只拷贝实际使用的磁盘块,显著减少了第1阶段同步的磁盘映像数据量;异或压缩,利用映像数据的自相似性,快速有效地减少了迁移最后两个阶段拷贝的数据量;流水迁移,流水化迁移各个阶段,使得读写映像、压缩解压映像、网络收发各阶段充分并行.实验表明,与传统压缩迁移相比,快速迁移可以减少50%的迁移时间,最好情况和平均情况下,能分别降低21.68%和14.48%的停机时间.在网络带宽受限或虚拟机负载过重等极限条件下,快速迁移同样有效.
-
关键词
虚拟机
全系统在线迁移
文件系统感知的磁盘同步
异或压缩
流水迁移
-
Keywords
virtual machine
live and whole-system migration
file-system-aware block device migration
Xor-based compression
parallel migration
-
分类号
TP316.1
[自动化与计算机技术—计算机软件与理论]
-
