期刊文献+
共找到8篇文章
< 1 >
每页显示 20 50 100
基于天河互连的并行文件系统网络驱动
1
作者 董勇 邬会军 +3 位作者 杨梨花 张伟 王睿伯 周恩强 《计算机工程与科学》 北大核心 2025年第3期392-399,共8页
并行文件系统是高性能计算机系统软件栈的重要组成部分。面向高速网络的驱动是并行文件系统提供高效数据访问的关键环节。设计实现了基于天河高速互连网络TH-Express的并行文件网络驱动GLND,在并行化、通信协议以及容错3方面进行了有针... 并行文件系统是高性能计算机系统软件栈的重要组成部分。面向高速网络的驱动是并行文件系统提供高效数据访问的关键环节。设计实现了基于天河高速互连网络TH-Express的并行文件网络驱动GLND,在并行化、通信协议以及容错3方面进行了有针对性的优化,采用VP粒度并行,配合适度均衡的流水线划分,实现了高吞吐率;根据消息大小差异等因素自适应地选择底层通信协议,实现NUMA感知的内存管理机制;通过自适应调节的超时机制来避免软件异常超时对通信操作的影响。实验结果表明,在相同硬件条件下,GLND相比于TCP的写带宽平均提升了23.69%,读带宽平均提升了79.25%。 展开更多
关键词 并行文件系统 互连网络 网络编程接口
在线阅读 下载PDF
并行网络文件系统PNFS性能评测与分析 被引量:2
2
作者 张媛 于冠龙 +1 位作者 卢泽新 刘亚萍 《计算机工程与应用》 CSCD 北大核心 2009年第35期65-69,共5页
传统的网络文件系统难以满足高性能计算系统的I/O需求,并行网络文件系统——PNFS可以有效地解决传统网络文件系统在可扩展性、可用性和性能上存在的问题。首先对PNFS的体系结构进行了设计,实现了元数据服务器与存储服务器的分离,消除了... 传统的网络文件系统难以满足高性能计算系统的I/O需求,并行网络文件系统——PNFS可以有效地解决传统网络文件系统在可扩展性、可用性和性能上存在的问题。首先对PNFS的体系结构进行了设计,实现了元数据服务器与存储服务器的分离,消除了由于集中服务器结构引发的I/O瓶颈问题。然后,对PNFS的原型系统进行了性能测试,并与相同环境下NFS的测试结果进行比较与分析,结果表明PNFS能够为客户端提供并行访问文件数据的能力,有着较高的I/O读写带宽和较低的访问延迟,同时实现了客户端I/O带宽与存储服务器规模之间的线性可扩展关系,能较好地满足高性能计算中的I/O需求。 展开更多
关键词 并行网络文件系统(PNFS) 网络文件系统(NFS) 并行文件系统 性能测试
在线阅读 下载PDF
Readdir++:一种并行网络文件系统中海量小文件读优化技术 被引量:1
3
作者 杨洪章 张军伟 +1 位作者 刘振军 张建刚 《小型微型计算机系统》 CSCD 北大核心 2014年第11期2402-2409,共8页
高效管理海量小文件,提供低延时的小文件访问服务,是并行网络文件系统的研究热点.p NFS采用数据带外访问模式,元数据的访问频率高,对海量小文件的访问性能造成了很大影响.本文扩展了p NFS中的读目录授权机制,并在其框架下提出了一种Read... 高效管理海量小文件,提供低延时的小文件访问服务,是并行网络文件系统的研究热点.p NFS采用数据带外访问模式,元数据的访问频率高,对海量小文件的访问性能造成了很大影响.本文扩展了p NFS中的读目录授权机制,并在其框架下提出了一种Readdir++技术,用于批量预取layout等元数据,并确保预取元数据的有效性.Readdir++技术避免了小文件读取过程中同步的元数据获取开销,有效降低了访问延迟,提升了海量小文件的读取访问性能.典型应用环境实测表明,对比p NFS系统,Readdir++技术可将海量小文件读取访问过程中元数据性能提升到14.27倍,总体性能提升到1.78倍. 展开更多
关键词 海量小文件 并行网络文件系统 元数据 预取技术
在线阅读 下载PDF
基于pNFS的小文件间数据预读机制研究 被引量:1
4
作者 杨洪章 张军伟 +1 位作者 许鲁 刘振军 《计算机研究与发展》 EI CSCD 北大核心 2014年第S1期57-66,共10页
随着信息技术飞速发展,小文件的数量越来越多.高效管理海量小文件、提供低延时的小文件访问服务,是并行网络文件系统的研究热点.小文件数据读取访问中,由于数据读取粒度小并且不同小文件之间的数据访问空间连续性差,难以发挥数据存储设... 随着信息技术飞速发展,小文件的数量越来越多.高效管理海量小文件、提供低延时的小文件访问服务,是并行网络文件系统的研究热点.小文件数据读取访问中,由于数据读取粒度小并且不同小文件之间的数据访问空间连续性差,难以发挥数据存储设备的大粒度顺序访问的性能优势,导致小文件的访问性能远远低于大文件的访问性能.在扩展只读目录授权机制框架下,提出一种小文件间数据预读机制,充分发挥了数据存储设备大粒度顺序访问性能的优势,大幅降低了小文件数据读取访问延迟.典型应用环境实测表明,对比pNFS系统,小文件数据顺序读取访问性能最高可提升8.92倍,随机读取性能最高可提升11.82倍. 展开更多
关键词 小文件 并行网络文件系统 数据预读 目录授权机制
在线阅读 下载PDF
一种基于光纤通道存域网的存储管理系统的设计与实现 被引量:9
5
作者 余胜生 刘念 周敬利 《小型微型计算机系统》 CSCD 北大核心 2002年第4期401-404,共4页
存储局域网 (Storage Area Network)的管理问题是目前学术界和业界的一个热点 .本文首先分析了 SAN管理中面临的主要问题及解决途径 ,进而提出了一套按分层思想设计的存储网络管理系统 (SNMS) ,详细介绍了每层的定义、功能。
关键词 光纤通道存域网 存储管理系统 设计 存储设备 计算机网络
在线阅读 下载PDF
Parfsnow++:一个充分使用内存的并行文件系统
6
作者 李群 谢立 孙钟秀 《电子学报》 EI CAS CSCD 北大核心 1999年第2期81-82,共2页
本文介绍了一个在工作站网络环境下实现的加入了分布式共享存储器机制的并行文件系统Parfsnow++,它充分使用工作站的内存资源进行数据共享和替换.本文介绍了此文件系统的系统组成、文件操作.最后给出了性能评价.
关键词 并行文件系统 工作站网络 分布式 共享存储器
在线阅读 下载PDF
基于合并控制消息的分布式文件系统优化机制 被引量:1
7
作者 刘扬宽 蔡涛 +1 位作者 鞠时光 詹永照 《小型微型计算机系统》 CSCD 北大核心 2013年第6期1317-1320,共4页
目前将控制消息通信与数据通信分离能大大提高分布式文件系统的性能,但大量的控制消息通信仍然是影响分布式文件系统性能的重要因素.在分析pNFS中控制消息通信协议的基础上,基于操作语义,提出一种基于合并RPC的控制消息通信协议,通过减... 目前将控制消息通信与数据通信分离能大大提高分布式文件系统的性能,但大量的控制消息通信仍然是影响分布式文件系统性能的重要因素.在分析pNFS中控制消息通信协议的基础上,基于操作语义,提出一种基于合并RPC的控制消息通信协议,通过减少控制消息通信的数量,达到提高分布式文件系统读写性能的目的;并在pNFS-2.6.33的基础上实现一个原型系统,使用Filebench以及多种负载数据集进行了测试与分析,实验结果显示在文件大小达到2GB以上时读写性能比之前提高了约5%. 展开更多
关键词 分布式文件系统 远程过程调用 通信协议 并行网络文件系统
在线阅读 下载PDF
Redbud并行文件系统文件布局的设计与实现
8
作者 耿亮 王磊 +1 位作者 鞠时光 舒继武 《小型微型计算机系统》 CSCD 北大核心 2010年第12期2343-2347,共5页
文件布局是文件系统的重要组成部分,维护了文件的逻辑位置到物理位置的映射关系.Redbud并行文件系统(RFS)舍弃了分布式文件系统常用的基于块的文件布局,提出一种基于扩展区间的文件布局方法,提高对大文件的顺序访问读写速度.RFS遵循&qu... 文件布局是文件系统的重要组成部分,维护了文件的逻辑位置到物理位置的映射关系.Redbud并行文件系统(RFS)舍弃了分布式文件系统常用的基于块的文件布局,提出一种基于扩展区间的文件布局方法,提高对大文件的顺序访问读写速度.RFS遵循"满足应用请求最低要求"的原则,即元数据服务器仅返回文件Layout中与应用请求对应的文件区间给客户端,能有效减少了客户端获取Layout的网络传输开销,提高系统的性能,并用空间连续分配策略及扩展区间实时合并策略,有效地提高了文件布局操作的速度.对比测试了RFS、EXT3和NFS对16GB大文件的操作性能,RFS随机读、随机写、顺序读、顺序写文件的吞吐率分别比NFS高47.5%、51.8%、65.6%和75.1%,RFS读文件的吞吐率略高于EXT3,RFS顺序写和随机写的吞吐率分别比EXT3高21.2%和15.4%,同时,RFS总的吞吐率呈线性增长,逼近实验环境的极限值200MB/s,结果表明,基于扩展区间文件布局的Redbud并行文件系统具有高性能. 展开更多
关键词 Redbud并行文件系统 并行文件系统 存储区域网 文件布局 扩展区间
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部