期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到96篇文章
< 1 2 … 5 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
Redbud并行文件系统的可扩展存储管理机制
1
作者 易乐天 舒继武 郑纬民 《计算机学报》 EI CSCD 北大核心 2015年第5期961-972,共12页
数据规模和并发访问的需求日益增长,可扩展能力成为并行文件系统的重要需求之一.文中提出了一种基于非对称并行文件系统Redbud的高可扩展资源管理机制.该管理机制根据数据的访问特征,使用不同的树形结构管理不同类型的数据,满足了文件... 数据规模和并发访问的需求日益增长,可扩展能力成为并行文件系统的重要需求之一.文中提出了一种基于非对称并行文件系统Redbud的高可扩展资源管理机制.该管理机制根据数据的访问特征,使用不同的树形结构管理不同类型的数据,满足了文件数据和元数据的并发检索需求;该管理机制还使用文件级的数据分布机制,允许用户利用各种策略进行目录和文件的管理,能满足文件级的数据访问性能、目录级数据可靠性等实际应用需求.多个基准测试程序和实际应用程序的测试结果表明,文件的独占访问能达到磁盘95%的性能;同时,随着设备和应用节点的增加,数据和元数据的并发访问性能线性增长. 展开更多
关键词 redbud并行文件系统 高性能计算 存储资源管理 共享磁盘
在线阅读 下载PDF
Redbud并行文件系统文件布局的设计与实现
2
作者 耿亮 王磊 +1 位作者 鞠时光 舒继武 《小型微型计算机系统》 CSCD 北大核心 2010年第12期2343-2347,共5页
文件布局是文件系统的重要组成部分,维护了文件的逻辑位置到物理位置的映射关系.Redbud并行文件系统(RFS)舍弃了分布式文件系统常用的基于块的文件布局,提出一种基于扩展区间的文件布局方法,提高对大文件的顺序访问读写速度.RFS遵循&qu... 文件布局是文件系统的重要组成部分,维护了文件的逻辑位置到物理位置的映射关系.Redbud并行文件系统(RFS)舍弃了分布式文件系统常用的基于块的文件布局,提出一种基于扩展区间的文件布局方法,提高对大文件的顺序访问读写速度.RFS遵循"满足应用请求最低要求"的原则,即元数据服务器仅返回文件Layout中与应用请求对应的文件区间给客户端,能有效减少了客户端获取Layout的网络传输开销,提高系统的性能,并用空间连续分配策略及扩展区间实时合并策略,有效地提高了文件布局操作的速度.对比测试了RFS、EXT3和NFS对16GB大文件的操作性能,RFS随机读、随机写、顺序读、顺序写文件的吞吐率分别比NFS高47.5%、51.8%、65.6%和75.1%,RFS读文件的吞吐率略高于EXT3,RFS顺序写和随机写的吞吐率分别比EXT3高21.2%和15.4%,同时,RFS总的吞吐率呈线性增长,逼近实验环境的极限值200MB/s,结果表明,基于扩展区间文件布局的Redbud并行文件系统具有高性能. 展开更多
关键词 redbud并行文件系统 并行文件系统 存储区域网 文件布局 扩展区间
在线阅读 下载PDF
基于天河互连的并行文件系统网络驱动
3
作者 董勇 邬会军 +3 位作者 杨梨花 张伟 王睿伯 周恩强 《计算机工程与科学》 北大核心 2025年第3期392-399,共8页
并行文件系统是高性能计算机系统软件栈的重要组成部分。面向高速网络的驱动是并行文件系统提供高效数据访问的关键环节。设计实现了基于天河高速互连网络TH-Express的并行文件网络驱动GLND,在并行化、通信协议以及容错3方面进行了有针... 并行文件系统是高性能计算机系统软件栈的重要组成部分。面向高速网络的驱动是并行文件系统提供高效数据访问的关键环节。设计实现了基于天河高速互连网络TH-Express的并行文件网络驱动GLND,在并行化、通信协议以及容错3方面进行了有针对性的优化,采用VP粒度并行,配合适度均衡的流水线划分,实现了高吞吐率;根据消息大小差异等因素自适应地选择底层通信协议,实现NUMA感知的内存管理机制;通过自适应调节的超时机制来避免软件异常超时对通信操作的影响。实验结果表明,在相同硬件条件下,GLND相比于TCP的写带宽平均提升了23.69%,读带宽平均提升了79.25%。 展开更多
关键词 并行文件系统 互连网络 网络编程接口
在线阅读 下载PDF
并行文件系统中适度贪婪的Cache预取一体化算法 被引量：6
4
作者 卢凯 金士尧 卢锡城 《计算机学报》 EI CSCD 北大核心 1999年第11期1172-1177,共6页
传统文件系统中的Ｃａｃｈｅ和预取技术是两种降低访问延迟的有效方法．在并行科学计算应用的Ｉ／Ｏ访问模式下，简单的Ｃａｃｈｅ和预取技术已无法提供较高的Ｃａｃｈｅ 命中率．该文在分析该Ｉ／Ｏ模式的基础上提出了适度贪婪的Ｃａ... 传统文件系统中的Ｃａｃｈｅ和预取技术是两种降低访问延迟的有效方法．在并行科学计算应用的Ｉ／Ｏ访问模式下，简单的Ｃａｃｈｅ和预取技术已无法提供较高的Ｃａｃｈｅ 命中率．该文在分析该Ｉ／Ｏ模式的基础上提出了适度贪婪的Ｃａｃｈｅ 和预取一体化算法（ＰＧＩ）．该算法充分利用了并行文件系统环境的特点，采用了适度贪婪的动态滑窗技术，可以有效地消除预取时的抖动，降低系统处理开销；并同时采用了Ｃａｃｈｅ 和预取一体化的淘汰损失估计算法，使淘汰的损失降到最低点，在整体上提供了较短的Ｉ／Ｏ 展开更多
关键词 并行文件系统 预取 CACHE 操作系统 算法
在线阅读 下载PDF
面向并行文件系统的性能评估及相对预测模型 被引量：7
5
作者 赵铁柱 董守斌 +1 位作者 Verdi MARCH Simon SEE 《软件学报》 EI CSCD 北大核心 2011年第9期2206-2221,共16页
基于Lustre文件系统，对并行文件系统的性能评估和性能建模进行了研究．通过对性能因子的调研，进行了一系列性能评估实验，并提出性能相关性模~（PRModel）．在实验评估和PRModel分析中发现，在不同的性能因子之间存在着紧密的性能相... 基于Lustre文件系统，对并行文件系统的性能评估和性能建模进行了研究．通过对性能因子的调研，进行了一系列性能评估实验，并提出性能相关性模~（PRModel）．在实验评估和PRModel分析中发现，在不同的性能因子之间存在着紧密的性能相关性，为了挖掘并利用这种相关性信息，提出了一种相对性能预测模（RPPModel）来预测不同性能因子条件下的性能．为了验证RPPModel的有效性，设计了大量实验用例．结果表明，预测结果的平均相对误差能够控制在170／o---28％的范围内，易于使用且具有较好的预测准确度． 展开更多
关键词 并行文件系统 性能评估 性能模型 LUSTRE文件系统
在线阅读 下载PDF
并行文件系统研究综述 被引量：5
6
作者 霍严梅 杨可新 +1 位作者 胡亮 鞠九滨 《小型微型计算机系统》 CSCD 北大核心 2008年第9期1631-1636,共6页
对于运行在机群上的一类I/O密集型应用,I/O成为整个系统的瓶颈,并行文件系统是解决I/O瓶颈问题的重要方法.但如何实现高性价比且高可用的并行文件系统,目前还没有一个成形完整的解决方案.本文阐述了并行文件系统的功能和模型,对现存的... 对于运行在机群上的一类I/O密集型应用,I/O成为整个系统的瓶颈,并行文件系统是解决I/O瓶颈问题的重要方法.但如何实现高性价比且高可用的并行文件系统,目前还没有一个成形完整的解决方案.本文阐述了并行文件系统的功能和模型,对现存的并行文件系统从三个不同的角度进行了分类,详细分析了设计并行文件系统的5个关键技术,分析评价了具有代表性的并行文件系统优缺点,最后讨论了进一步的研究工作. 展开更多
关键词 并行文件系统 体系结构 数据存储 数据缓冲和预取 一致性策略 容错
在线阅读 下载PDF
并行网络文件系统PNFS性能评测与分析 被引量：2
7
作者 张媛 于冠龙 +1 位作者 卢泽新 刘亚萍 《计算机工程与应用》 CSCD 北大核心 2009年第35期65-69,共5页
传统的网络文件系统难以满足高性能计算系统的I/O需求,并行网络文件系统——PNFS可以有效地解决传统网络文件系统在可扩展性、可用性和性能上存在的问题。首先对PNFS的体系结构进行了设计,实现了元数据服务器与存储服务器的分离,消除了... 传统的网络文件系统难以满足高性能计算系统的I/O需求,并行网络文件系统——PNFS可以有效地解决传统网络文件系统在可扩展性、可用性和性能上存在的问题。首先对PNFS的体系结构进行了设计,实现了元数据服务器与存储服务器的分离,消除了由于集中服务器结构引发的I/O瓶颈问题。然后,对PNFS的原型系统进行了性能测试,并与相同环境下NFS的测试结果进行比较与分析,结果表明PNFS能够为客户端提供并行访问文件数据的能力,有着较高的I/O读写带宽和较低的访问延迟,同时实现了客户端I/O带宽与存储服务器规模之间的线性可扩展关系,能较好地满足高性能计算中的I/O需求。 展开更多
关键词 并行网络文件系统(PNFS) 网络文件系统(NFS) 并行文件系统 性能测试
在线阅读 下载PDF
并行文件系统自适应的文件条带化技术 被引量：2
8
作者 魏文国 陈潮填 +1 位作者 谢赞福 陈国华 《计算机工程》 EI CAS CSCD 北大核心 2006年第15期78-80,共3页
研究并行文件系统自适应的文件条带(Striping)策略对改进文件访问性能的影响,并开发动态的文件条带分析模型,利用自动访问模式分类和实时文件系统性能数据为文件条带策略选择模糊逻辑规则库,来优化文件访问性能。研究结果表明:当文件系... 研究并行文件系统自适应的文件条带(Striping)策略对改进文件访问性能的影响,并开发动态的文件条带分析模型,利用自动访问模式分类和实时文件系统性能数据为文件条带策略选择模糊逻辑规则库,来优化文件访问性能。研究结果表明:当文件系统负载低时,可以尽量将文件分布到所有磁盘上来最小化I/O的反馈时间;反之,在系统负载高时,使文件分布的范围小一些以便最大化文件系统整体的吞吐量。并通过实验给出了请求大小、请求宽度、请求到达率与系统性能的相互关系,实证了自适应规则库的正确性。 展开更多
关键词 并行文件系统 文件条带化 自适应 模糊控制
在线阅读 下载PDF
并行文件系统管理工具的设计与实现 被引量：1
9
作者 伍卫国 陈长虹 +2 位作者 张虎 钱德沛 胡雷钧 《计算机工程》 CAS CSCD 北大核心 2007年第18期279-282,共4页
通过对常用并行文件系统体系结构的分析,提出了一种适用于某一大类并行文件系统的管理框架。以该管理框架为基础,实现了PVFS并行文件系统的管理工具,并为用户提供了单一映像的管理控制台。功能测试结果表明,该管理工具的引入降低了并行... 通过对常用并行文件系统体系结构的分析,提出了一种适用于某一大类并行文件系统的管理框架。以该管理框架为基础,实现了PVFS并行文件系统的管理工具,并为用户提供了单一映像的管理控制台。功能测试结果表明,该管理工具的引入降低了并行文件系统管理的复杂性。 展开更多
关键词 并行文件系统 文件系统管理工具 并行虚拟文件系统(PVFS)
在线阅读 下载PDF
基于机器学习的并行文件系统性能预测 被引量：5
10
作者 赵铁柱 董守斌 +2 位作者 董守斌 Verdi March Simon See 《计算机研究与发展》 EI CSCD 北大核心 2011年第7期1202-1215,共14页
并行文件系统能有效解决高性能计算系统的海量数据存储和I/O瓶颈问题.由于影响系统性能的因素十分复杂,如何有效地评估系统性能并对性能进行预测成为一个潜在的挑战和热点.以并行文件系统的性能评估和预测作为研究目标,在研究文件系统... 并行文件系统能有效解决高性能计算系统的海量数据存储和I/O瓶颈问题.由于影响系统性能的因素十分复杂,如何有效地评估系统性能并对性能进行预测成为一个潜在的挑战和热点.以并行文件系统的性能评估和预测作为研究目标,在研究文件系统的架构和性能因子后,设计了一个基于机器学习的并行文件系统预测模型,运用特征选择算法对性能因子数量进行约简,挖掘出系统性能和影响因子之间的特定的关系进行性能预测.通过设计大量实验用例,对特定的Lustre文件系统进行性能评估和预测.评估和实验结果表明:threads/OST、对象存储器(OSS)的数量、磁盘数目和RAID的组织方式是4个调整系统性能最重要因子,预测结果的平均相对误差能控制在25.1%～32.1%之间,具有较好预准确度. 展开更多
关键词 并行文件系统 性能评估 性能预测 性能模型 机器学习
在线阅读 下载PDF
基于工作站网络的并行文件系统 被引量：4
11
作者 李群 靖捷 《软件学报》 EI CSCD 北大核心 1997年第A00期386-391,共6页
为平衡输入输出子系统与处理机计算机及网络传输速率，本文提出了一个基于工作站网络环境下的并行文件系统Ｐａｒｆｓｎｏｗ并简要介绍了该系统组成，文件操作等，最后给出了性能评测。
关键词 并行文件系统 工作站网络 并行处理 操作系统
在线阅读 下载PDF
高可用并行文件系统的分布式元数据管理 被引量：3
12
作者 李胜利 唐维 +2 位作者 石柯 程斌 蒙廷友 《应用科学学报》 CAS CSCD 北大核心 2005年第3期297-299,共3页
提出一种分布式元数据管理方式,实现了HANDY并行文件系统元数据的高可用,并且使元数据服务器具有动态可扩展性.
关键词 并行文件系统 分布式 高可用 元数据管理 HANDY 管理方式 可扩展性 数据服务
在线阅读 下载PDF
并行文件系统的关键技术与框架设计 被引量：2
13
作者 魏文国 谢赞福 +1 位作者 陈潮填 陈国华 《计算机工程》 CAS CSCD 北大核心 2004年第13期44-46,共3页
论述并行文件系统的工作负载特征——基于空间和时间的文件访问模式,并对非连续数据访问技术进行比较研究;给出并行文件系统设计的原则与目标,最后提出并行文件系统的框架。
关键词 LINUX集群 并行文件系统 非连续数据访问 框架设计
在线阅读 下载PDF
BeeGFS并行文件系统性能优化技术研究 被引量：2
14
作者 宋振龙 李小芳 +4 位作者 李琼 谢徐超 魏登萍 董勇 王睿伯 《计算机工程与科学》 CSCD 北大核心 2020年第10期1765-1773,共9页
大数据和人工智能时代,超级计算中心或数据中心的存储需求从PB级向Exabyte级扩展,许多大数据和智能应用程序在高性能计算(HPC)系统上运行,新兴的深度学习应用程序具有批量小文件随机输入特点,使HPC系统的I/O模式更趋复杂,存储管理和I/O... 大数据和人工智能时代,超级计算中心或数据中心的存储需求从PB级向Exabyte级扩展,许多大数据和智能应用程序在高性能计算(HPC)系统上运行,新兴的深度学习应用程序具有批量小文件随机输入特点,使HPC系统的I/O模式更趋复杂,存储管理和I/O瓶颈问题日益突出。并行文件系统是管理超级计算机数据存储的有效手段,但传统并行文件系统主要面向高带宽需求的科学计算任务,难以满足智能应用程序存储需求。针对上述问题,以新兴的BeeGFS文件系统为基础,研究并行文件系统性能优化的关键技术。设计实现了基于键值存储的元数据管理模块以优化元数据IOPS,基于异步I/O和多线程技术的并行I/O处理模型以提升I/O处理并发度,并采用多轨通信机制以提高网络通信带宽。构建了IO500性能评测环境,在相同的配置环境下,I/O带宽和元数据2类基准测试结果表明,改进后的并行文件系统在元数据、数据读写性能上大幅提升,IO500测分是原有系统的2倍以上。 展开更多
关键词 高性能计算 并行文件系统 BeeGFS IO500
在线阅读 下载PDF
并行文件系统集中式元数据管理高可用系统设计 被引量：6
15
作者 庞丽萍 何飞跃 +1 位作者 岳建辉 徐婕 《计算机工程与科学》 CSCD 2004年第11期87-88,97,共3页
本文针对并行文件系统集中式元数据管理存在单一失效点的问题,设计了一种双元服务器高可用系统。通过元数据镜像生成冗余副本,保证了元数据的可靠性;通过故障屏蔽,实现了对客户端的连续服务。所有功能都是用内核模块来实现,因此对用户... 本文针对并行文件系统集中式元数据管理存在单一失效点的问题,设计了一种双元服务器高可用系统。通过元数据镜像生成冗余副本,保证了元数据的可靠性;通过故障屏蔽,实现了对客户端的连续服务。所有功能都是用内核模块来实现,因此对用户是完全透明的。最后,本文阐述了各个模块的实现,并对该系统进行了可靠性分析。 展开更多
关键词 并行文件系统 元数据管理 内核模块 高可用系统 服务器 冗余 客户端 故障屏蔽 功能 可靠性
在线阅读 下载PDF
并行文件系统Lustre细粒度I/O性能优化 被引量：3
16
作者 李林林 吴万国 孙良旭 《计算机工程与应用》 CSCD 2012年第17期88-92,共5页
并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优... 并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优先(Fine Grained First,FGF)LRU算法。在OST端及Client端的页高速缓存中最大程度地保留细粒度I/O的页面,降低细粒度I/O引起的页面下沉速度,延长细粒度I/O页面在主存中的时间,进而减少对磁盘的访问次数,降低磁盘访问开销。通过对实验数据的对比和分析,验证了FGF-LRU算法的有效性。在不影响粗粒度I/O性能的情况下,提高了细粒度I/O性能,最终实现提高系统整体I/O性能。 展开更多
关键词 并行文件系统 LUSTRE 细粒度 输入/输出(I/O)
在线阅读 下载PDF
对象存储并行文件系统小文件性能优化研究 被引量：2
17
作者 周恩强 董勇 +1 位作者 张伟 卢宇彤 《计算机工程与科学》 CSCD 北大核心 2013年第12期8-13,共6页
对象存储并行文件系统在高性能计算领域被广泛采用,虽然大文件访问性能优异,但其小文件访问存在局限性。通过分析典型对象存储并行文件系统下的小文件的访问开销,采用服务端小文件专用缓存和基于对象命名关联性预取的方法提高小文件的... 对象存储并行文件系统在高性能计算领域被广泛采用,虽然大文件访问性能优异,但其小文件访问存在局限性。通过分析典型对象存储并行文件系统下的小文件的访问开销,采用服务端小文件专用缓存和基于对象命名关联性预取的方法提高小文件的缓存命中率,降低对象存储架构下小文件的读取延迟。基于Lustre并行文件系统实现了该方法。实际系统测试表明,该方法可显著提高小文件访问性能,其中小文件打包性能提升最大可达88%。 展开更多
关键词 并行文件系统 缓存 对象存储 文件预取
在线阅读 下载PDF
并行文件系统的设计 被引量：4
18
作者 李群 谢立 孙种秀 《计算机科学》 CSCD 北大核心 1996年第4期35-39,共5页
随着处理机速度和网络传输速度越来越快,外部1/0设备的速度却相对落后了三、四个数量级,已经成为影响整个系统速度的瓶颈.另一方面,诸如多媒体、图像处理这些应用所需要的数据传输率越来越大,因而有必要支持高速的I/O子系统以弥补磁盘... 随着处理机速度和网络传输速度越来越快,外部1/0设备的速度却相对落后了三、四个数量级,已经成为影响整个系统速度的瓶颈.另一方面,诸如多媒体、图像处理这些应用所需要的数据传输率越来越大,因而有必要支持高速的I/O子系统以弥补磁盘与处理机之间速度的差异,支持I/0密集的应用之高数据传输率。为了提高1/0速率,提供大的I/O带宽,在硬件结构上可以并行使用磁盘来解决。对于一个MIMD系统中使用多磁盘输入/输出子系统, 展开更多
关键词 并行文件系统 设计 操作系统
在线阅读 下载PDF
一种适用于并行文件系统的高可用机制 被引量：1
19
作者 张虎 伍卫国 +1 位作者 董小社 钱德沛 《西安交通大学学报》 EI CAS CSCD 北大核心 2005年第10期1085-1087,1096,共4页
针对并行文件系统文件数据分布存储的特性所带来的系统可靠性和可用性降低的问题,提出了一种提高并行文件系统可靠性与可用性的机制.该机制采用数据镜像技术,应用逻辑镜像环来指定存储节点间的镜像关系,使得一个存储节点既存储自身的数... 针对并行文件系统文件数据分布存储的特性所带来的系统可靠性和可用性降低的问题,提出了一种提高并行文件系统可靠性与可用性的机制.该机制采用数据镜像技术,应用逻辑镜像环来指定存储节点间的镜像关系,使得一个存储节点既存储自身的数据,也作为其他节点的数据备份节点.该机制还可以通过调整镜像深度,以满足用户对文件系统不同级别的可靠性和可用性要求.同时,建立了马尔可夫链模型,以评估所提机制的可靠性和可用性.数学求解表明,在镜像深度为2时,应用该机制的并行文件系统发生数据丢失的平均时间大大提高,约为原系统的32倍. 展开更多
关键词 并行文件系统 逻辑镜像环 镜像深度 马尔可夫链模型
在线阅读 下载PDF
一个基于NOW的跨平台并行文件系统的设计和实现 被引量：1
20
作者 赵欣 陈道蓄 谢立 《计算机科学》 CSCD 北大核心 2000年第2期21-25,共5页
1.引言近年来,国内外对并行文件系统做了很多的研究,著名的有:一些商用的并行文件系统,如Intel为iPSC/2和iPSC/860而设计的CFS,以及IntelParagon的并行文件系统PPFS。还有HPF的运行支撑系统PASSION。研究性的则有PIOUS等。它们通常是针... 1.引言近年来,国内外对并行文件系统做了很多的研究,著名的有:一些商用的并行文件系统,如Intel为iPSC/2和iPSC/860而设计的CFS,以及IntelParagon的并行文件系统PPFS。还有HPF的运行支撑系统PASSION。研究性的则有PIOUS等。它们通常是针对并行机设计的,应用范围较为狭窄。随着对NOW(Network of Workstations,工作站网络)的研究深入。 展开更多
关键词 并行文件系统 NOW 操作系统 磁盘
在线阅读 下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 5 下一页 到第 页
关于我们 | 版权声明 | 联系我们 | 帮助中心| 意见反馈
主办单位：上海市教育委员会
技术支持：重庆维普资讯有限公司
渝公网安备 50019002500403号
使用帮助 返回顶部