期刊文献+
共找到85篇文章
< 1 2 5 >
每页显示 20 50 100
基于天河互连的并行文件系统网络驱动
1
作者 董勇 邬会军 +3 位作者 杨梨花 张伟 王睿伯 周恩强 《计算机工程与科学》 北大核心 2025年第3期392-399,共8页
并行文件系统是高性能计算机系统软件栈的重要组成部分。面向高速网络的驱动是并行文件系统提供高效数据访问的关键环节。设计实现了基于天河高速互连网络TH-Express的并行文件网络驱动GLND,在并行化、通信协议以及容错3方面进行了有针... 并行文件系统是高性能计算机系统软件栈的重要组成部分。面向高速网络的驱动是并行文件系统提供高效数据访问的关键环节。设计实现了基于天河高速互连网络TH-Express的并行文件网络驱动GLND,在并行化、通信协议以及容错3方面进行了有针对性的优化,采用VP粒度并行,配合适度均衡的流水线划分,实现了高吞吐率;根据消息大小差异等因素自适应地选择底层通信协议,实现NUMA感知的内存管理机制;通过自适应调节的超时机制来避免软件异常超时对通信操作的影响。实验结果表明,在相同硬件条件下,GLND相比于TCP的写带宽平均提升了23.69%,读带宽平均提升了79.25%。 展开更多
关键词 并行文件系统 互连网络 网络编程接口
在线阅读 下载PDF
基于作业路径的存储系统作业感知条带优化方法
2
作者 鲜港 杨文祥 +2 位作者 张晓蓉 喻杰 田永强 《计算机工程》 北大核心 2025年第3期34-44,共11页
为解决超级计算机I/O效率不高、用户无法充分利用存储系统I/O能力的问题,研究生产型超级计算机对象存储目标(OST)上的工作负载,分析高性能计算作业的I/O模式和整个系统中作业的I/O分布情况,探索提升I/O效率的方法。研究结果显示:在传统... 为解决超级计算机I/O效率不高、用户无法充分利用存储系统I/O能力的问题,研究生产型超级计算机对象存储目标(OST)上的工作负载,分析高性能计算作业的I/O模式和整个系统中作业的I/O分布情况,探索提升I/O效率的方法。研究结果显示:在传统非条带化设置下,OST上的瞬时负载严重不平衡,导致无法调用未充分利用的OST进行I/O请求;不同作业的I/O模式对OST的使用情况也有所不同,因此可以根据作业的I/O模式适当调整文件条带布局,调动未充分利用的OST来提升I/O性能。提出一种作业感知条带优化方法,包括静态和动态文件条带化。静态文件条带化将用户的作业均进行条带优化,而动态文件条带化利用作业名和作业路径的聚类方式提取作业之间的相似性,预测用户部分可条带优化的作业,并在作业完成后还原条带配置以减小条带设置错误的负面影响。实验结果表明,作业感知文件条带化能够增加作业使用的OST数量,有效提升作业的并行I/O性能,同时不会对系统稳定性产生显著影响。 展开更多
关键词 作业感知 文件条带化 高性能计算 并行I/O 存储系统
在线阅读 下载PDF
并行文件系统集中式元数据管理高可用系统设计 被引量:6
3
作者 庞丽萍 何飞跃 +1 位作者 岳建辉 徐婕 《计算机工程与科学》 CSCD 2004年第11期87-88,97,共3页
本文针对并行文件系统集中式元数据管理存在单一失效点的问题,设计了一种双元服务器高可用系统。通过元数据镜像生成冗余副本,保证了元数据的可靠性;通过故障屏蔽,实现了对客户端的连续服务。所有功能都是用内核模块来实现,因此对用户... 本文针对并行文件系统集中式元数据管理存在单一失效点的问题,设计了一种双元服务器高可用系统。通过元数据镜像生成冗余副本,保证了元数据的可靠性;通过故障屏蔽,实现了对客户端的连续服务。所有功能都是用内核模块来实现,因此对用户是完全透明的。最后,本文阐述了各个模块的实现,并对该系统进行了可靠性分析。 展开更多
关键词 并行文件系统 元数据管理 内核模块 高可用系统 服务器 冗余 客户端 故障屏蔽 功能 可靠性
在线阅读 下载PDF
高可用并行文件系统的分布式元数据管理 被引量:3
4
作者 李胜利 唐维 +2 位作者 石柯 程斌 蒙廷友 《应用科学学报》 CAS CSCD 北大核心 2005年第3期297-299,共3页
提出一种分布式元数据管理方式,实现了HANDY并行文件系统元数据的高可用,并且使元数据服务器具有动态可扩展性.
关键词 并行文件系统 分布式 高可用 元数据管理 HANDY 管理方式 可扩展性 数据服务
在线阅读 下载PDF
并行文件系统中适度贪婪的Cache预取一体化算法 被引量:6
5
作者 卢凯 金士尧 卢锡城 《计算机学报》 EI CSCD 北大核心 1999年第11期1172-1177,共6页
传统文件系统中的Cache和预取技术是两种降低访问延迟的有效方法.在并行科学计算应用的I/O访问模式下,简单的Cache和预取技术已无法提供较高的Cache 命中率.该文在分析该I/O模式的基础上提出了适度贪婪的Ca... 传统文件系统中的Cache和预取技术是两种降低访问延迟的有效方法.在并行科学计算应用的I/O访问模式下,简单的Cache和预取技术已无法提供较高的Cache 命中率.该文在分析该I/O模式的基础上提出了适度贪婪的Cache 和预取一体化算法(PGI).该算法充分利用了并行文件系统环境的特点,采用了适度贪婪的动态滑窗技术,可以有效地消除预取时的抖动,降低系统处理开销;并同时采用了Cache 和预取一体化的淘汰损失估计算法,使淘汰的损失降到最低点,在整体上提供了较短的I/O 展开更多
关键词 并行文件系统 预取 CACHE 操作系统 算法
在线阅读 下载PDF
并行文件系统研究综述 被引量:5
6
作者 霍严梅 杨可新 +1 位作者 胡亮 鞠九滨 《小型微型计算机系统》 CSCD 北大核心 2008年第9期1631-1636,共6页
对于运行在机群上的一类I/O密集型应用,I/O成为整个系统的瓶颈,并行文件系统是解决I/O瓶颈问题的重要方法.但如何实现高性价比且高可用的并行文件系统,目前还没有一个成形完整的解决方案.本文阐述了并行文件系统的功能和模型,对现存的... 对于运行在机群上的一类I/O密集型应用,I/O成为整个系统的瓶颈,并行文件系统是解决I/O瓶颈问题的重要方法.但如何实现高性价比且高可用的并行文件系统,目前还没有一个成形完整的解决方案.本文阐述了并行文件系统的功能和模型,对现存的并行文件系统从三个不同的角度进行了分类,详细分析了设计并行文件系统的5个关键技术,分析评价了具有代表性的并行文件系统优缺点,最后讨论了进一步的研究工作. 展开更多
关键词 并行文件系统 体系结构 数据存储 数据缓冲和预取 一致性策略 容错
在线阅读 下载PDF
基于分布式共享存储系统的并行文件子系统DPFS 被引量:4
7
作者 章隆兵 陈意云 +1 位作者 章锋 陈国良 《计算机研究与发展》 EI CSCD 北大核心 2002年第3期360-366,共7页
为了改进软件 DSM系统中对文件的存取性能以获得更好的应用程序性能 ,基于软件 DSM系统 JIAJIA的并行文件子系统 DPFS被开发出来 .DPFS系统采用文件映射接口作为应用编程接口 ,使得文件存取界面简单 ,并且能充分利用软件 DSM系统的大量... 为了改进软件 DSM系统中对文件的存取性能以获得更好的应用程序性能 ,基于软件 DSM系统 JIAJIA的并行文件子系统 DPFS被开发出来 .DPFS系统采用文件映射接口作为应用编程接口 ,使得文件存取界面简单 ,并且能充分利用软件 DSM系统的大量特性 ,系统设计相对简单 .在曙光 2 0 0 0并行机上进行的应用测试表明 ,采用DPFS文件子系统后 。 展开更多
关键词 分布式共享存储系统 文件映射接口 DPFS 并行文件子系统 工作站网络
在线阅读 下载PDF
多源定量遥感产品并行处理系统设计及实现 被引量:3
8
作者 李宏益 唐娉 +2 位作者 单小军 张正 冯峥 《计算机应用研究》 CSCD 北大核心 2016年第11期3334-3339,共6页
针对遥感数据非结构化、有格式、单景数据量大、记录总量小、大部分处理过程后数据量不显著减少的特点和大规模遥感数据处理的迫切需求,基于已有硬件资源,设计和实现了集中式集群计算的多源定量遥感产品生产系统。系统为解决遥感科学工... 针对遥感数据非结构化、有格式、单景数据量大、记录总量小、大部分处理过程后数据量不显著减少的特点和大规模遥感数据处理的迫切需求,基于已有硬件资源,设计和实现了集中式集群计算的多源定量遥感产品生产系统。系统为解决遥感科学工作者设计开发的算法进行并行计算的问题以及大规模数据管理的需求,设计了基于任务并行的处理系统和面向应用的并行文件系统。系统集成了遥感科学工作者开发的30多种原始数据的预处理算法和50多种多源定量遥感产品生产算法,解决了多源定量遥感产品规模化流程化按需生产的难题,并进行了产品生产,证明了系统在管理和处理大规模遥感数据时的可靠性和有效性。 展开更多
关键词 并行处理系统 并行文件系统 定量遥感产品 处理模式
在线阅读 下载PDF
面向分层混合存储架构的协同式突发缓冲技术 被引量:3
9
作者 周恩强 张伟 +1 位作者 董勇 卢宇彤 《国防科技大学学报》 EI CAS CSCD 北大核心 2015年第1期47-52,共6页
科学计算产生和分析的数据规模日益增长,高性能计算机的存储系统在体系架构和软件管理方法上面临重大挑战。针对天河-2系统的新型分层混合存储架构,提出一种由应用程序耦合的协同式突发缓冲技术来有效利用其存储资源优势。该方法采用运... 科学计算产生和分析的数据规模日益增长,高性能计算机的存储系统在体系架构和软件管理方法上面临重大挑战。针对天河-2系统的新型分层混合存储架构,提出一种由应用程序耦合的协同式突发缓冲技术来有效利用其存储资源优势。该方法采用运行时动态耦合的方法,将临近计算任务的分布式高速存储资源聚合成为一个的巨大的协同式突发缓冲区,通过采用文件命名空间投影的映射方法组织全局数据视图,利用位置亲和和感知数据意图的方法来挖掘空间局部性和时间局部性,并利用应用并发度感知的策略优化数据移动效率。天河-2系统的测试结果表明,该方法能够有效优化多种典型应用场景,可获得高可扩展的突发并行输出带宽和稳定的持续并行输出带宽,可显著提升数据分析场景的输入/输出性能,适合应用于大规模超级计算机的存储系统。 展开更多
关键词 超级计算机 存储架构 并行文件系统 突发缓冲区
在线阅读 下载PDF
面向并行文件系统的性能评估及相对预测模型 被引量:7
10
作者 赵铁柱 董守斌 +1 位作者 Verdi MARCH Simon SEE 《软件学报》 EI CSCD 北大核心 2011年第9期2206-2221,共16页
基于Lustre文件系统,对并行文件系统的性能评估和性能建模进行了研究.通过对性能因子的调研,进行了一系列性能评估实验,并提出性能相关性模~(PRModel).在实验评估和PRModel分析中发现,在不同的性能因子之间存在着紧密的性能相... 基于Lustre文件系统,对并行文件系统的性能评估和性能建模进行了研究.通过对性能因子的调研,进行了一系列性能评估实验,并提出性能相关性模~(PRModel).在实验评估和PRModel分析中发现,在不同的性能因子之间存在着紧密的性能相关性,为了挖掘并利用这种相关性信息,提出了一种相对性能预测模(RPPModel)来预测不同性能因子条件下的性能.为了验证RPPModel的有效性,设计了大量实验用例.结果表明,预测结果的平均相对误差能够控制在170/o---28%的范围内,易于使用且具有较好的预测准确度. 展开更多
关键词 并行文件系统 性能评估 性能模型 LUSTRE文件系统
在线阅读 下载PDF
并行文件系统自适应的文件条带化技术 被引量:2
11
作者 魏文国 陈潮填 +1 位作者 谢赞福 陈国华 《计算机工程》 EI CAS CSCD 北大核心 2006年第15期78-80,共3页
研究并行文件系统自适应的文件条带(Striping)策略对改进文件访问性能的影响,并开发动态的文件条带分析模型,利用自动访问模式分类和实时文件系统性能数据为文件条带策略选择模糊逻辑规则库,来优化文件访问性能。研究结果表明:当文件系... 研究并行文件系统自适应的文件条带(Striping)策略对改进文件访问性能的影响,并开发动态的文件条带分析模型,利用自动访问模式分类和实时文件系统性能数据为文件条带策略选择模糊逻辑规则库,来优化文件访问性能。研究结果表明:当文件系统负载低时,可以尽量将文件分布到所有磁盘上来最小化I/O的反馈时间;反之,在系统负载高时,使文件分布的范围小一些以便最大化文件系统整体的吞吐量。并通过实验给出了请求大小、请求宽度、请求到达率与系统性能的相互关系,实证了自适应规则库的正确性。 展开更多
关键词 并行文件系统 文件条带化 自适应 模糊控制
在线阅读 下载PDF
并行网络文件系统PNFS性能评测与分析 被引量:2
12
作者 张媛 于冠龙 +1 位作者 卢泽新 刘亚萍 《计算机工程与应用》 CSCD 北大核心 2009年第35期65-69,共5页
传统的网络文件系统难以满足高性能计算系统的I/O需求,并行网络文件系统——PNFS可以有效地解决传统网络文件系统在可扩展性、可用性和性能上存在的问题。首先对PNFS的体系结构进行了设计,实现了元数据服务器与存储服务器的分离,消除了... 传统的网络文件系统难以满足高性能计算系统的I/O需求,并行网络文件系统——PNFS可以有效地解决传统网络文件系统在可扩展性、可用性和性能上存在的问题。首先对PNFS的体系结构进行了设计,实现了元数据服务器与存储服务器的分离,消除了由于集中服务器结构引发的I/O瓶颈问题。然后,对PNFS的原型系统进行了性能测试,并与相同环境下NFS的测试结果进行比较与分析,结果表明PNFS能够为客户端提供并行访问文件数据的能力,有着较高的I/O读写带宽和较低的访问延迟,同时实现了客户端I/O带宽与存储服务器规模之间的线性可扩展关系,能较好地满足高性能计算中的I/O需求。 展开更多
关键词 并行网络文件系统(PNFS) 网络文件系统(NFS) 并行文件系统 性能测试
在线阅读 下载PDF
并行文件系统的关键技术与框架设计 被引量:2
13
作者 魏文国 谢赞福 +1 位作者 陈潮填 陈国华 《计算机工程》 CAS CSCD 北大核心 2004年第13期44-46,共3页
论述并行文件系统的工作负载特征——基于空间和时间的文件访问模式,并对非连续数据访问技术进行比较研究;给出并行文件系统设计的原则与目标,最后提出并行文件系统的框架。
关键词 LINUX集群 并行文件系统 非连续数据访问 框架设计
在线阅读 下载PDF
Lustre分布式锁管理器的分析与改进 被引量:4
14
作者 钱迎进 肖侬 金士尧 《计算机工程与科学》 CSCD 北大核心 2009年第A01期146-149,共4页
分布式文件系统一般使用分布式锁管理器技术为系统中的共享资源提供协同访问和一致性视图,并且保证数据并发访问的安全性,避免潜在的数据破坏的危险。本文首先分析了分布式文件系统Lustre分布式锁管理器的基本原理和实现,并针对发生冲... 分布式文件系统一般使用分布式锁管理器技术为系统中的共享资源提供协同访问和一致性视图,并且保证数据并发访问的安全性,避免潜在的数据破坏的危险。本文首先分析了分布式文件系统Lustre分布式锁管理器的基本原理和实现,并针对发生冲突时锁请求的延迟存在的问题提出了改进的方案,它不仅提高了I/O性能,降低访问延迟,而且提高了文件锁服务的可靠性。 展开更多
关键词 分布式锁管理器 并行文件系统 一致性 租约 LUSTRE
在线阅读 下载PDF
并行文件系统Lustre细粒度I/O性能优化 被引量:3
15
作者 李林林 吴万国 孙良旭 《计算机工程与应用》 CSCD 2012年第17期88-92,共5页
并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优... 并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优先(Fine Grained First,FGF)LRU算法。在OST端及Client端的页高速缓存中最大程度地保留细粒度I/O的页面,降低细粒度I/O引起的页面下沉速度,延长细粒度I/O页面在主存中的时间,进而减少对磁盘的访问次数,降低磁盘访问开销。通过对实验数据的对比和分析,验证了FGF-LRU算法的有效性。在不影响粗粒度I/O性能的情况下,提高了细粒度I/O性能,最终实现提高系统整体I/O性能。 展开更多
关键词 并行文件系统 LUSTRE 细粒度 输入/输出(I/O)
在线阅读 下载PDF
基于机器学习的并行文件系统性能预测 被引量:5
16
作者 赵铁柱 董守斌 +2 位作者 董守斌 Verdi March Simon See 《计算机研究与发展》 EI CSCD 北大核心 2011年第7期1202-1215,共14页
并行文件系统能有效解决高性能计算系统的海量数据存储和I/O瓶颈问题.由于影响系统性能的因素十分复杂,如何有效地评估系统性能并对性能进行预测成为一个潜在的挑战和热点.以并行文件系统的性能评估和预测作为研究目标,在研究文件系统... 并行文件系统能有效解决高性能计算系统的海量数据存储和I/O瓶颈问题.由于影响系统性能的因素十分复杂,如何有效地评估系统性能并对性能进行预测成为一个潜在的挑战和热点.以并行文件系统的性能评估和预测作为研究目标,在研究文件系统的架构和性能因子后,设计了一个基于机器学习的并行文件系统预测模型,运用特征选择算法对性能因子数量进行约简,挖掘出系统性能和影响因子之间的特定的关系进行性能预测.通过设计大量实验用例,对特定的Lustre文件系统进行性能评估和预测.评估和实验结果表明:threads/OST、对象存储器(OSS)的数量、磁盘数目和RAID的组织方式是4个调整系统性能最重要因子,预测结果的平均相对误差能控制在25.1%~32.1%之间,具有较好预准确度. 展开更多
关键词 并行文件系统 性能评估 性能预测 性能模型 机器学习
在线阅读 下载PDF
并行I/O技术研究 被引量:8
17
作者 刘敏 王意洁 《计算机应用研究》 CSCD 北大核心 2003年第8期29-31,共3页
从分析提高I/O性能的途径开始,对在分布主存的高性能计算机中利用存储系统并行性来完成数据访问的并行文件系统所涉及到的问题进行了分析和探讨,最后介绍了几个著名的并行文件系统。
关键词 并行I/O 并行文件系统 高性能计算
在线阅读 下载PDF
BeeGFS并行文件系统性能优化技术研究 被引量:2
18
作者 宋振龙 李小芳 +4 位作者 李琼 谢徐超 魏登萍 董勇 王睿伯 《计算机工程与科学》 CSCD 北大核心 2020年第10期1765-1773,共9页
大数据和人工智能时代,超级计算中心或数据中心的存储需求从PB级向Exabyte级扩展,许多大数据和智能应用程序在高性能计算(HPC)系统上运行,新兴的深度学习应用程序具有批量小文件随机输入特点,使HPC系统的I/O模式更趋复杂,存储管理和I/O... 大数据和人工智能时代,超级计算中心或数据中心的存储需求从PB级向Exabyte级扩展,许多大数据和智能应用程序在高性能计算(HPC)系统上运行,新兴的深度学习应用程序具有批量小文件随机输入特点,使HPC系统的I/O模式更趋复杂,存储管理和I/O瓶颈问题日益突出。并行文件系统是管理超级计算机数据存储的有效手段,但传统并行文件系统主要面向高带宽需求的科学计算任务,难以满足智能应用程序存储需求。针对上述问题,以新兴的BeeGFS文件系统为基础,研究并行文件系统性能优化的关键技术。设计实现了基于键值存储的元数据管理模块以优化元数据IOPS,基于异步I/O和多线程技术的并行I/O处理模型以提升I/O处理并发度,并采用多轨通信机制以提高网络通信带宽。构建了IO500性能评测环境,在相同的配置环境下,I/O带宽和元数据2类基准测试结果表明,改进后的并行文件系统在元数据、数据读写性能上大幅提升,IO500测分是原有系统的2倍以上。 展开更多
关键词 高性能计算 并行文件系统 BeeGFS IO500
在线阅读 下载PDF
并行文件系统WPFS 被引量:3
19
作者 霍严梅 鞠九滨 《吉林大学学报(理学版)》 CAS CSCD 北大核心 2002年第2期168-169,共2页
介绍在 Windows NT平台上研制的并行文件系统
关键词 并行文件系统 容错机制 WPFS系统 PC机群 I/O性能 WINDOWSNT I/O请求
在线阅读 下载PDF
对象存储并行文件系统小文件性能优化研究 被引量:2
20
作者 周恩强 董勇 +1 位作者 张伟 卢宇彤 《计算机工程与科学》 CSCD 北大核心 2013年第12期8-13,共6页
对象存储并行文件系统在高性能计算领域被广泛采用,虽然大文件访问性能优异,但其小文件访问存在局限性。通过分析典型对象存储并行文件系统下的小文件的访问开销,采用服务端小文件专用缓存和基于对象命名关联性预取的方法提高小文件的... 对象存储并行文件系统在高性能计算领域被广泛采用,虽然大文件访问性能优异,但其小文件访问存在局限性。通过分析典型对象存储并行文件系统下的小文件的访问开销,采用服务端小文件专用缓存和基于对象命名关联性预取的方法提高小文件的缓存命中率,降低对象存储架构下小文件的读取延迟。基于Lustre并行文件系统实现了该方法。实际系统测试表明,该方法可显著提高小文件访问性能,其中小文件打包性能提升最大可达88%。 展开更多
关键词 并行文件系统 缓存 对象存储 文件预取
在线阅读 下载PDF
上一页 1 2 5 下一页 到第
使用帮助 返回顶部