期刊文献+
共找到4篇文章
< 1 >
每页显示 20 50 100
基于HDF5的结构网格计算流体动力学程序并行I/O技术 被引量:4
1
作者 杨丽鹏 车永刚 《计算机应用》 CSCD 北大核心 2013年第9期2423-2427,共5页
大规模计算流体动力学(CFD)计算对数据I/O能力提出了很高需求。层次式文件格式(HDF5)可有效管理大规模科学数据,并对并行I/O具有良好的支持。针对结构网格CFD并行程序,设计了其数据文件的HDF5存储模式,并基于HDF5并行I/O编程... 大规模计算流体动力学(CFD)计算对数据I/O能力提出了很高需求。层次式文件格式(HDF5)可有效管理大规模科学数据,并对并行I/O具有良好的支持。针对结构网格CFD并行程序,设计了其数据文件的HDF5存储模式,并基于HDF5并行I/O编程接口实现了其数据文件的并行I/O,在并行计算机系统上进行了性能测试与分析。结果表明,在使用4~32个进程时,基于HDF5并行I/O方式的写文件性能比每进程独立写普通文件的方式高6.9~16.1倍;基于HDF5并行I/O方式的读文件性能不及后者,为后者的20%~70%,但是读文件的时间开销远小于写文件的时间开销,因此对总体性能的影响较小。 展开更多
关键词 计算流体动力学 结构网格 并行I O 层次式文件格式 I O性能
在线阅读 下载PDF
基于HDF5实现多区结构网格CFD程序的并行I/O 被引量:6
2
作者 杨丽鹏 车永刚 《计算机研究与发展》 EI CSCD 北大核心 2015年第4期861-868,共8页
计算流体动力学(computational fluid dynamics,CFD)是高性能计算重要应用领域之一,其计算涉及大量数据访问.在大规模并行计算情况下,串行I/O的性能与计算能力不匹配,I/O成为性能瓶颈.并行I/O是解决这一问题的主要途径之一.针对一个真... 计算流体动力学(computational fluid dynamics,CFD)是高性能计算重要应用领域之一,其计算涉及大量数据访问.在大规模并行计算情况下,串行I/O的性能与计算能力不匹配,I/O成为性能瓶颈.并行I/O是解决这一问题的主要途径之一.针对一个真实多区结构网格CFD并行程序HOSTA(high-order simulator for aerodynamics),基于HDF5(hierarchical data format v5)数据存储格式及其并行I/O编程接口,实现了其主要数据的并行I/O.在一套有6个I/O服务器结点的高性能计算机系统上,采用实际CFD算例进行了性能测试.对一个三角翼算例,并行I/O相对于串行I/O的性能加速比达到21.27,最高获得5.81GBps的I/O吞吐率,并使程序整体性能提高10%以上;对一个网格规模更大的简单翼型算例,并行I/O最高获得了6.72GBps的I/O吞吐率. 展开更多
关键词 计算流体动力学 并行I/O 层次式数据存储格式(hdf5) 多区结构网格 I/O吞吐率
在线阅读 下载PDF
HDF4文件访问中间件的设计与实现 被引量:2
3
作者 沈夏炯 马瑞 +1 位作者 韩道军 周兵 《计算机工程》 CAS CSCD 北大核心 2015年第3期278-282,286,共6页
HDF4文件常用于中分辨率成像光谱仪(MODIS)产品数据的存储,可存储多种类型的数据,但是文件数据结构复杂。目前,HDF GROUP开发的操作HDF4文件的函数库只可用于Fortran语言和C语言,其他编程语言缺少比较系统读写HDF4文件的方法。Arc GIS... HDF4文件常用于中分辨率成像光谱仪(MODIS)产品数据的存储,可存储多种类型的数据,但是文件数据结构复杂。目前,HDF GROUP开发的操作HDF4文件的函数库只可用于Fortran语言和C语言,其他编程语言缺少比较系统读写HDF4文件的方法。Arc GIS虽支持大部分栅格数据格式,但不支持多数据集层次式存储的HDF数据格式。为此,设计基于C#语言操作的HDF4文件中间件,解决Arc GIS无法创建多数据集HDF4文件等问题,并给出中间件的核心思想和具体应用实例。将该中间件应用于环保部生态环境遥感产品生产分系统项目中,结果表明,在处理MODIS产品数据时,解决了C#语言无法创建多数据集HDF4文件等问题,验证了该中间件的实用性。 展开更多
关键词 分层数据格式 科学数据集 中间件 中分辨率成像光谱仪 栅格数据 C#语言
在线阅读 下载PDF
风云三号气象卫星大数据集产品并行处理模式
4
作者 贾树泽 赵金雁 +1 位作者 崔鹏 施进明 《计算机应用》 CSCD 北大核心 2015年第A02期44-48,共5页
针对风云气象卫星地面应用系统中如何缩短大数据集产品的处理时延,提高系统资源利用率的问题,提出了一种基于性能预测的、计算节点作业执行概率的信息素动态加权并行算法(pdw),并构建了新的并行处理模式。该模式一方面能够根据轨道级遥... 针对风云气象卫星地面应用系统中如何缩短大数据集产品的处理时延,提高系统资源利用率的问题,提出了一种基于性能预测的、计算节点作业执行概率的信息素动态加权并行算法(pdw),并构建了新的并行处理模式。该模式一方面能够根据轨道级遥感数据与目标产品之间的空间位置匹配关系进行网格处理粒度的合理划分;另一方面,采用pdw算法综合考虑节点本身的处理能力和实时负载信息进行分粒度作业的资源匹配调度。业务实测结果表明,较传统的处理模式,采用新的处理模式后,具有典型大数据集特征的风云三号(FY-3)中分辨率光谱成像仪(MERSI)250 m分辨率全球植被指数分层数据格式(HDF)产品的处理时效提高了10倍左右,所提并行处理模式可以有效缓解I/O资源占用瓶颈、均衡系统负载,提升大数据集产品的处理效率。 展开更多
关键词 风云气象卫星 分层数据格式 空间网格 大数据集 并行处理模式 负载均衡
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部