期刊文献+
共找到10篇文章
< 1 >
每页显示 20 50 100
HDF4文件访问中间件的设计与实现 被引量:2
1
作者 沈夏炯 马瑞 +1 位作者 韩道军 周兵 《计算机工程》 CAS CSCD 北大核心 2015年第3期278-282,286,共6页
HDF4文件常用于中分辨率成像光谱仪(MODIS)产品数据的存储,可存储多种类型的数据,但是文件数据结构复杂。目前,HDF GROUP开发的操作HDF4文件的函数库只可用于Fortran语言和C语言,其他编程语言缺少比较系统读写HDF4文件的方法。Arc GIS... HDF4文件常用于中分辨率成像光谱仪(MODIS)产品数据的存储,可存储多种类型的数据,但是文件数据结构复杂。目前,HDF GROUP开发的操作HDF4文件的函数库只可用于Fortran语言和C语言,其他编程语言缺少比较系统读写HDF4文件的方法。Arc GIS虽支持大部分栅格数据格式,但不支持多数据集层次式存储的HDF数据格式。为此,设计基于C#语言操作的HDF4文件中间件,解决Arc GIS无法创建多数据集HDF4文件等问题,并给出中间件的核心思想和具体应用实例。将该中间件应用于环保部生态环境遥感产品生产分系统项目中,结果表明,在处理MODIS产品数据时,解决了C#语言无法创建多数据集HDF4文件等问题,验证了该中间件的实用性。 展开更多
关键词 分层数据格式 科学数据集 中间件 中分辨率成像光谱仪 栅格数据 C#语言
在线阅读 下载PDF
基于HDF5文件格式的KYLIN-2软件组件库 被引量:3
2
作者 冯晋涛 芦韡 +4 位作者 柴晓明 涂晓兰 尹强 陈定勇 刘远 《计算机应用》 CSCD 北大核心 2018年第4期1012-1016,共5页
KYLIN-2是中国核动力研究设计院自主研发的先进中子学栅格(组件)计算软件,针对KYLIN-2软件中海量数据存储和处理的问题,提出一种基于对分层数据存储格式v5(HDF5)的计算数据存储方案。首先,对HDF5文件格式进行了研究;其次,根据KYLIN-2软... KYLIN-2是中国核动力研究设计院自主研发的先进中子学栅格(组件)计算软件,针对KYLIN-2软件中海量数据存储和处理的问题,提出一种基于对分层数据存储格式v5(HDF5)的计算数据存储方案。首先,对HDF5文件格式进行了研究;其次,根据KYLIN-2软件需求,设计了基于HDF5文件格式的组件库KYMRES;最后,通过自开发的HDF5文件读写工具完成了KYMRES库的实现过程。通过性能测试表明,基于HDF5文件格式的组件库KYMRES较常规存储方案具有更高的I/O效率,其读、写效率平均提升到旧算法的2.3倍和4.5倍。KYMRES库在海量数据存储和处理方面具有显著优越性,为KYLIN-2软件提供了一种新型的数据存储和管理方案。 展开更多
关键词 数据存储和处理 hdf5 KYMRES组件库 hdf5文件读写工具 高效I/O
在线阅读 下载PDF
基于HDF5实现多区结构网格CFD程序的并行I/O 被引量:6
3
作者 杨丽鹏 车永刚 《计算机研究与发展》 EI CSCD 北大核心 2015年第4期861-868,共8页
计算流体动力学(computational fluid dynamics,CFD)是高性能计算重要应用领域之一,其计算涉及大量数据访问.在大规模并行计算情况下,串行I/O的性能与计算能力不匹配,I/O成为性能瓶颈.并行I/O是解决这一问题的主要途径之一.针对一个真... 计算流体动力学(computational fluid dynamics,CFD)是高性能计算重要应用领域之一,其计算涉及大量数据访问.在大规模并行计算情况下,串行I/O的性能与计算能力不匹配,I/O成为性能瓶颈.并行I/O是解决这一问题的主要途径之一.针对一个真实多区结构网格CFD并行程序HOSTA(high-order simulator for aerodynamics),基于HDF5(hierarchical data format v5)数据存储格式及其并行I/O编程接口,实现了其主要数据的并行I/O.在一套有6个I/O服务器结点的高性能计算机系统上,采用实际CFD算例进行了性能测试.对一个三角翼算例,并行I/O相对于串行I/O的性能加速比达到21.27,最高获得5.81GBps的I/O吞吐率,并使程序整体性能提高10%以上;对一个网格规模更大的简单翼型算例,并行I/O最高获得了6.72GBps的I/O吞吐率. 展开更多
关键词 计算流体动力学 并行I/O 层次式数据存储格式(hdf5) 多区结构网格 I/O吞吐率
在线阅读 下载PDF
基于HDF5的结构网格计算流体动力学程序并行I/O技术 被引量:4
4
作者 杨丽鹏 车永刚 《计算机应用》 CSCD 北大核心 2013年第9期2423-2427,共5页
大规模计算流体动力学(CFD)计算对数据I/O能力提出了很高需求。层次式文件格式(HDF5)可有效管理大规模科学数据,并对并行I/O具有良好的支持。针对结构网格CFD并行程序,设计了其数据文件的HDF5存储模式,并基于HDF5并行I/O编程... 大规模计算流体动力学(CFD)计算对数据I/O能力提出了很高需求。层次式文件格式(HDF5)可有效管理大规模科学数据,并对并行I/O具有良好的支持。针对结构网格CFD并行程序,设计了其数据文件的HDF5存储模式,并基于HDF5并行I/O编程接口实现了其数据文件的并行I/O,在并行计算机系统上进行了性能测试与分析。结果表明,在使用4~32个进程时,基于HDF5并行I/O方式的写文件性能比每进程独立写普通文件的方式高6.9~16.1倍;基于HDF5并行I/O方式的读文件性能不及后者,为后者的20%~70%,但是读文件的时间开销远小于写文件的时间开销,因此对总体性能的影响较小。 展开更多
关键词 计算流体动力学 结构网格 并行I O 层次式文件格式 I O性能
在线阅读 下载PDF
HDF5格式多群截面数据库AXELIB的加工与验证 被引量:1
5
作者 张乐瑞 梁钊毓 +1 位作者 佘顶 石磊 《哈尔滨工程大学学报》 EI CAS CSCD 北大核心 2021年第12期1819-1825,共7页
针对常用多群截面数据库所使用的文本格式或二进制格式存在的缺点,本文设计了HDF5格式分层存储核数据。基于评价核数据加工处理程序NJOY2016,本文开发了核数据处理模块AXER,对NJOY2016程序加工得到的GENDF格式数据处理来产生HDF5格式的... 针对常用多群截面数据库所使用的文本格式或二进制格式存在的缺点,本文设计了HDF5格式分层存储核数据。基于评价核数据加工处理程序NJOY2016,本文开发了核数据处理模块AXER,对NJOY2016程序加工得到的GENDF格式数据处理来产生HDF5格式的多群截面数据库AXELIB。本文同时开发了PyNjoy2016系统,并使用AXELIB进行了各种数值计算,计算结果与OpenMC程序的进行对比,证明了核数据处理方案的可靠性和加工得到的AXELIB的准确性。研究表明:评价数据库的版本会对数值计算结果产生较大影响,本文方法既保留了二进制格式占用内存空间小读写速度快的优点,又能方便用户进行数据查看。 展开更多
关键词 多群截面数据库 核数据库加工 核数据库格式 分层数据结构 AXER模块 AXELIB ENDF/B评价库 NJOY2016程序
在线阅读 下载PDF
基于OMI数据的中国臭氧总量时空动态信息提取 被引量:23
6
作者 王跃启 江洪 +3 位作者 肖钟湧 张秀英 周国模 余树全 《环境科学与技术》 CAS CSCD 北大核心 2009年第6期177-180,184,共5页
文章以OMITO3e数据产品为源数据,探讨了HDF-EOS数据格式的结构特征,在此基础上以MATLAB为主要工具,运用MATLAB函数库实现了HDF-EOS数据格式向shapefile格式的转换,以适应空间分析的要求,按此思路实现了OMITO3e数据产品信息的提取,获得了... 文章以OMITO3e数据产品为源数据,探讨了HDF-EOS数据格式的结构特征,在此基础上以MATLAB为主要工具,运用MATLAB函数库实现了HDF-EOS数据格式向shapefile格式的转换,以适应空间分析的要求,按此思路实现了OMITO3e数据产品信息的提取,获得了2005年1月~2007年12月中国O3总量的时空分布特征,结果表明:以此方法获得的中国臭氧信息能够准确的反应其真实的时空动态,同时也为OMI数据和其他EOS数据的进一步应用提供了一种新的方法。 展开更多
关键词 OMI MATLAB hdf-EOS数据格式 O3总量
在线阅读 下载PDF
ASTER遥感数据解读与应用 被引量:36
7
作者 朱黎江 秦其明 陈思锦 《国土资源遥感》 CSCD 2003年第2期59-63,共5页
ASTER遥感数据可以在地球表面自然过程与全球变化等多个研究领域得到广泛应用。本文首先对ASTER数据格式进行了分析,并对解读关键技术进行了研究,在此基础上,通过计算机编程实现了ASTER数据的读取;最后结合ASTER数据的特点给出了ASTER... ASTER遥感数据可以在地球表面自然过程与全球变化等多个研究领域得到广泛应用。本文首先对ASTER数据格式进行了分析,并对解读关键技术进行了研究,在此基础上,通过计算机编程实现了ASTER数据的读取;最后结合ASTER数据的特点给出了ASTER数据在几个主要研究领域的应用。 展开更多
关键词 ASTER数据 hdf—EOS格式 遥感应用
在线阅读 下载PDF
风云三号气象卫星大数据集产品并行处理模式
8
作者 贾树泽 赵金雁 +1 位作者 崔鹏 施进明 《计算机应用》 CSCD 北大核心 2015年第A02期44-48,共5页
针对风云气象卫星地面应用系统中如何缩短大数据集产品的处理时延,提高系统资源利用率的问题,提出了一种基于性能预测的、计算节点作业执行概率的信息素动态加权并行算法(pdw),并构建了新的并行处理模式。该模式一方面能够根据轨道级遥... 针对风云气象卫星地面应用系统中如何缩短大数据集产品的处理时延,提高系统资源利用率的问题,提出了一种基于性能预测的、计算节点作业执行概率的信息素动态加权并行算法(pdw),并构建了新的并行处理模式。该模式一方面能够根据轨道级遥感数据与目标产品之间的空间位置匹配关系进行网格处理粒度的合理划分;另一方面,采用pdw算法综合考虑节点本身的处理能力和实时负载信息进行分粒度作业的资源匹配调度。业务实测结果表明,较传统的处理模式,采用新的处理模式后,具有典型大数据集特征的风云三号(FY-3)中分辨率光谱成像仪(MERSI)250 m分辨率全球植被指数分层数据格式(HDF)产品的处理时效提高了10倍左右,所提并行处理模式可以有效缓解I/O资源占用瓶颈、均衡系统负载,提升大数据集产品的处理效率。 展开更多
关键词 风云气象卫星 分层数据格式 空间网格 大数据集 并行处理模式 负载均衡
在线阅读 下载PDF
海上地震数据获取系统记录软件设计与实现 被引量:2
9
作者 胡婷婷 宋克柱 曹平 《计算机工程》 CAS CSCD 北大核心 2009年第20期216-218,共3页
介绍海上地震数据获取系统记录软件部分。该软件设计为环形分层式模块化架构,包括系统内核、服务总线、应用层、表示层4个模块。软件可以对4条拖缆(6000m/条)数据进行存储,并对数据进行监控。实际测试表明,该系统满足设计要求,且界面友... 介绍海上地震数据获取系统记录软件部分。该软件设计为环形分层式模块化架构,包括系统内核、服务总线、应用层、表示层4个模块。软件可以对4条拖缆(6000m/条)数据进行存储,并对数据进行监控。实际测试表明,该系统满足设计要求,且界面友好、兼容性好、扩展性强、可靠性高。 展开更多
关键词 XWindow/Motif界面 SEG-D格式 地震数据存储 环形分层式架构
在线阅读 下载PDF
分层数据格式在COSINE物理子系统中的应用
10
作者 王苏 安伟健 +4 位作者 王常辉 许花 刘占权 余慧 陈义学 《原子能科学技术》 EI CAS CSCD 北大核心 2013年第B12期721-724,共4页
在COSINE平台物理子系统的开发过程中,为提升程序执行效率而引入了若干先进算法或技术,其中包含用于优化过程数据存储的分层数据格式技术。分层数据格式具有数据模型通用、文件格式自由、接口功能高效等优点,因而被普遍采用。本文定性... 在COSINE平台物理子系统的开发过程中,为提升程序执行效率而引入了若干先进算法或技术,其中包含用于优化过程数据存储的分层数据格式技术。分层数据格式具有数据模型通用、文件格式自由、接口功能高效等优点,因而被普遍采用。本文定性分析了分层数据格式提高物理程序再启动模块及组件-堆芯接口模块执行效率的原因,说明了分层数据格式能契合物理程序的过程数据存储特性。此外,本文还给出了引入分层数据格式前后程序各相关模块执行效率的初步对比结果,这些结果能充分支持定性分析结论。 展开更多
关键词 分层数据格式 反应堆物理计算系统 效率优化
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部