针对传统甚长基线干涉测量(very long baseline interferometry,VLBI)并行处理方法存在逻辑复杂、数据存储和计算扩展性较差等缺点,基于MapReduce模型设计了一种VLBI观测数据相关的并行处理方法。该方法采用模型周期作为数据并行处理基...针对传统甚长基线干涉测量(very long baseline interferometry,VLBI)并行处理方法存在逻辑复杂、数据存储和计算扩展性较差等缺点,基于MapReduce模型设计了一种VLBI观测数据相关的并行处理方法。该方法采用模型周期作为数据并行处理基本单元,构建数据关联算法分割观测数据使各台站同一模型周期数据对齐到同一波前,设计实现数据相关计算的Map过程,使用Reduce对各模型周期结果进行综合处理以得到最终结果。实验结果表明:该方法在积分周期包含的模型周期数量大于节点CPU核数时性能比传统方式低25%左右,在积分周期包含的模型周期数量小于节点CPU核数时通常能提供更高的计算效率,并且能简化VLBI并行相关处理的复杂度,具有更好的数据存储和计算可扩展性。展开更多
日冕物质抛射(Coronal Mass Ejection,CME)参数识别模型是太阳风预报过程的重要组成部分.在空间环境预报业务中,为提高太阳风预报的准确率,需要提高CME参数识别的精度.模型以计算任务串行的方式运行,运算效率低导致模型运算时间长,不能...日冕物质抛射(Coronal Mass Ejection,CME)参数识别模型是太阳风预报过程的重要组成部分.在空间环境预报业务中,为提高太阳风预报的准确率,需要提高CME参数识别的精度.模型以计算任务串行的方式运行,运算效率低导致模型运算时间长,不能满足这种需求.CME参数识别模型的物理运算过程相互不独立,其在单节点上的运行方式不能满足并行化要求.基于MapReduce的并行计算框架,改进了CME参数识别模型的计算流程,提出CDMR(CME detection under MapReduce)方法,实现了CME参数识别模型的并行计算,并对比分析CME参数识别模型在串行计算和MapReduce并行计算下的运行时间,提高了模型的识别精度和计算效率.展开更多
文摘针对传统甚长基线干涉测量(very long baseline interferometry,VLBI)并行处理方法存在逻辑复杂、数据存储和计算扩展性较差等缺点,基于MapReduce模型设计了一种VLBI观测数据相关的并行处理方法。该方法采用模型周期作为数据并行处理基本单元,构建数据关联算法分割观测数据使各台站同一模型周期数据对齐到同一波前,设计实现数据相关计算的Map过程,使用Reduce对各模型周期结果进行综合处理以得到最终结果。实验结果表明:该方法在积分周期包含的模型周期数量大于节点CPU核数时性能比传统方式低25%左右,在积分周期包含的模型周期数量小于节点CPU核数时通常能提供更高的计算效率,并且能简化VLBI并行相关处理的复杂度,具有更好的数据存储和计算可扩展性。
文摘日冕物质抛射(Coronal Mass Ejection,CME)参数识别模型是太阳风预报过程的重要组成部分.在空间环境预报业务中,为提高太阳风预报的准确率,需要提高CME参数识别的精度.模型以计算任务串行的方式运行,运算效率低导致模型运算时间长,不能满足这种需求.CME参数识别模型的物理运算过程相互不独立,其在单节点上的运行方式不能满足并行化要求.基于MapReduce的并行计算框架,改进了CME参数识别模型的计算流程,提出CDMR(CME detection under MapReduce)方法,实现了CME参数识别模型的并行计算,并对比分析CME参数识别模型在串行计算和MapReduce并行计算下的运行时间,提高了模型的识别精度和计算效率.
