-
题名基于Spark的近地表速度模型快速层析反演
被引量：5
- 1
-
-
作者
陈金焕
-
机构
中国石油化工股份有限公司石油物探技术研究院
-
出处
《石油物探》
CSCD
北大核心
2022年第1期146-155,共10页
-
文摘
近地表速度模型层析反演多采用基于初至旅行时射线追踪的迭代反演方法。通常采用基于共享存储的MPI并行方式提高计算效率,但当计算节点增至一定规模时会存在网络I/O压力过大的计算瓶颈。为此,提出了一种快速、稳健的基于Spark技术的近地表速度模型层析反演方法,采用分布式内存管理技术将迭代中重复计算的数据持久化至内存中,提高程序运行效率。同时,为了解决共享存储中随着节点规模扩大而产生网络I/O堵塞的瓶颈问题,在分布式存储环境下组织弹性分布式数据集(RDD),设计基本规约单位为深度方向的一维反演数据,基于Spark Shuffle在规约过程中分布并行规约,利用Spark调度器在各个进程中分配任务,实现并行计算。实际数据计算结果表明:在反演结果精度不变的情况下,相对于常规MPI并行技术,该实现方法能够大幅度降低迭代过程中产生的网络I/O;当计算节点较多时,计算效率能够提高4倍以上;并行加速比呈现类线性增长趋势。
-
关键词
近地表层析反演
迭代计算
Spark并行
弹性分布式数据集
规约基本单元
-
Keywords
near-surface tomographic inversion
iterative calculation
Spark parallel
resilient distributed datasets
basic merge unit
-
分类号
P631
[天文地球—地质矿产勘探]
-
