针对多视图三维重建任务中点云完整性欠佳的问题,提出一种基于空间传播的多视图深度估计网络(SPMVSNet)。引入空间传播思想用于复杂条件下的稠密点云重建,并分别设计基于空间传播的混合深度假设策略和空间感知优化模块。混合深度假设策...针对多视图三维重建任务中点云完整性欠佳的问题,提出一种基于空间传播的多视图深度估计网络(SPMVSNet)。引入空间传播思想用于复杂条件下的稠密点云重建,并分别设计基于空间传播的混合深度假设策略和空间感知优化模块。混合深度假设策略采用由粗糙到精细的深度推理方式,将深度估计视为多标签分类任务,对正则化概率体执行交叉熵损失以约束代价体,从而避免回归方法过拟合和收敛速度过慢的问题。空间感知优化模块从包含高级语义特征表示的特征图中获得引导,在进行置信度检查后采用卷积空间传播网络,通过构建亲和矩阵来细化最终的深度图。同时,为解决大多数方法存在的对不满足多视图一致性的不可靠区域重建质量较低的问题,进一步结合注意力机制设计具有样本自适应能力的动态特征提取网络,用于增强模型的局部感知能力。实验结果表明,在DTU数据集上,SP-MVSNet的重建完整性相比于CVP-MVSNet提升32.8%,整体质量提升11.4%。在Tanks and Temples基准和Blended MVS数据集上,SP-MVSNet的表现也优于大多数已知方法,取得了良好的三维重建效果。展开更多
三维重建技术能够应用在医学中的三维CT图像、机器人中的路径规划及考古工作中的遗迹的展示等诸多领域中.三维重建效果的完整性、精确性与稀疏点云重建(Structure From Motion,SFM)、稠密点云重建(Multi-View System,MVS)有着直接关系,...三维重建技术能够应用在医学中的三维CT图像、机器人中的路径规划及考古工作中的遗迹的展示等诸多领域中.三维重建效果的完整性、精确性与稀疏点云重建(Structure From Motion,SFM)、稠密点云重建(Multi-View System,MVS)有着直接关系,本文对这两个方法展开了具体的介绍.稀疏点云重建中主要介绍了特征点检测与匹配以及SFM重构方法,本文对近几年关于特征点检测与匹配的研究进行了总结,将SFM重构方法分为全局式、增量式、混合式,并进行了详细介绍.稠密点云重建中主要介绍了深度图估计,就传统的几何计算法、深度学习与几何计算相结合的方法、基于深度学习的方法进行了总结,同时介绍了三维重建的评价指标.最后对基于图像的三维重建进行了总结,并列举出了在未来可能面对的问题及发展趋势.展开更多
文摘针对多视图三维重建任务中点云完整性欠佳的问题,提出一种基于空间传播的多视图深度估计网络(SPMVSNet)。引入空间传播思想用于复杂条件下的稠密点云重建,并分别设计基于空间传播的混合深度假设策略和空间感知优化模块。混合深度假设策略采用由粗糙到精细的深度推理方式,将深度估计视为多标签分类任务,对正则化概率体执行交叉熵损失以约束代价体,从而避免回归方法过拟合和收敛速度过慢的问题。空间感知优化模块从包含高级语义特征表示的特征图中获得引导,在进行置信度检查后采用卷积空间传播网络,通过构建亲和矩阵来细化最终的深度图。同时,为解决大多数方法存在的对不满足多视图一致性的不可靠区域重建质量较低的问题,进一步结合注意力机制设计具有样本自适应能力的动态特征提取网络,用于增强模型的局部感知能力。实验结果表明,在DTU数据集上,SP-MVSNet的重建完整性相比于CVP-MVSNet提升32.8%,整体质量提升11.4%。在Tanks and Temples基准和Blended MVS数据集上,SP-MVSNet的表现也优于大多数已知方法,取得了良好的三维重建效果。
文摘三维重建技术能够应用在医学中的三维CT图像、机器人中的路径规划及考古工作中的遗迹的展示等诸多领域中.三维重建效果的完整性、精确性与稀疏点云重建(Structure From Motion,SFM)、稠密点云重建(Multi-View System,MVS)有着直接关系,本文对这两个方法展开了具体的介绍.稀疏点云重建中主要介绍了特征点检测与匹配以及SFM重构方法,本文对近几年关于特征点检测与匹配的研究进行了总结,将SFM重构方法分为全局式、增量式、混合式,并进行了详细介绍.稠密点云重建中主要介绍了深度图估计,就传统的几何计算法、深度学习与几何计算相结合的方法、基于深度学习的方法进行了总结,同时介绍了三维重建的评价指标.最后对基于图像的三维重建进行了总结,并列举出了在未来可能面对的问题及发展趋势.
