神经辐射场(NeRF)在二维图像到三维场景重建领域展现出优异的性能,使用二维图像作为训练数据,能够重建出场景的三维结构,并能进行高质量的新视图渲染。尽管NeRF在三维场景重建领域是十分有效的,但也存在训练速度慢、推理时间长的问题,...神经辐射场(NeRF)在二维图像到三维场景重建领域展现出优异的性能,使用二维图像作为训练数据,能够重建出场景的三维结构,并能进行高质量的新视图渲染。尽管NeRF在三维场景重建领域是十分有效的,但也存在训练速度慢、推理时间长的问题,并且样本质量与三维场景重建质量密切关联。为解决NeRF在低样本质量情况下的高质量三维重建问题,本文使用2组不同哈希编码的NeRF来学习同一个场景,评估候选视图信息增益之间的差距来引导视图采样。提出一种基于RGB特征的下一个最优视图(next best view)导航技术新框架,该框架在稀疏训练数据上具有很强的鲁棒性,能够通过RGB特征评估捕获高信息增益的下一个最优视图,并优化NeRF训练,可以用最少的额外视图来提高新视图合成质量。通过对NeRF训练流程的优化,网络收敛速度提升大约10倍,显存占用降低39.8%,大量实验验证了该模型的有效性和鲁棒性。展开更多
文摘神经辐射场(NeRF)在二维图像到三维场景重建领域展现出优异的性能,使用二维图像作为训练数据,能够重建出场景的三维结构,并能进行高质量的新视图渲染。尽管NeRF在三维场景重建领域是十分有效的,但也存在训练速度慢、推理时间长的问题,并且样本质量与三维场景重建质量密切关联。为解决NeRF在低样本质量情况下的高质量三维重建问题,本文使用2组不同哈希编码的NeRF来学习同一个场景,评估候选视图信息增益之间的差距来引导视图采样。提出一种基于RGB特征的下一个最优视图(next best view)导航技术新框架,该框架在稀疏训练数据上具有很强的鲁棒性,能够通过RGB特征评估捕获高信息增益的下一个最优视图,并优化NeRF训练,可以用最少的额外视图来提高新视图合成质量。通过对NeRF训练流程的优化,网络收敛速度提升大约10倍,显存占用降低39.8%,大量实验验证了该模型的有效性和鲁棒性。
