将神经网络用于场景几何材质的高效表达,结合逆向渲染在二维光度图的监督下重建高质量的网格和材质贴图,为现有的图形学流水线提供服务——神经渲染已成为近年来计算机图形学新的研究热点。在IRON(inverse rendering by optimizing neur...将神经网络用于场景几何材质的高效表达,结合逆向渲染在二维光度图的监督下重建高质量的网格和材质贴图,为现有的图形学流水线提供服务——神经渲染已成为近年来计算机图形学新的研究热点。在IRON(inverse rendering by optimizing neural SDFs and materials from photometric images)神经渲染模型基础上,通过引入多分辨率哈希编码,采用冻结训练等方法提高原始模型的训练速度。在多个数据集上的对比实验表明,优化后的IRON逆渲染模型训练速度提升了约40%,且重建结果中包含更多细节。展开更多
神经辐射场(NeRF)在二维图像到三维场景重建领域展现出优异的性能,使用二维图像作为训练数据,能够重建出场景的三维结构,并能进行高质量的新视图渲染。尽管NeRF在三维场景重建领域是十分有效的,但也存在训练速度慢、推理时间长的问题,...神经辐射场(NeRF)在二维图像到三维场景重建领域展现出优异的性能,使用二维图像作为训练数据,能够重建出场景的三维结构,并能进行高质量的新视图渲染。尽管NeRF在三维场景重建领域是十分有效的,但也存在训练速度慢、推理时间长的问题,并且样本质量与三维场景重建质量密切关联。为解决NeRF在低样本质量情况下的高质量三维重建问题,本文使用2组不同哈希编码的NeRF来学习同一个场景,评估候选视图信息增益之间的差距来引导视图采样。提出一种基于RGB特征的下一个最优视图(next best view)导航技术新框架,该框架在稀疏训练数据上具有很强的鲁棒性,能够通过RGB特征评估捕获高信息增益的下一个最优视图,并优化NeRF训练,可以用最少的额外视图来提高新视图合成质量。通过对NeRF训练流程的优化,网络收敛速度提升大约10倍,显存占用降低39.8%,大量实验验证了该模型的有效性和鲁棒性。展开更多
文摘将神经网络用于场景几何材质的高效表达,结合逆向渲染在二维光度图的监督下重建高质量的网格和材质贴图,为现有的图形学流水线提供服务——神经渲染已成为近年来计算机图形学新的研究热点。在IRON(inverse rendering by optimizing neural SDFs and materials from photometric images)神经渲染模型基础上,通过引入多分辨率哈希编码,采用冻结训练等方法提高原始模型的训练速度。在多个数据集上的对比实验表明,优化后的IRON逆渲染模型训练速度提升了约40%,且重建结果中包含更多细节。
文摘神经辐射场(NeRF)在二维图像到三维场景重建领域展现出优异的性能,使用二维图像作为训练数据,能够重建出场景的三维结构,并能进行高质量的新视图渲染。尽管NeRF在三维场景重建领域是十分有效的,但也存在训练速度慢、推理时间长的问题,并且样本质量与三维场景重建质量密切关联。为解决NeRF在低样本质量情况下的高质量三维重建问题,本文使用2组不同哈希编码的NeRF来学习同一个场景,评估候选视图信息增益之间的差距来引导视图采样。提出一种基于RGB特征的下一个最优视图(next best view)导航技术新框架,该框架在稀疏训练数据上具有很强的鲁棒性,能够通过RGB特征评估捕获高信息增益的下一个最优视图,并优化NeRF训练,可以用最少的额外视图来提高新视图合成质量。通过对NeRF训练流程的优化,网络收敛速度提升大约10倍,显存占用降低39.8%,大量实验验证了该模型的有效性和鲁棒性。