神经辐射场(NeRF)在二维图像到三维场景重建领域展现出优异的性能,使用二维图像作为训练数据,能够重建出场景的三维结构,并能进行高质量的新视图渲染。尽管NeRF在三维场景重建领域是十分有效的,但也存在训练速度慢、推理时间长的问题,...神经辐射场(NeRF)在二维图像到三维场景重建领域展现出优异的性能,使用二维图像作为训练数据,能够重建出场景的三维结构,并能进行高质量的新视图渲染。尽管NeRF在三维场景重建领域是十分有效的,但也存在训练速度慢、推理时间长的问题,并且样本质量与三维场景重建质量密切关联。为解决NeRF在低样本质量情况下的高质量三维重建问题,本文使用2组不同哈希编码的NeRF来学习同一个场景,评估候选视图信息增益之间的差距来引导视图采样。提出一种基于RGB特征的下一个最优视图(next best view)导航技术新框架,该框架在稀疏训练数据上具有很强的鲁棒性,能够通过RGB特征评估捕获高信息增益的下一个最优视图,并优化NeRF训练,可以用最少的额外视图来提高新视图合成质量。通过对NeRF训练流程的优化,网络收敛速度提升大约10倍,显存占用降低39.8%,大量实验验证了该模型的有效性和鲁棒性。展开更多
文摘现有的基于卷积神经网络(convolutional neural network,CNN)的环路滤波器倾向于将多个网络应用于不同的量化参数(quantization parameter,QP),消耗训练模型中的大量资源,并增加内存负担。针对这一问题,提出一种基于CNN的QP自适应环路滤波器。首先,设计一个轻量级分类网络,按照滤波难易程度将编码树单元(coding tree unit,CTU)划分为难、中、易3类;然后,构建3个融合了特征信息增强融合模块的基于CNN的滤波网络,以满足不同QP下的3类CTU滤波需求。将所提出的环路滤波器集成到多功能视频编码(versatile video coding,VVC)标准H.266/VVC的测试软件VTM 6.0中,替换原有的去块效应滤波器(deblocking filter,DBF)、样本自适应偏移(sample adaptive offset,SAO)滤波器和自适应环路滤波器。实验结果表明,该方法平均降低了3.14%的比特率差值(Bjøntegaard delta bit rate,BD-BR),与其他基于CNN的环路滤波器相比,显著提高了压缩效率,并减少了压缩伪影。
文摘神经辐射场(NeRF)在二维图像到三维场景重建领域展现出优异的性能,使用二维图像作为训练数据,能够重建出场景的三维结构,并能进行高质量的新视图渲染。尽管NeRF在三维场景重建领域是十分有效的,但也存在训练速度慢、推理时间长的问题,并且样本质量与三维场景重建质量密切关联。为解决NeRF在低样本质量情况下的高质量三维重建问题,本文使用2组不同哈希编码的NeRF来学习同一个场景,评估候选视图信息增益之间的差距来引导视图采样。提出一种基于RGB特征的下一个最优视图(next best view)导航技术新框架,该框架在稀疏训练数据上具有很强的鲁棒性,能够通过RGB特征评估捕获高信息增益的下一个最优视图,并优化NeRF训练,可以用最少的额外视图来提高新视图合成质量。通过对NeRF训练流程的优化,网络收敛速度提升大约10倍,显存占用降低39.8%,大量实验验证了该模型的有效性和鲁棒性。
