-
题名基于帧间一致性的自监督室内逆渲染
- 1
-
-
作者
张振峰
李亚男
陈一帆
黄初华
-
机构
贵州大学计算机科学与技术学院公共大数据国家重点实验室
-
出处
《计算机应用研究》
CSCD
北大核心
2023年第7期2204-2209,共6页
-
基金
国家自然科学基金资助项目(62162007)
贵州省自然科学基金资助项目(黔科合基础[2019]1088)。
-
文摘
针对目前逆渲染监督学习方法难以获得标签、泛化能力差的问题,提出了一种基于IFC(inter-frame coherence)的自监督训练方法。由于逆渲染问题的不适定性,引入额外的反照率一致性损失和交叉渲染损失强化自监督网络,其主要思想是对连续光照变化的图像序列执行IFC约束。即通过图像帧之间的位姿图和深度图,在相邻帧之间执行图像投影和扭曲;通过这种方法在相邻帧之间建立约束,并使用孪生训练来确保对光度不变量的一致估计。该方法使用完全卷积神经网络从室内视频序列中恢复几何形状、反射率和光照。自监督网络使用没有标签的连续帧图像集合进行训练,通过结合可微分渲染器,使网络以自监督的方式进行学习。通过与其他主流方法的比较,定量和定性实验结果表明提出方法在多个基准上表现更优。
-
关键词
逆渲染
光照估计
自监督学习
帧间一致性
交叉渲染
-
Keywords
inverse rendering(IR)
illumination estimation
self-supervised learning
inter-frame coherence
cross-rendering
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
-
题名基于可微渲染的自由视点合成方法
被引量：1
- 2
-
-
作者
朱结
宋滢
-
机构
浙江理工大学计算机科学与技术学院
-
出处
《图学学报》
CSCD
北大核心
2024年第5期1030-1039,共10页
-
基金
浙江省重点研发攻关计划项目(2023C01041)。
-
文摘
针对目前非受控环境下自由视点合成易受高度可变的照明条件、相机参数等因素影响的问题,提出一种近似可微延迟逆渲染管线(ADDIRP),通过在延迟逆渲染管线中加入基于物理的相机模型,实现准确模拟相机的光学成像过程。首先,根据输入图像及对应位姿分别创建光度相机模型和几何相机模型,其中光度相机模型由曝光、白平衡等可学习参数表示,几何相机模型由可学习的内参和外参表示。其次,利用渲染图像与目标图像的图像空间损失对管线各组件进行优化,使延迟逆渲染管线对复杂多变的光照和粗糙拍摄的图像具有较强的鲁棒性。最终,生成与传统图形引擎兼容的3D内容重建。实验结果表明,与已有方法相比,ADDIRP在现实世界数据集上具有更优的性能,在合成数据集上,在保证合成质量相近的前提下,具有更出色的视觉感知一致性。
-
关键词
自由视点合成
可变环境
延迟逆渲染管线
基于物理的相机模型
3D内容重建
-
Keywords
free viewpoint synthesis
variable environments
deferred inverse rendering pipeline
physics-based camera model
3D content reconstruction
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
