摘要
半自动2D转3D的关键是将用户分配的稀疏深度转换为稠密深度.现有方法没有充分考虑纹理图像和深度图之间的结构差异,以及2D转3D对用户误标注的容错性.针对上述问题,借助L1范数对异常数据的抵制,在一个统一框架下实现结构相关具有容错能力的稀疏深度稠密插值.首先,利用L1范数表示估计深度和用户分配深度在标注位置的差异,建立数据项;其次,根据特征的相似性用L1范数计算局部相邻像素点之间的深度差异,建立局部正则项;再次,对图像进行超像素分割,根据不同超像素内代表性像素点之间深度差异的L1测度,建立全局正则项;最后,用上述数据项和正则项构建能量函数,并通过分裂Bregman算法予以求解.无误差和有误差情况下的实验结果表明,与边缘保持的最优化插值、随机游走、混合图割与随机游走、软分割约束的最优化插值和非局部化随机游走相比,本文估计深度图绘制的虚拟视点图像空洞和伪影损伤更小.在误操作情况下,本文比上述方法 PSNR改善了0.9d B以上,且在视觉上屏蔽了用户误操作的影响.
Sparse-to-dense depth conversion is an important task in semi-automatic 2D-to-3D conversion, Existing methods do not handle structural difference between texture image and depth map, and the error-tolerance of 2D-to-3D is not considered. Inspired by compressive sensing studies, we address these problems in an optimization framework via L1 norm. First, data term is built with L~ norm to measure the fidelity between estimated depth and user assigned depth. Second,local regularized term is defined by using feature weighted L1 norm to measure difference between local neighboring pixels. Third, super-pixels are generated from input image and global regularized term is introduced by using feature weighted L1 norm to measure difference between representative pixels from these super-pixels. Then, the energy function for sparse-to-dense depth conversion is defined based on the data term, local regularized term and global regularized term. The split Bregman algorithm is used to solve the energy. Experimental comparisons with optimization based interpolation, random-walks, hybrid graph- cuts and random-walks, soft segmentation constrained interpolation and nonlocal random-walks show that our method demonstrates significant advantages over hole and ghosting artifacts for viewpoint synthesis. The PSNR is improved by more than 0.9 dB compared with these methods when user assigns error depth.
出处
《电子学报》
EI
CAS
CSCD
北大核心
2018年第2期447-455,共9页
Acta Electronica Sinica
基金
国家自然科学基金(No.61671260
No.61502256)
浙江省自然科学基金(No.LY16F010014
No.LY15F020011
No.LQ14F010001)
浙江省教育厅科研项目(No.Y201533511)
宁波市自然科学基金(No.2017A610109
No.2013A610114)
关键词
2D转3D
最优化
随机游走
图割
L1范数
2D-to-3D conversion
optimization
random-walks
graph-cuts
L1 norm
作者简介
袁红星（通信作者），男，1980年10月出生，安徽安庆人．宁波工程学院电子与信息工程学院副教授．2010年毕业于中国科学技术大学电子科学与技术系．获工学博士学位．主要从事图像与信号处理、3D视频处理、2D转3D等方面的研究工作．E-mail：yuanhx@mail．uste．edu．cn;安鹏，男，1981年11月出生，山西太原人．宁波工程学院电子与信息工程学院副教授．2009年毕业于清华大学核科学与技术专业，获工学博士学位．主要从事信号处理、嵌入式系统设计、智能机器人等方面的研究工作．E—mail：anp04@nbut．edu．cn
