为了提高分布式视频压缩感知(Distributed Video Compressive Sensing,DVCS)的率失真性能,文中提出根据视频非关键帧图像的时间相关性将帧内各块分为静止块与运动块两类,并对它们设定不同的测量率以提高压缩感知(Compressive Sensing,CS...为了提高分布式视频压缩感知(Distributed Video Compressive Sensing,DVCS)的率失真性能,文中提出根据视频非关键帧图像的时间相关性将帧内各块分为静止块与运动块两类,并对它们设定不同的测量率以提高压缩感知(Compressive Sensing,CS)捕获信息的效率。在重构过程中,提出运动对齐多假设预测模型进行重构,该预测模型在测量域内实现运动估计,并根据运动信息在参考帧内寻找到待重构块的若干候选匹配块,利用它们的线性加权和残差重构得到非关键帧图像的重构结果。仿真实验结果表明,文中所提出的DVCS重构算法能有效提升系统的率失真性能,与现有方法相比,在重构时间基本不变的情况下,获得更好的主客观视频重构质量。展开更多
现有优秀的基于深度学习的分布式视频压缩感知(Distributed Compressed Video Sensing,DCVS)重构算法利用测量值和参考帧顺序更新非关键帧,获得了较好的重构性能,但由于缺乏较严格的理论指导,无法充分结合这两类信息,限制了非关键帧重...现有优秀的基于深度学习的分布式视频压缩感知(Distributed Compressed Video Sensing,DCVS)重构算法利用测量值和参考帧顺序更新非关键帧,获得了较好的重构性能,但由于缺乏较严格的理论指导,无法充分结合这两类信息,限制了非关键帧重构质量的进一步提升.针对该问题,本文首先利用贝叶斯理论及最大后验概率(Maximum A Posteriori,MAP)估计推导出DCVS中非关键帧重构的优化方程,再基于近端梯度算法推导出优化方程的求解框架,包含多信息流梯度更新聚合方程.基于此,本文设计了多信息流梯度更新及聚合模块(Multi-Information flow Gradient update and Aggregation,MIGA),并构建了深度多信息流梯度更新与聚合网络(Deep Multi-Information flow Gradient update and Aggregation Network,DMIGAN)用于DCVS非关键帧重构.MIGA利用测量值与多参考帧对当前非关键帧进行并行梯度更新,再做信息交互融合,从而充分结合多种信息流更新重构帧.本文级联MIGA与去噪子网络用于模拟近端梯度算法的单次迭代,作为基础模块(phase),并通过级联多个phase构造深度重构网络DMIGAN,实现帧重构的深度优化过程.实验表明,DMIGAN与具代表性的传统迭代优化算法结构相似的帧间组稀疏表示重构算法(Structural SIMilarity based Inter-Frame Group Sparse Representation,SSIM-Inter F-GSR)相比,在低采样率与高采样率下性能分别提升了8.8 dB和7.36 dB;和具有代表性的深度学习重构算法VCSNet-2相比,在低采样率和高采样率下性能分别提升了7.09 dB和8.78 dB.展开更多
文摘为了提高分布式视频压缩感知(Distributed Video Compressive Sensing,DVCS)的率失真性能,文中提出根据视频非关键帧图像的时间相关性将帧内各块分为静止块与运动块两类,并对它们设定不同的测量率以提高压缩感知(Compressive Sensing,CS)捕获信息的效率。在重构过程中,提出运动对齐多假设预测模型进行重构,该预测模型在测量域内实现运动估计,并根据运动信息在参考帧内寻找到待重构块的若干候选匹配块,利用它们的线性加权和残差重构得到非关键帧图像的重构结果。仿真实验结果表明,文中所提出的DVCS重构算法能有效提升系统的率失真性能,与现有方法相比,在重构时间基本不变的情况下,获得更好的主客观视频重构质量。
文摘现有优秀的基于深度学习的分布式视频压缩感知(Distributed Compressed Video Sensing,DCVS)重构算法利用测量值和参考帧顺序更新非关键帧,获得了较好的重构性能,但由于缺乏较严格的理论指导,无法充分结合这两类信息,限制了非关键帧重构质量的进一步提升.针对该问题,本文首先利用贝叶斯理论及最大后验概率(Maximum A Posteriori,MAP)估计推导出DCVS中非关键帧重构的优化方程,再基于近端梯度算法推导出优化方程的求解框架,包含多信息流梯度更新聚合方程.基于此,本文设计了多信息流梯度更新及聚合模块(Multi-Information flow Gradient update and Aggregation,MIGA),并构建了深度多信息流梯度更新与聚合网络(Deep Multi-Information flow Gradient update and Aggregation Network,DMIGAN)用于DCVS非关键帧重构.MIGA利用测量值与多参考帧对当前非关键帧进行并行梯度更新,再做信息交互融合,从而充分结合多种信息流更新重构帧.本文级联MIGA与去噪子网络用于模拟近端梯度算法的单次迭代,作为基础模块(phase),并通过级联多个phase构造深度重构网络DMIGAN,实现帧重构的深度优化过程.实验表明,DMIGAN与具代表性的传统迭代优化算法结构相似的帧间组稀疏表示重构算法(Structural SIMilarity based Inter-Frame Group Sparse Representation,SSIM-Inter F-GSR)相比,在低采样率与高采样率下性能分别提升了8.8 dB和7.36 dB;和具有代表性的深度学习重构算法VCSNet-2相比,在低采样率和高采样率下性能分别提升了7.09 dB和8.78 dB.
