视频帧之间不仅具有空间相关性,还存在时间相关性。根据低分辨率视频重建高分辨率视频时,可以利用相邻的多帧信息对齐到目标帧,以指导当前帧的恢复。相邻帧之间的对齐一般采用光流指导的可变形卷积进行显式对齐,这种方法克服了可变形卷...视频帧之间不仅具有空间相关性,还存在时间相关性。根据低分辨率视频重建高分辨率视频时,可以利用相邻的多帧信息对齐到目标帧,以指导当前帧的恢复。相邻帧之间的对齐一般采用光流指导的可变形卷积进行显式对齐,这种方法克服了可变形卷积的不稳定性,但会影响帧中高频信息的恢复,降低对齐信息的准确性并放大伪影。为解决上述问题,提出了一种基于隐式对齐的视频超分模型IAVSR(Implicit Alignment Video Super-Resolution)。IAVSR通过偏移量和原始值将光流编码到特定像素位置,以此计算光流预对齐的信息而不是利用插值函数插值获得,随后利用光流指导的可变形卷积对计算后的预对齐特征进行重对齐,以帮助高频信息的恢复。在双向传播中利用前两帧传播的信息进行对齐来指导当前帧的恢复,并引入残差网络结构,在提高对齐信息准确性的同时避免引入过多的参数。在REDS4公开数据集上的实验结果表明,IAVSR的峰值信噪比(PSNR)比基准模型提高了0.6 dB,且模型训练时的收敛速度提升了20%。展开更多
传统视频超分辨率重建算法在去除噪声的同时,很难有效保持图像边缘细节信息。针对该问题,构建了一种结合多阶导数数据项和自适应正则化项的视频超分辨率重建算法。在正则化重建模型的基础上,该算法对数据项进行改进,引入能更好描述噪声...传统视频超分辨率重建算法在去除噪声的同时,很难有效保持图像边缘细节信息。针对该问题,构建了一种结合多阶导数数据项和自适应正则化项的视频超分辨率重建算法。在正则化重建模型的基础上,该算法对数据项进行改进,引入能更好描述噪声统计特性的噪声多阶导数,并利用去噪效果较好的全变分(TV)和非局部均值(NLM)正则化项对视频超分辨率重建过程进行约束。此外,为了更好地保持图像细节信息,采用区域空间自适应曲率差分算法提取结构信息,从而对正则化系数进行自适应加权。实验结果表明:在噪声方差为3时,与核回归算法和聚类算法相比,该算法重建视频主观效果边缘更加锐化,局部结构更加正确、清晰;重建视频的均方误差(MSE)平均下降幅度分别为25.75%和22.50%;峰值信噪比(PSNR)分别平均提升了1.35 d B和1.14 d B。所提算法能够在去除噪声的同时有效保持图像的细节特征。展开更多
文摘视频帧之间不仅具有空间相关性,还存在时间相关性。根据低分辨率视频重建高分辨率视频时,可以利用相邻的多帧信息对齐到目标帧,以指导当前帧的恢复。相邻帧之间的对齐一般采用光流指导的可变形卷积进行显式对齐,这种方法克服了可变形卷积的不稳定性,但会影响帧中高频信息的恢复,降低对齐信息的准确性并放大伪影。为解决上述问题,提出了一种基于隐式对齐的视频超分模型IAVSR(Implicit Alignment Video Super-Resolution)。IAVSR通过偏移量和原始值将光流编码到特定像素位置,以此计算光流预对齐的信息而不是利用插值函数插值获得,随后利用光流指导的可变形卷积对计算后的预对齐特征进行重对齐,以帮助高频信息的恢复。在双向传播中利用前两帧传播的信息进行对齐来指导当前帧的恢复,并引入残差网络结构,在提高对齐信息准确性的同时避免引入过多的参数。在REDS4公开数据集上的实验结果表明,IAVSR的峰值信噪比(PSNR)比基准模型提高了0.6 dB,且模型训练时的收敛速度提升了20%。
文摘传统视频超分辨率重建算法在去除噪声的同时,很难有效保持图像边缘细节信息。针对该问题,构建了一种结合多阶导数数据项和自适应正则化项的视频超分辨率重建算法。在正则化重建模型的基础上,该算法对数据项进行改进,引入能更好描述噪声统计特性的噪声多阶导数,并利用去噪效果较好的全变分(TV)和非局部均值(NLM)正则化项对视频超分辨率重建过程进行约束。此外,为了更好地保持图像细节信息,采用区域空间自适应曲率差分算法提取结构信息,从而对正则化系数进行自适应加权。实验结果表明:在噪声方差为3时,与核回归算法和聚类算法相比,该算法重建视频主观效果边缘更加锐化,局部结构更加正确、清晰;重建视频的均方误差(MSE)平均下降幅度分别为25.75%和22.50%;峰值信噪比(PSNR)分别平均提升了1.35 d B和1.14 d B。所提算法能够在去除噪声的同时有效保持图像的细节特征。
