基于时空注意力的双分支视频超分辨率网络 被引量：1

1

作者 刘翠微 丁彩胤 +2 位作者 李侃 颜卓 石祥滨 《沈阳航空航天大学学报》 2022年第1期45-53,共9页

视频超分方法对多幅低分辨图像进行融合、运动补偿等处理,重构一幅高分辨率图像。基于时空注意力的双分支视频超分辨率网络对运动补偿后的低分辨率图像分配不同的权重,并且引入梯度信息避免超分辨率图像出现结构失真等问题。本网络由一... 视频超分方法对多幅低分辨图像进行融合、运动补偿等处理,重构一幅高分辨率图像。基于时空注意力的双分支视频超分辨率网络对运动补偿后的低分辨率图像分配不同的权重,并且引入梯度信息避免超分辨率图像出现结构失真等问题。本网络由一个重建高分辨率图像的图像分支和一个产生高分辨率梯度图的梯度分支组成。图像分支采用一组运动补偿后的低分辨率图像作为输入,并使用时空注意力残差块突出显示信息丰富的局部区域以及关键的时间通道,来恢复丢失的高频细节。梯度分支根据运动补偿后低分辨率图像的梯度图学习显著的结构信息。这两个分支通过融合不同层次的中间特征相互提供先验知识。最后将梯度分支重构的高频结构信息反馈到图像分支,进一步提高超分辨率视频帧的结构一致性。在Vid4和SPMCS-11数据集上验证了本模型的有效性。 展开更多

关键词 视频超分辨 双分支视频超分辨率网络 时空注意力 梯度图 结构一致性

在线阅读 下载PDF 职称材料

基于双分支融合网络的图像超分辨率重建与增强 被引量：1

2

作者 贾世杰 杨真杰 孙万鑫 《大连交通大学学报》 CAS 2024年第3期114-120,共7页

针对现有的图像超分算法难以从模糊的低分辨率图像中重建清晰的高分辨率图像的问题,提出了双分支融合网络,通过双分支结构来联合处理图像去模糊增强、图像超分任务。网络整体分为特征提取、特征融合、重建3个阶段。在特征提取阶段,通过... 针对现有的图像超分算法难以从模糊的低分辨率图像中重建清晰的高分辨率图像的问题,提出了双分支融合网络,通过双分支结构来联合处理图像去模糊增强、图像超分任务。网络整体分为特征提取、特征融合、重建3个阶段。在特征提取阶段,通过以ResNet为基本模式所构建的轻量化残差组、增强稠密残差块来强化对去模糊局部特征、多尺度高频特征的提取;同时为了提升关键区域的特征表达,引入监督注意力模块将提取到的特征进行校准与细化。在特征融合阶段,以像素相乘、通道相加的方式进行融合。在重建阶段,通过多个卷积操作提升空间分辨率。试验结果表明,对于4倍重建任务,输出图像的峰值信噪比(PSNR)在LR-GOPRO、Set5数据集上比GFN网络分别提高了1.34、1.36 dB,且模型的参数减少约50%。 展开更多

关键词 超分辨率重建 卷积 双分支 特征融合 稠密残差

在线阅读 下载PDF 职称材料

采用双网络结构的压缩视频超分辨率重建 被引量：2

3

作者 周航 何小海 +2 位作者 王正勇 熊淑华 Karn Pradeep 《电讯技术》 北大核心 2020年第1期81-86,共6页

在实际应用中,为了节省带宽和方便存储,图像和视频通常被下采样和压缩,而降质的图像与视频无法满足人们的实际需求。针对这一问题,采用了一种双网络结构的超分辨率重建方法,首先建立下采视频与压缩后的低分辨率视频的映射关系,然后建立... 在实际应用中,为了节省带宽和方便存储,图像和视频通常被下采样和压缩,而降质的图像与视频无法满足人们的实际需求。针对这一问题,采用了一种双网络结构的超分辨率重建方法,首先建立下采视频与压缩后的低分辨率视频的映射关系,然后建立质量增强的压缩视频与原始视频的映射关系,最终在输出端可以得到质量提升的视频帧。在网络中,采用密集残差块来提取压缩视频中丰富的局部分层特征,并结合全局残差学习恢复视频中的高频信息。在压缩环节,采用高性能视频编码来验证所提算法的有效性。实验结果表明,相比于主流的视频编码标准和先进的超分辨率重建算法,所提方法能有效提升编码视频的率失真性能。 展开更多

关键词 高性能视频编码 视频压缩 超分辨率重建 卷积神经网络

在线阅读 下载PDF 职称材料

结合双注意力和结构相似度量的图像超分辨率重建网络 被引量：15

4

作者 黄友文 唐欣 周斌 《液晶与显示》 CAS CSCD 北大核心 2022年第3期367-375,共9页

针对低分辨率图像到高分辨率图像的映射函数解空间极大,导致超分辨率重建模型难以产生细致纹理的问题,本文提出一种结合双注意力和结构相似度量的图像超分辨率重建网络。以改进的U-Net网络模型作为基本结构,引入针对低级别视觉任务的数... 针对低分辨率图像到高分辨率图像的映射函数解空间极大,导致超分辨率重建模型难以产生细致纹理的问题,本文提出一种结合双注意力和结构相似度量的图像超分辨率重建网络。以改进的U-Net网络模型作为基本结构,引入针对低级别视觉任务的数据增强方法,增加样本多样性。编码器部分由卷积层和自适应参数线性整流激活函数(Dynamic ReLU)组成。同时引入了一种残差双注意力模块(Residual Dual Attention Module,RDAM)与像素重组(PixelShuffle)模块共同构成解码器,通过上采样操作,逐级放大图像。为了使生成图像更加符合人眼视觉特性,采用了一种结合结构相似度量准则的损失函数,增强网络约束。实验结果表明重建图像的质量对比SRCNN,在Set5、Set14、BSD100和Urban100标准测试集上的平均PSNR提升约1.64 dB,SSIM提升约0.047。本文方法能够使重建的图像纹理细节更丰富,有效地减少了映射函数可能的解空间。 展开更多

关键词 超分辨率 U-Net网络 数据增强 双注意力 结构相似

在线阅读 下载PDF 职称材料

基于双特征提取和注意力机制的图像超分辨率重建

5

作者 薄阳瑜 武永亮 王学军 《郑州大学学报（工学版）》 CAS 北大核心 2024年第6期48-55,64,共9页

针对图像超分辨率重建过程中忽略图像高频特征,导致特征提取不充分,重建图像纹理细节模糊的问题,提出了一种基于双特征提取和注意力机制的图像超分辨率重建方法。首先,该方法采用双分支网络进行特征提取,以解决图像重建过程中高频特征... 针对图像超分辨率重建过程中忽略图像高频特征,导致特征提取不充分,重建图像纹理细节模糊的问题,提出了一种基于双特征提取和注意力机制的图像超分辨率重建方法。首先,该方法采用双分支网络进行特征提取,以解决图像重建过程中高频特征和多尺度特征无法有效提取和一致融合的问题;其次,为了使网络提取到更加精确的高频特征,提出了局部空间注意力模块,并与通道注意力模块结合构建残差融合注意力模块,提高网络对高频特征的定位能力;最后,设计了空洞金字塔模块,扩大网络感受野,使网络多尺度提取特征。在4个基准数据集上的测试结果表明:尤其是超分辨率倍数为4时,所提方法较目前若干主流模型中的最佳峰值信噪比分别提升了0.16,0.08,0.03,0.20 dB,所提方法在视觉效果和定量分析方面均有较好提升。 展开更多

关键词 图像超分辨率重建 局部空间注意力 残差融合注意力 空洞金字塔 双分支网络

在线阅读 下载PDF 职称材料

卷积和自注意力融合的单图像超分辨率网络

6

作者 马勇 《电视技术》 2024年第5期57-61,68,共6页

近年来,超分辨率重建已经成为图像处理领域的一个研究热点。然而,超分辨率重建面临着诸多挑战,当模型参数过大时,虽然能取得良好的性能,但需要巨大的内存成本。针对目前大多数图像超分辨率网络无法做到既能实现良好的性能,又能保持网络... 近年来,超分辨率重建已经成为图像处理领域的一个研究热点。然而,超分辨率重建面临着诸多挑战,当模型参数过大时,虽然能取得良好的性能,但需要巨大的内存成本。针对目前大多数图像超分辨率网络无法做到既能实现良好的性能,又能保持网络模型轻量级的问题,提出了一种用于单图像超分辨率的新型轻量级双阶段网络。具体来说,设计了一种轻量级卷积模块用于局部特征提取,同时引入了一种轻量级Transformer模块学习图像的长期依赖关系,用于建模全局信息。实验结果表明,所提模型在客观评价指标和视觉效果上均表现良好。 展开更多

关键词 图像超分辨率 轻量级双阶段网络(LDSNet) Transformer模块 卷积神经网络(CNN) 自注意力

在线阅读 下载PDF 职称材料

双通道多感知卷积神经网络图像超分辨率重建 被引量：2

7

作者 王鑫 王翠荣 +1 位作者 王聪 苑迎 《东北大学学报（自然科学版）》 EI CAS CSCD 北大核心 2020年第11期1564-1569,1576,共7页

基于深度卷积神经网络的单幅图像超分辨率重建取得了显著研究成果.但随着深度卷积神经网络规模的不断扩大,如何降低网络构建难度和计算成本成为一个难点.为此,提出了一种双通道多感知卷积神经网络(DMCN)模型.该模型在两条具有不同卷积... 基于深度卷积神经网络的单幅图像超分辨率重建取得了显著研究成果.但随着深度卷积神经网络规模的不断扩大,如何降低网络构建难度和计算成本成为一个难点.为此,提出了一种双通道多感知卷积神经网络(DMCN)模型.该模型在两条具有不同卷积核的通道上建立了稠密连接,并构建了带有动态调节能力的层间融合结构.这种结构的设计使得小规模卷积神经网络便能获得图片特征信息的全面感知能力.实验结果表明,DMCN重建效果优于目前多数具有代表性的重建算法. 展开更多

关键词 单幅图像超分辨率重建 双通道多感知卷积神经网络 稠密连接 残差网络 深度学习

在线阅读 下载PDF 职称材料

多分支残差注意力机制融合的图像超分辨率重建 被引量：1

8

作者 时维国 王佳依 《大连交通大学学报》 CAS 2023年第3期103-108,112,共7页

针对图像超分辨率重建时存在特征映射不完全,以及映射特征易丢失而导致的重建效果不佳的问题,提出了一种多分支残差注意力机制融合的图像超分辨率重建算法。该算法在深层特征映射部分引入多分支架构,增加了网络宽度;并在每个分支中引入... 针对图像超分辨率重建时存在特征映射不完全,以及映射特征易丢失而导致的重建效果不佳的问题,提出了一种多分支残差注意力机制融合的图像超分辨率重建算法。该算法在深层特征映射部分引入多分支架构,增加了网络宽度;并在每个分支中引入包括融合注意力机制的残差结构,对不同的特征信息进行侧重学习,提高了模型提取特征的能力;然后在非线性映射输出层对多个分支映射的信息进行叠加,进一步使特征信息融合,促进参数传递。试验结果表明,该算法在客观评价指标上和主观图像效果上均优于其他算法,有效提高了重建图像的细节清晰度。 展开更多

关键词 图像超分辨率重建 残差网络 注意力机制 多分支架构

在线阅读 下载PDF 职称材料

一种多尺度三维卷积的视频超分辨率方法 被引量：2

9

作者 詹克羽 孙岳 李颖 《西安电子科技大学学报》 EI CAS CSCD 北大核心 2021年第5期8-14,共7页

视频超分辨率技术可由低分辨率视频获得高分辨率视频,有效提升视频的显示效果。与单幅图像超分辨率不同,如何利用相邻视频帧之间的信息在视频超分辨率中则显得十分重要。为改善视频超分辨率重建的性能,充分利用视频帧的时间-空间相关性... 视频超分辨率技术可由低分辨率视频获得高分辨率视频,有效提升视频的显示效果。与单幅图像超分辨率不同,如何利用相邻视频帧之间的信息在视频超分辨率中则显得十分重要。为改善视频超分辨率重建的性能,充分利用视频帧的时间-空间相关性,提出一种基于多尺度三维卷积的视频超分辨率模型。该模型输入连续的多帧视频图像,输出中间帧的超分辨率重建结果,包括多尺度特征提取、特征融合以及高分辨率重建3个模块。首先,使用多尺度的三维卷积进行初步特征提取;然后,使用三维卷积残差结构进行特征融合,并将特征图进行通道分离,在融合不同尺度的特征时,有效地减少了网络的参数量;最后,使用多个残差密集连接块和亚像素卷积进行高分辨率重建,并结合全局残差连接得到重建的高分辨率视频图像。Vid4数据集上3倍和4倍超分辨率放大的实验结果表明,与其他已有方法相比,该方法可有效提升峰值信噪比和结构相似性性能,取得较好的视觉效果。 展开更多

关键词 视频超分辨率 三维卷积 残差网络 时间-空间相关性

在线阅读 下载PDF 职称材料

基于双通道CNN的单幅图像超分辨率重建 被引量：1

10

作者 姚琴娟 林家骏 《华东理工大学学报（自然科学版）》 CAS CSCD 北大核心 2019年第5期801-808,共8页

卷积神经网络在单幅图像超分辨率重建方面取得了很大的进展,目前的很多方法都选择使用浅层或者深层的卷积神经网络实现图像超分辨率重建。浅层网络结构简单,但容易丢失图像的高频信息,而深层网络可以学习图像的高频纹理特征。本文提出... 卷积神经网络在单幅图像超分辨率重建方面取得了很大的进展,目前的很多方法都选择使用浅层或者深层的卷积神经网络实现图像超分辨率重建。浅层网络结构简单,但容易丢失图像的高频信息,而深层网络可以学习图像的高频纹理特征。本文提出了双通道卷积神经网络。浅层网络负责重建图像的整体轮廓,保留图像的原始信息;深层网络学习图像的高频纹理特征。在深层网络中,使用密集连接的卷积网络,能更有效地恢复图像的高频信息。同时,在两个网络的末端,通过添加额外的卷积层表示融合层,将网络进行融合,重建超分辨率图片。实验结果表明,在大多数情况下,本文模型的重构效果在主观和客观评估中均优于当前代表性的超分辨率重构方法。 展开更多

关键词 超分辨率重建 双通道卷积网络 密集连接 融合层

在线阅读 下载PDF 职称材料

改进BasicVSR的水下视频超分辨率重构 被引量：1

11

作者 赵艳玲 张婧 冯迎宾 《光电技术应用》 2023年第5期66-73,共8页

由于水下环境复杂多变,水流湍急、相机抖动、悬浮颗粒的遮挡以及光的吸收和传播等导致光学设备获取的水下视频出现运动模糊、颜色失真和对比度低等问题。针对这些问题提出一种改进BasicVSR的水下视频超分辨率算法以提高重构图像的细节信... 由于水下环境复杂多变,水流湍急、相机抖动、悬浮颗粒的遮挡以及光的吸收和传播等导致光学设备获取的水下视频出现运动模糊、颜色失真和对比度低等问题。针对这些问题提出一种改进BasicVSR的水下视频超分辨率算法以提高重构图像的细节信息,同时改善水下图像偏蓝和偏绿的现象。首先,利用卷积神经网络拟合水下图像退化模型中的参数,进而得到水下图像特征;其次,利用原始输入的低分辨率视频帧计算得到前后帧之间的光流值;最后,利用光流信息对特征图进行双向传播,最终得到重构之后的每一帧图像。实验结果表明,经文中算法处理后的水下图像更符合人眼视觉特征,并且图像质量评价指标上相比其他算法有显著提高,更好的满足水下视觉高级任务对水下视频质量的要求。 展开更多

关键词 水下视频超分辨率重构 卷积神经网络 水下图像退化模型 双向特征传播 光学设备

在线阅读 下载PDF 职称材料

基于视频放大和双分支网络的微表情识别 被引量：2

12

作者 李召峰 朱明 《液晶与显示》 CAS CSCD 北大核心 2022年第3期386-394,共9页

微表情是指当人们想要隐藏其真实情绪时,所自发产生的表情,持续时间在1/5 s之内,其面部肌肉运动短暂、幅度微小,有限的数据集使得特征提取变得困难,给其识别带来巨大的挑战。针对这些问题,本文提出一种基于图像预处理技术和双分支网络... 微表情是指当人们想要隐藏其真实情绪时,所自发产生的表情,持续时间在1/5 s之内,其面部肌肉运动短暂、幅度微小,有限的数据集使得特征提取变得困难,给其识别带来巨大的挑战。针对这些问题,本文提出一种基于图像预处理技术和双分支网络的识别方法,首先利用先进的人脸对齐网络获取有效的面部表情区域,再采取欧拉视频放大技术捕捉面部动作的微弱变化,以及提取光流信息作为视频序列的特征,然后将光流信息不同组合的特征图输入到双分支分类网络中得到表情标签输出。在SMIC和CASMEⅡ两个公开的数据集上进行实验,采用留一法交叉验证,准确率分别达到0.545和0.584,实验结果的定量分析和定性分析均验证了所提出识别模型的有效性。 展开更多

关键词 微表情 视频放大 光流 双分支网络

在线阅读 下载PDF 职称材料

共享超分的双分支遥感图像时空融合网络

13

作者 方帅 张小溪 张晶 《电子学报》 2025年第2期581-594,共14页

本文从空间维度和时间维度分析了场景弱变化区域和类型变化区域的融合规律、物理模型的差异性和效果上的互补性,提出了共享超分辨率的双分支(Shared Super-Resolution Dual-Branch,SSRDB)遥感图像时空融合算法.该算法具有如下3个特点:(1... 本文从空间维度和时间维度分析了场景弱变化区域和类型变化区域的融合规律、物理模型的差异性和效果上的互补性,提出了共享超分辨率的双分支(Shared Super-Resolution Dual-Branch,SSRDB)遥感图像时空融合算法.该算法具有如下3个特点:(1)构建了互补性的网络框架,虽然该框架是端到端的深度学习模型,但每个模块有各自的物理意义和任务,通过增加中间监督,分别实现空间维的超分建模,时间维的变化预测建模,以及两者优势互补的融合建模;(2)对变化预测的数学表示进行推演,利用一个非线性补偿模块,使得两分支共享超分模块,在共享超分模块和递归复用超分单元的双重策略下,显著降低了网络参数;(3)递归超分模块使用固定的2倍率超分单元,在有效监督和有效参考下,渐进式进行特征增强与图像重建,这可以有效提高超分精度,且通过调整超分单元个数,灵活适应不同倍率差异的时空融合任务.SSRDB算法在空间和光谱特性上以及变化区域上都展现了优秀的融合效果,RMSE(Root Mean Squared Error)、SAM(Spectral Angle Mapper)和SSIM(Structural Similarity)3个定量评价指标显示,在CIA(Coleambally lrrigation Area)数据集上分别优于次优方法 7.067%、2.065%、0.563%;在LGC(Lower Gwydir Catchment)数据集上分别优于次优方法5.319%、5.490%、1.455%;在Nanjing数据集上分别优于次优方法6.486%、16.290%、0.481%. 展开更多

关键词 遥感图像 时空融合 双分支 图像超分 卷积神经网络

在线阅读 下载PDF 职称材料

基于多路光流信息的微光视频增强算法

14

作者 刘书生 王九杭 童官军 《现代电子技术》 北大核心 2024年第16期13-22,共10页

图像和视频是记录真实场景信息的重要媒介,它们包含丰富而详细的视觉内容,可以开发各种智能系统来执行各种任务。特别是对于低照度条件下的视频,提升其清晰度和细节可以更好地表现和还原真实场景。针对在夜间低照度环境条件下对周围环... 图像和视频是记录真实场景信息的重要媒介,它们包含丰富而详细的视觉内容,可以开发各种智能系统来执行各种任务。特别是对于低照度条件下的视频,提升其清晰度和细节可以更好地表现和还原真实场景。针对在夜间低照度环境条件下对周围环境感知的需求,提出一种基于多路光流信息时间一致性的微光视频增强算法。通过引入预测的光流与真实的光流信息,构建三分支孪生网络对微光视频进行增强;同时针对微光视频存在的低信噪比以及模糊化问题,设计一种基于双尺度注意力机制的微光视频去噪模块(CA-Swin模块),以提升网络的去噪性能。通过在DAVIS数据集上进行对比实验和评估,得出所提网络在增强微光视频方面更高效,鲁棒性显著;且该策略还具有通用性,可以直接扩展到大规模数据集。 展开更多

关键词 微光视频增强 光流信息 时间一致性 三分支孪生网络 双尺度注意力机制 微光视频去噪模块 视频帧

在线阅读 下载PDF 职称材料