成像设备在受到外界激光干扰时,干扰光斑会遮挡显著目标的有效信息,导致图像质量显著下降,对后续工作带来困扰。针对激光干扰图像修复的问题,提出了基于全局语义感知与纹理频域约束的激光干扰图像修复网络模型。该模型由全局语义引导阶...成像设备在受到外界激光干扰时,干扰光斑会遮挡显著目标的有效信息,导致图像质量显著下降,对后续工作带来困扰。针对激光干扰图像修复的问题,提出了基于全局语义感知与纹理频域约束的激光干扰图像修复网络模型。该模型由全局语义引导阶段和局部细节增强阶段两部分组成:全局语义引导阶段通过结合滑动窗口的自注意力机制和分层结构的HBES(Hybrid Block of ESA andSTL)模块逐步扩大感受野以提取全局上下文信息,从而准确地推断出干扰区域的合理内容;局部细节增强阶段则以全局语义引导阶段的预测结果为输入,通过分析未干扰区域和干扰区域之间的相似性,将背景和干扰区域的关联信息相结合,生成高质量的修复结果。此外,为提升网络对纹理细节的关注,设计了一种余弦变换损失函数,强调图像细节部分的修复,使干扰区域的重建图像清晰、连贯。实验结果表明,该模型在激光干扰图像修复任务上取得了良好的修复效果,有效改善了图像质量。展开更多
目前基于3D-ConvNet的行为识别算法普遍使用全局平均池化(global average pooling,GAP)压缩特征信息,但会产生信息损失、信息冗余和网络过拟合等问题。为了解决上述问题,更好地保留卷积层提取到的高级语义信息,提出了基于全局频域池化(g...目前基于3D-ConvNet的行为识别算法普遍使用全局平均池化(global average pooling,GAP)压缩特征信息,但会产生信息损失、信息冗余和网络过拟合等问题。为了解决上述问题,更好地保留卷积层提取到的高级语义信息,提出了基于全局频域池化(global frequency domain pooling,GFDP)的行为识别算法。首先,根据离散余弦变换(discrete cosine transform,DCT)看出,GAP是频域中特征分解的一种特例,从而引入更多频率分量增加特征通道间的特异性,减少信息压缩后的信息冗余;其次,为了更好地抑制过拟合问题,引入卷积层的批标准化策略,并将其拓展在以ERB(efficient residual block)-Res3D为骨架的行为识别模型的全连接层以优化数据分布;最后,将该方法在UCF101数据集上进行验证。结果表明,模型计算量为3.5 GFlops,参数量为7.4 M,最终的识别准确率在ERB-Res3D模型的基础上提升了3.9%,在原始Res3D模型基础上提升了17.4%,高效实现了更加准确的行为识别结果。展开更多
文摘成像设备在受到外界激光干扰时,干扰光斑会遮挡显著目标的有效信息,导致图像质量显著下降,对后续工作带来困扰。针对激光干扰图像修复的问题,提出了基于全局语义感知与纹理频域约束的激光干扰图像修复网络模型。该模型由全局语义引导阶段和局部细节增强阶段两部分组成:全局语义引导阶段通过结合滑动窗口的自注意力机制和分层结构的HBES(Hybrid Block of ESA andSTL)模块逐步扩大感受野以提取全局上下文信息,从而准确地推断出干扰区域的合理内容;局部细节增强阶段则以全局语义引导阶段的预测结果为输入,通过分析未干扰区域和干扰区域之间的相似性,将背景和干扰区域的关联信息相结合,生成高质量的修复结果。此外,为提升网络对纹理细节的关注,设计了一种余弦变换损失函数,强调图像细节部分的修复,使干扰区域的重建图像清晰、连贯。实验结果表明,该模型在激光干扰图像修复任务上取得了良好的修复效果,有效改善了图像质量。
