随着互联网中多模态数据的快速增长,跨模态检索技术受到了广泛关注。然而,现实中一些多模态数据存在语义信息缺失,导致模型难以准确提取出其中蕴涵的语义特征。此外,一些多模态数据还包含了与语义无关的冗余信息,干扰了模型对关键信息...随着互联网中多模态数据的快速增长,跨模态检索技术受到了广泛关注。然而,现实中一些多模态数据存在语义信息缺失,导致模型难以准确提取出其中蕴涵的语义特征。此外,一些多模态数据还包含了与语义无关的冗余信息,干扰了模型对关键信息的提取。为此,提出了一种基于信息互补与交叉注意力(ICCA)的跨模态检索方法。该方法利用图卷积网络(GCN)建模多标签和数据之间的关系,以补充多模态数据中缺失的语义信息与多标签中缺失的样本细节信息。此外,交叉注意力子模块利用多标签信息,过滤掉数据中语义无关的冗余信息。为了使语义相似的图像和文本在公共表示空间中实现更好的匹配,还提出了一种语义匹配损失。此损失将多标签嵌入融入到图像和文本的匹配过程中,用于进一步增强公共表示的语义性。在NUS-WIDE、MIRFlickr-25K和MS-COCO这三个广泛使用的数据集上进行实验,实验结果表明,ICCA在这些数据集上的平均精度均值(mean average precision,mAP)分别为0.808、0.859和0.837,显著优于现有方法。展开更多
现有大多遥感图像超分辨率方法,无法充分挖掘图像中混合尺度的自相似性信息和跨尺度区域间的关联信息,且忽略了频率域对感知图像高频信息的能力。针对这一问题,本文提出了一种空间自适应及频率融合网络(Spatial Adaptation and Frequenc...现有大多遥感图像超分辨率方法,无法充分挖掘图像中混合尺度的自相似性信息和跨尺度区域间的关联信息,且忽略了频率域对感知图像高频信息的能力。针对这一问题,本文提出了一种空间自适应及频率融合网络(Spatial Adaptation and Frequency Fusion Network,SAF2Net)。SAF2Net首先引入一种混合尺度空间自适应特征调制模块,采用类似于特征金字塔的方式获取不同尺度下的判别特征,丰富多尺度特征的表达能力。随后,设计了一个全局多尺度感受野选择块,挖掘跨尺度区域间的关联特征。在此基础上,引入空间自适应选择块和频率分离选择块,融合空间-频率互补信息以增强局部特征,提高模型对图像高频内容的建模能力。在两个公开遥感图像数据集上进行多组实验,SAF2Net获得的定量评价指标结果均优于其他对比方法。以UCMerced数据集3倍超分辨率为例,本文方法相较于次优方法HAUNet,PSNR和SSIM分别提升了0.11 dB和0.0033;在主观视觉质量方面,SAF2Net能够恢复出更多清晰的纹理细节。实验结果表明,本文所提出的SAF2Net能够从两个不同的角度挖掘混合尺度全局信息,并有效融合空间-频率互补特征,在遥感图像超分辨率任务中表现出具有竞争力的重建性能。展开更多
文摘随着互联网中多模态数据的快速增长,跨模态检索技术受到了广泛关注。然而,现实中一些多模态数据存在语义信息缺失,导致模型难以准确提取出其中蕴涵的语义特征。此外,一些多模态数据还包含了与语义无关的冗余信息,干扰了模型对关键信息的提取。为此,提出了一种基于信息互补与交叉注意力(ICCA)的跨模态检索方法。该方法利用图卷积网络(GCN)建模多标签和数据之间的关系,以补充多模态数据中缺失的语义信息与多标签中缺失的样本细节信息。此外,交叉注意力子模块利用多标签信息,过滤掉数据中语义无关的冗余信息。为了使语义相似的图像和文本在公共表示空间中实现更好的匹配,还提出了一种语义匹配损失。此损失将多标签嵌入融入到图像和文本的匹配过程中,用于进一步增强公共表示的语义性。在NUS-WIDE、MIRFlickr-25K和MS-COCO这三个广泛使用的数据集上进行实验,实验结果表明,ICCA在这些数据集上的平均精度均值(mean average precision,mAP)分别为0.808、0.859和0.837,显著优于现有方法。
文摘现有大多遥感图像超分辨率方法,无法充分挖掘图像中混合尺度的自相似性信息和跨尺度区域间的关联信息,且忽略了频率域对感知图像高频信息的能力。针对这一问题,本文提出了一种空间自适应及频率融合网络(Spatial Adaptation and Frequency Fusion Network,SAF2Net)。SAF2Net首先引入一种混合尺度空间自适应特征调制模块,采用类似于特征金字塔的方式获取不同尺度下的判别特征,丰富多尺度特征的表达能力。随后,设计了一个全局多尺度感受野选择块,挖掘跨尺度区域间的关联特征。在此基础上,引入空间自适应选择块和频率分离选择块,融合空间-频率互补信息以增强局部特征,提高模型对图像高频内容的建模能力。在两个公开遥感图像数据集上进行多组实验,SAF2Net获得的定量评价指标结果均优于其他对比方法。以UCMerced数据集3倍超分辨率为例,本文方法相较于次优方法HAUNet,PSNR和SSIM分别提升了0.11 dB和0.0033;在主观视觉质量方面,SAF2Net能够恢复出更多清晰的纹理细节。实验结果表明,本文所提出的SAF2Net能够从两个不同的角度挖掘混合尺度全局信息,并有效融合空间-频率互补特征,在遥感图像超分辨率任务中表现出具有竞争力的重建性能。
