期刊文献+
共找到3篇文章
< 1 >
每页显示 20 50 100
基于自监督预训练与跨尺度对比学习的多模态遥感图像融合
1
作者 李朝伟 冯世阳 王斌 《红外与毫米波学报》 北大核心 2025年第4期520-533,共14页
自监督预训练方法具有强大的特征提取和模型迁移能力,然而,目前多模态遥感图像融合中的预训练方法只对所提取多模态特征进行拼接等操作实现简单融合,而未针对多模态信息的融合设计专有模块,导致多模态互补信息融合不充分;其次,这些方法... 自监督预训练方法具有强大的特征提取和模型迁移能力,然而,目前多模态遥感图像融合中的预训练方法只对所提取多模态特征进行拼接等操作实现简单融合,而未针对多模态信息的融合设计专有模块,导致多模态互补信息融合不充分;其次,这些方法未考虑和利用遥感图像内部的跨尺度一致性先验,导致其对多模态遥感信息的提取和整合有限,因而使得各种下游任务的性能有待提高。针对上述问题,提出一种基于自监督预训练与跨尺度对比学习的多模态遥感图像融合方法,主要包括三部分:1通过引入交叉注意力融合机制初步融合不同模态提取的特征,再借助于编码器模块进一步提取特征,从而实现各模态互补信息的显式聚合和提取;2)通过引入跨模态融合机制,使每种模态能从所有模态的特征中提取有用的补充信息,分别解码后重构各模态输入;3)基于遥感图像的跨尺度一致性约束,引入跨尺度对比学习,以增强对单模态信息的提取,实现更鲁棒的预训练。在多个公开多模态遥感图像融合数据集上的实验结果表明,与现有方法相比,所提出算法在多种下游任务中均取得了显著的性能提升,在Clobe230k数据集上达到了79.01%的平均交并比(mloU)、92.56%的总体准确率(0A)和88.05%的平均F1分数(mF1),且具有扩展性好、超参数易设置的优点。 展开更多
关键词 多模态遥感图像融合 自监督预训练 对比学习 跨尺度一致性
在线阅读 下载PDF
稀疏性和自相似性先验引导的深度学习图像盲超分
2
作者 葛孙逸 罗小伟 +1 位作者 冯世阳 王斌 《红外与毫米波学报》 北大核心 2025年第3期431-444,共14页
现有的基于深度学习的图像盲超分算法仅利用神经网络端到端地学习低分辨率图像到高分辨率图像的映射,让网络隐式地学习图像的先验,导致算法仍产生模糊的超分结果。针对上述问题,提出一种稀疏性和自相似性先验引导的深度学习图像盲超分... 现有的基于深度学习的图像盲超分算法仅利用神经网络端到端地学习低分辨率图像到高分辨率图像的映射,让网络隐式地学习图像的先验,导致算法仍产生模糊的超分结果。针对上述问题,提出一种稀疏性和自相似性先验引导的深度学习图像盲超分算法。首先,针对不同的低分辨率图像输入,利用动态线性核估计模块,有效估计出相应模糊核;然后,利用基于快速迭代软阈值收缩算法(FISTA)的深度展开反卷积滤波模块,显式地对信号的稀疏性先验进行建模,实现对退化图像的反卷积恢复;最后,利用双通道多尺度大感受野恢复模块,借助图像自相似性先验进行超分恢复。实验结果表明,相较于现有方法,所提出算法在公开的Gaussian8数据集上达到了31.66的峰值信噪比(PSNR)与0.8725的结构相似度(SSIM),在公开的DIV2KRK数据集上实现了29.08的PSNR与0.8007的SSIM,其所恢复出的图像不仅具有最高的复原指标,还具有更佳的视觉效果。 展开更多
关键词 图像盲超分 深度学习 稀疏性先验 自相似性先验 深度展开网络
在线阅读 下载PDF
基于知识蒸馏的轻量化遥感图像场景分类 被引量:2
3
作者 张重阳 王斌 《红外与毫米波学报》 SCIE EI CAS CSCD 北大核心 2024年第5期684-695,共12页
遥感图像场景分类旨在根据遥感图像的内容为其自动赋予相应的语义标签,已成为当前遥感图像处理领域中的研究热点。基于卷积神经网络(Convolutional Neural Networks,CNNs)的方法和基于自注意力机制的方法则是当前遥感图像场景分类中的... 遥感图像场景分类旨在根据遥感图像的内容为其自动赋予相应的语义标签,已成为当前遥感图像处理领域中的研究热点。基于卷积神经网络(Convolutional Neural Networks,CNNs)的方法和基于自注意力机制的方法则是当前遥感图像场景分类中的两大主流方法。然而,前者不擅长学习长程上下文关系;后者对局部信息的学习能力有限,且具有较大的参数量和运算量。针对上述问题,提议一种基于知识蒸馏的轻量化遥感图像场景分类方法。该方法分别以Swin Transformer和小型CNN网络作为教师模型和学生模型,通过知识蒸馏的方式融合两种模型的优势;更进一步,提出一种新颖的知识蒸馏损失函数,使学生模型能够同时关注遥感图像类间和类内的潜在信息。在两个大规模数据集上的实验结果表明,与现有其它方法相比,所提出方法不仅有高的分类精度,还具有显著降低的参数量和运算量。 展开更多
关键词 遥感图像 场景分类 卷积神经网络 知识蒸馏 损失函数
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部