期刊文献+
共找到2篇文章
< 1 >
每页显示 20 50 100
基于自监督预训练与跨尺度对比学习的多模态遥感图像融合
1
作者 李朝伟 冯世阳 王斌 《红外与毫米波学报》 北大核心 2025年第4期520-533,共14页
自监督预训练方法具有强大的特征提取和模型迁移能力,然而,目前多模态遥感图像融合中的预训练方法只对所提取多模态特征进行拼接等操作实现简单融合,而未针对多模态信息的融合设计专有模块,导致多模态互补信息融合不充分;其次,这些方法... 自监督预训练方法具有强大的特征提取和模型迁移能力,然而,目前多模态遥感图像融合中的预训练方法只对所提取多模态特征进行拼接等操作实现简单融合,而未针对多模态信息的融合设计专有模块,导致多模态互补信息融合不充分;其次,这些方法未考虑和利用遥感图像内部的跨尺度一致性先验,导致其对多模态遥感信息的提取和整合有限,因而使得各种下游任务的性能有待提高。针对上述问题,提出一种基于自监督预训练与跨尺度对比学习的多模态遥感图像融合方法,主要包括三部分:1通过引入交叉注意力融合机制初步融合不同模态提取的特征,再借助于编码器模块进一步提取特征,从而实现各模态互补信息的显式聚合和提取;2)通过引入跨模态融合机制,使每种模态能从所有模态的特征中提取有用的补充信息,分别解码后重构各模态输入;3)基于遥感图像的跨尺度一致性约束,引入跨尺度对比学习,以增强对单模态信息的提取,实现更鲁棒的预训练。在多个公开多模态遥感图像融合数据集上的实验结果表明,与现有方法相比,所提出算法在多种下游任务中均取得了显著的性能提升,在Clobe230k数据集上达到了79.01%的平均交并比(mloU)、92.56%的总体准确率(0A)和88.05%的平均F1分数(mF1),且具有扩展性好、超参数易设置的优点。 展开更多
关键词 多模态遥感图像融合 自监督预训练 对比学习 跨尺度一致性
在线阅读 下载PDF
基于跨尺度图对比学习的人体骨架动作识别方法 被引量:5
2
作者 张雪莲 徐增敏 +1 位作者 陈家昆 王露露 《燕山大学学报》 CAS 北大核心 2023年第2期164-174,共11页
传统基于人体骨架的自监督学习方法常用对比学习模块进行表征学习,而现有对比学习模块使用数据增强方法来构建相似的正样本,其余样本皆为负样本,这限制了同类样本的语义信息表达。针对上述问题,提出一种图对比学习与跨尺度一致性知识挖... 传统基于人体骨架的自监督学习方法常用对比学习模块进行表征学习,而现有对比学习模块使用数据增强方法来构建相似的正样本,其余样本皆为负样本,这限制了同类样本的语义信息表达。针对上述问题,提出一种图对比学习与跨尺度一致性知识挖掘的动作识别算法。首先,基于骨架图结构设计了一种新的数据增强方法,对输入的骨架序列进行随机边裁剪,得到两个不同的扩增视图,加强了同一骨架序列不同视图间的语义相关性表达;其次,为缓解同类样本嵌入相似度较低的问题,引入自监督协同训练网络模型,利用同一骨架数据源的不同尺度间的互补信息,从一个骨架尺度获取另一个骨架尺度的正类样本,实现了单尺度内关联及多尺度间语义协同交互;最后,基于线性评估协议对模型效果进行评估,在NTURGB+D60与NTURGB+D120数据集的实验结果表明,本文所提方法在识别精度上较前沿主流方法平均提升了2%~3.5%。 展开更多
关键词 图对比学习 数据增强 跨尺度一致性知识挖掘 协同训练 人体骨架
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部