-
题名基于对比学习的多模态遥感图像融合分类研究
- 1
-
-
作者
初壮
钱育蓉
范迎迎
刘怡然
-
机构
新疆大学软件学院
信号检测与处理重点实验室(新疆维吾尔自治区)
新疆大学软件工程重点实验室
新疆财经大学信息管理学院
新疆大学计算机科学与技术学院
-
出处
《微电子学与计算机》
2025年第1期35-44,共10页
-
基金
新疆维吾尔自治区自然科学基金(2022D01B123)
国家自然科学基金(62266043,61966035,62261053)
+2 种基金
国防科工局高分辨率对地观测系统重大专项(95-Y50G37-9001-22/23)
天山创新团队(2023D14012)
新疆维吾尔自治区杰出青年科学基金(2023D01E01)。
-
文摘
高光谱与激光雷达图像融合分类技术能够实现对地物的高精度分类。目前,有监督的传统与深度学习方法取得了较好的分类结果,但往往需要大量的标记样本。基于自监督的多模态遥感融合分类研究相对较少,现有的自监督对比学习框架使用数据增强来生成正样本对,并不适用多模态遥感图像,会破坏多模态数据之间的空间分布与语义相似性,且模型过于复杂不利于下游微调任务的泛化。由此,提出了一种基于对比学习的多模态遥感图像融合分类网络(MMCLNet)。与传统的对比学习网络不同,该网络在预训练阶段无需数据增强操作,即可充分利用大量未标记的数据来学习判别特征表示。同时,精心设计的双分支网络降低了网络的复杂性。此外,在微调阶段采用多层次特征融合分类网络,充分整合两个模态数据的异构特征。使用3个真实的多模态遥感图像融合分类数据集进行了大量实验,证明了提出的研究方法在少量标记样本的数据集上具有一定的优势。
-
关键词
对比学习
多模态遥感分类
高光谱
激光雷达
多层次特征融合
自监督学习
-
Keywords
contrastive learning
multimodal remote sensing classification
HSI
LiDAR
multilevel feature fusion
self-supervised learning
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
