-
题名跨模态多层特征融合的遥感影像语义分割
- 1
-
-
作者
李智杰
程鑫
李昌华
高元
薛靖裕
介军
-
机构
西安建筑科技大学信息与控制工程学院
西安建筑科技大学建筑学院
-
出处
《计算机科学与探索》
北大核心
2025年第4期989-1000,共12页
-
基金
国家自然科学基金(51878536)
陕西省住房城乡建设科技计划项目(2020-K09)
陕西省教育厅协同创新中心项目(23JY038)。
-
文摘
多模态语义分割网络能够利用不同模态中的互补信息来提高分割精度,在地物分类领域具有广泛的应用潜力。然而,现有的多模态遥感影像语义分割模型大多忽略了深度特征的几何形状信息,未将多层特征充分利用就进行融合,导致跨模态特征提取不充分,融合效果不理想。针对这些问题,提出了一种基于多模态特征提取和多层特征融合的遥感影像语义分割模型。通过构建双分支编码器,模型能够分别提取遥感影像的光谱信息和归一化数字表面模型(nDSM)的高程信息,并深入挖掘nDSM的几何形状信息。引入跨层丰富模块细化完善每层特征,从深层到浅层充分利用多层的特征信息。完善后的特征通过注意力特征融合模块,对特征进行差异性互补和交叉融合,以减轻分支结构之间的差异,充分发挥多模态特征的优势,从而提高遥感影像分割精度。在ISPRS Vaihingen和Potsdam数据集上进行实验,mF1分数分别达到了90.88%和93.41%,平均交互比(mIoU)分别达到了83.49%和87.85%,相较于当前主流算法,该算法实现了更准确的遥感影像语义分割。
-
关键词
遥感影像
归一化数字表面模型(nDSM)
语义分割
特征提取
特征融合
-
Keywords
remote sensing images
normalized digital surface model(nDSM)
semantic segmentation
feature extraction
feature fusion
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
