摘要
为了实现利用有标注源数据获得在无标注目标数据上可用的遥感图像语义分割模型,提出了一种基于熵增强的域适应端到端语义分割方法。首先,为了充分利用遥感图像多尺度信息并且减少域之间传感器分辨率带来的域偏移,采用空洞空间金字塔池化模块作为分类器;其次,为了使无标注的目标域类别正确对应,使用了两个分类器进行协同训练;将像素点预测值的信息熵当做分类置信度的度量,将其作为对抗损失的权重,从而使训练能专注于难分类的像素,降低域偏移。在ISPRS(WGII/4)2D数据集上进行实验,所提方法相对于直接使用分割模型和使用传统对抗方法,mIoU分别提高了18%和12%。实验结果表明,所提方法在遥感图像域适应语义分割表现上优于直接使用分割模型或使用传统对抗域适应分割方法。
In order to obtain a remote sensing image semantic segmentation model that could be used on unlabeled target data by using annotated source data,this paper proposed an end-to-end entropy-enhanced domain adaptive semantic segmentation method.Firstly,in order to make full use of the multi-scale information of remote sensing images and reduce the domain shift caused by sensor resolution between domains,the method used the atrous spatial pyramid pooling module as the classifier.Secondly,in order to correctly correspond to the unlabeled target domain categories,it used two classifiers for co-training.Then,it used the information entropy of the predicted value of the pixel as the weight of adversarial loss which was a measure of the confidence of the classification,so that the training could focus on the pixels that were difficult to classify and reduce the domain shift.Experiments on the ISPRS(WGII/4)2D dataset,the mIoU of the proposed method is 18%and 12%higher than that of the direct use of segmentation model and the traditional adversarial method respectively.Experimental results show that the proposed method performs better than the direct use of segmentation model and traditional adversarial domain adaptive segmentation methods in remote sensing image domain adaptive semantic segmentation.
作者
张勋晖
周勇
赵佳琦
张迪
姚睿
刘兵
Zhang Xunhui;Zhou Yong;Zhao Jiaqi;Zhang Di;Yao Rui;Liu Bing(Engineering Research Center of Mine Digitization of Ministry of Education,China University of Mining&Technology,Xuzhou Jiangsu 221116,China;School of Computer Science&Technology,China University of Mining&Technology,Xuzhou Jiangsu 221116,China)
出处
《计算机应用研究》
CSCD
北大核心
2021年第9期2852-2856,共5页
Application Research of Computers
基金
国家自然科学基金资助项目(61806206,61772530)
江苏省自然科学基金资助项目(BK20180639,BK20201346)
江苏省六大高峰人才项目(2015-DZXX-010)。
关键词
遥感图像
语义分割
无监督域适应
协同训练
信息熵
remote sensing image
semantic segmentation
unsupervised domain adaptation
co-training
information entropy
作者简介
张勋晖(1990-),男,辽宁大连人,硕士,主要研究方向为图像语义分割、计算机视觉;通信作者:周勇(1974-),男,江苏徐州人,教授,博士,主要研究方向为深度学习、遥感图像处理(yzhou@cumt.edu.cn);赵佳琦(1988-),男,江苏徐州人,副教授,博士,主要研究方向为深度学习、计算机视觉和多目标优化;张迪(1992-),男,河南洛阳人,博士研究生,主要研究方向为多模态语义分割;姚睿(1982-),男,河南南阳人,副教授,博士,主要研究方向为计算机视觉、机器学习;刘兵(1981-),男,河南永城人,副教授,博士,主要研究方向为深度学习、图像处理.
