遥感图像语义分割是指通过对遥感图像上每个像素分配语义标签并标注,从而形成分割图的过程,在国土资源规划、智慧城市等领域有着广泛的应用。高分辨率遥感图像存在目标大小尺度不一与阴影遮挡等问题,单一模态下对相似地物和阴影遮挡地...遥感图像语义分割是指通过对遥感图像上每个像素分配语义标签并标注,从而形成分割图的过程,在国土资源规划、智慧城市等领域有着广泛的应用。高分辨率遥感图像存在目标大小尺度不一与阴影遮挡等问题,单一模态下对相似地物和阴影遮挡地物分割较为困难。针对上述问题,提出了将IRRG(infrared、red、green)图像与DSM(digital surface model)图像融合的遥感图像语义分割网络MMFNet。网络采用编码器-解码器的结构,编码层采用双输入流的方式同时提取IRRG图像的光谱特征和DSM图像的高度特征。解码器使用残差解码块(residual decoding block,RDB)提取融合后的特征,并使用密集连接的方式加强特征的传播和复用。提出复合空洞空间金字塔(complex atrous spatial pyramid pooling,CASPP)模块提取跳跃连接的多尺度特征。在国际摄影测量与遥感学会(international society for photogrammetry and remote sensing,ISPRS)提供的Vaihingen和Potsdam数据集上进行了实验,MMFNet分别取得了90.44%和90.70%的全局精确度,相比较与DeepLabV3+、OCRNet等通用分割网络和CEVO、UFMG_4等同数据集专用分割网络具有更高的分割精确度。展开更多
随着遥感技术的发展,遥感图像的语义分割在城乡资源管理、城乡规划等领域有着更为广泛的应用。因为小型无人机在遥感数据采集方面具有成本效益、灵活性和操作便捷等优势,所以使用无人机拍摄图像已经成为收集遥感图像数据集的首选方法。...随着遥感技术的发展,遥感图像的语义分割在城乡资源管理、城乡规划等领域有着更为广泛的应用。因为小型无人机在遥感数据采集方面具有成本效益、灵活性和操作便捷等优势,所以使用无人机拍摄图像已经成为收集遥感图像数据集的首选方法。由于小型无人机低空斜角拍摄的特性,相较于传统遥感拍摄设备获取的图片,无人机图片目标细节信息更加丰富、目标关系更加复杂的特性导致基于局部卷积的传统深度学习模型无法再胜任此项工作。针对上述问题,提出了基于SegFormer的改进遥感图像语义分割网络。基于SegFormer,在编码层额外添加轮廓提取模块(edge contour extraction module,ECEM)辅助模型提取目标的浅层特征。鉴于城市遥感图像建筑物居多的特点,在编码层额外添加使用多尺度条纹池化(multi-scale strip pooling,MSP)替换全局平均池化的多尺度空洞空间卷积池化金字塔(multi-scale atrous spatial pyramid pooling,MSASPP)模块来提取图像中的长条状目标特征。针对原始解码器操作不利于特征信息还原的缺点,参考U-Net网络解码层的结构,将编码层接收到的特征融合之后再执行上采样提取以及SE通道注意力操作,以此加强特征的传播和融合。改进网络在国际摄影测量与遥感学会(International Society for Photogrammetry and Remote Sensing,ISPRS)提供的Vaihingen和无人机遥感图像语义分割数据集UAVid上进行了实验,网络分别取得了90.30%和77.90%的平均交并比(mean intersection over union,MIoU),比DeepLabV3+、Swin-Unet等通用分割网络具有更高的分割精确度。展开更多
文摘遥感图像语义分割是指通过对遥感图像上每个像素分配语义标签并标注,从而形成分割图的过程,在国土资源规划、智慧城市等领域有着广泛的应用。高分辨率遥感图像存在目标大小尺度不一与阴影遮挡等问题,单一模态下对相似地物和阴影遮挡地物分割较为困难。针对上述问题,提出了将IRRG(infrared、red、green)图像与DSM(digital surface model)图像融合的遥感图像语义分割网络MMFNet。网络采用编码器-解码器的结构,编码层采用双输入流的方式同时提取IRRG图像的光谱特征和DSM图像的高度特征。解码器使用残差解码块(residual decoding block,RDB)提取融合后的特征,并使用密集连接的方式加强特征的传播和复用。提出复合空洞空间金字塔(complex atrous spatial pyramid pooling,CASPP)模块提取跳跃连接的多尺度特征。在国际摄影测量与遥感学会(international society for photogrammetry and remote sensing,ISPRS)提供的Vaihingen和Potsdam数据集上进行了实验,MMFNet分别取得了90.44%和90.70%的全局精确度,相比较与DeepLabV3+、OCRNet等通用分割网络和CEVO、UFMG_4等同数据集专用分割网络具有更高的分割精确度。
文摘随着遥感技术的发展,遥感图像的语义分割在城乡资源管理、城乡规划等领域有着更为广泛的应用。因为小型无人机在遥感数据采集方面具有成本效益、灵活性和操作便捷等优势,所以使用无人机拍摄图像已经成为收集遥感图像数据集的首选方法。由于小型无人机低空斜角拍摄的特性,相较于传统遥感拍摄设备获取的图片,无人机图片目标细节信息更加丰富、目标关系更加复杂的特性导致基于局部卷积的传统深度学习模型无法再胜任此项工作。针对上述问题,提出了基于SegFormer的改进遥感图像语义分割网络。基于SegFormer,在编码层额外添加轮廓提取模块(edge contour extraction module,ECEM)辅助模型提取目标的浅层特征。鉴于城市遥感图像建筑物居多的特点,在编码层额外添加使用多尺度条纹池化(multi-scale strip pooling,MSP)替换全局平均池化的多尺度空洞空间卷积池化金字塔(multi-scale atrous spatial pyramid pooling,MSASPP)模块来提取图像中的长条状目标特征。针对原始解码器操作不利于特征信息还原的缺点,参考U-Net网络解码层的结构,将编码层接收到的特征融合之后再执行上采样提取以及SE通道注意力操作,以此加强特征的传播和融合。改进网络在国际摄影测量与遥感学会(International Society for Photogrammetry and Remote Sensing,ISPRS)提供的Vaihingen和无人机遥感图像语义分割数据集UAVid上进行了实验,网络分别取得了90.30%和77.90%的平均交并比(mean intersection over union,MIoU),比DeepLabV3+、Swin-Unet等通用分割网络具有更高的分割精确度。
