现有大多遥感图像超分辨率方法,无法充分挖掘图像中混合尺度的自相似性信息和跨尺度区域间的关联信息,且忽略了频率域对感知图像高频信息的能力。针对这一问题,本文提出了一种空间自适应及频率融合网络(Spatial Adaptation and Frequenc...现有大多遥感图像超分辨率方法,无法充分挖掘图像中混合尺度的自相似性信息和跨尺度区域间的关联信息,且忽略了频率域对感知图像高频信息的能力。针对这一问题,本文提出了一种空间自适应及频率融合网络(Spatial Adaptation and Frequency Fusion Network,SAF2Net)。SAF2Net首先引入一种混合尺度空间自适应特征调制模块,采用类似于特征金字塔的方式获取不同尺度下的判别特征,丰富多尺度特征的表达能力。随后,设计了一个全局多尺度感受野选择块,挖掘跨尺度区域间的关联特征。在此基础上,引入空间自适应选择块和频率分离选择块,融合空间-频率互补信息以增强局部特征,提高模型对图像高频内容的建模能力。在两个公开遥感图像数据集上进行多组实验,SAF2Net获得的定量评价指标结果均优于其他对比方法。以UCMerced数据集3倍超分辨率为例,本文方法相较于次优方法HAUNet,PSNR和SSIM分别提升了0.11 dB和0.0033;在主观视觉质量方面,SAF2Net能够恢复出更多清晰的纹理细节。实验结果表明,本文所提出的SAF2Net能够从两个不同的角度挖掘混合尺度全局信息,并有效融合空间-频率互补特征,在遥感图像超分辨率任务中表现出具有竞争力的重建性能。展开更多
文摘点云分类与分割在机器人导航、虚拟现实以及自动驾驶领域应用广泛,大多面向点云处理的深度学习方法采用共享权重的多层感知机(MultiLayer Perceptron,MLP)以及单一的池化来聚合点云的局部特征,难以准确地描述排列复杂的点云结构信息。针对上述问题,提出一种点云形状自适应的局部特征编码方法,以有效表征形状多样的点云结构信息,提升点云分类和分割性能。该方法首先引入一种自适应特征增强模块,采用差分和可学习的调节因子对特征进行增强,弥补共享权重MLP描述能力不足的问题。在此基础上,设计了一种特征聚合模块,利用点云的绝对空间距离赋予不同点不同权重以适应形状多变的点云结构信息,突出有代表性的点集,更加准确地描述点云的局部结构信息。在3个大型公开点云数据集上进行实验,结果表明,在ModelNet40数据集上取得了93.9%的总体实例分类精度,在分割数据集ShapeNet和S3dis上分别取得了85.9%,59.7%的总体实例平均交并比(mean Intersection over Union,mIoU),本文提出的方法在点云分类和分割任务上表现优秀。
文摘现有大多遥感图像超分辨率方法,无法充分挖掘图像中混合尺度的自相似性信息和跨尺度区域间的关联信息,且忽略了频率域对感知图像高频信息的能力。针对这一问题,本文提出了一种空间自适应及频率融合网络(Spatial Adaptation and Frequency Fusion Network,SAF2Net)。SAF2Net首先引入一种混合尺度空间自适应特征调制模块,采用类似于特征金字塔的方式获取不同尺度下的判别特征,丰富多尺度特征的表达能力。随后,设计了一个全局多尺度感受野选择块,挖掘跨尺度区域间的关联特征。在此基础上,引入空间自适应选择块和频率分离选择块,融合空间-频率互补信息以增强局部特征,提高模型对图像高频内容的建模能力。在两个公开遥感图像数据集上进行多组实验,SAF2Net获得的定量评价指标结果均优于其他对比方法。以UCMerced数据集3倍超分辨率为例,本文方法相较于次优方法HAUNet,PSNR和SSIM分别提升了0.11 dB和0.0033;在主观视觉质量方面,SAF2Net能够恢复出更多清晰的纹理细节。实验结果表明,本文所提出的SAF2Net能够从两个不同的角度挖掘混合尺度全局信息,并有效融合空间-频率互补特征,在遥感图像超分辨率任务中表现出具有竞争力的重建性能。
