现有的注意力机制仅增强特征图的通道或空间维度,未能充分捕捉细微视觉元素和多尺度特征变化。为解决此问题,提出一种基于局部分块与全局多尺度特征融合的注意力机制(patch and global multiscale attention,PGMA)。将特征图分割成多个...现有的注意力机制仅增强特征图的通道或空间维度,未能充分捕捉细微视觉元素和多尺度特征变化。为解决此问题,提出一种基于局部分块与全局多尺度特征融合的注意力机制(patch and global multiscale attention,PGMA)。将特征图分割成多个小块,分别计算这些小块的注意力得分,增强对局部信息的感知能力。使用一组空洞卷积计算整个特征图的得分,获得全局多尺度信息的权衡。实验中,将PGMA集成到U-Net、DeepLab、SegNet等语义分割网络中,有效提升了它们的分割性能。这表明PGMA在增强CNN性能方面优于当前主流方法。展开更多
针对轻量化网络结构从特征图提取有效语义信息不足,以及语义信息与空间细节信息融合模块设计不合理而导致分割精度降低的问题,本文提出一种结合全局注意力机制的实时语义分割网络(global attention mechanism with real time semantic s...针对轻量化网络结构从特征图提取有效语义信息不足,以及语义信息与空间细节信息融合模块设计不合理而导致分割精度降低的问题,本文提出一种结合全局注意力机制的实时语义分割网络(global attention mechanism with real time semantic segmentation network,GaSeNet)。首先在双分支结构的语义分支中引入全局注意力机制,在通道与空间两个维度引导卷积神经网来关注与分割任务相关的语义类别,以提取更多有效语义信息;其次在空间细节分支设计混合空洞卷积块,在卷积核大小不变的情况下扩大感受野,以获取更多全局空间细节信息,弥补关键特征信息损失。然后重新设计特征融合模块,引入深度聚合金塔池化,将不同尺度的特征图深度融合,从而提高网络的语义分割性能。最后将所提出的方法在CamVid数据集和Vaihingen数据集上进行实验,通过与最新的语义分割方法对比分析可知,GaSeNet在分割精度上分别提高了4.29%、16.06%,实验结果验证了本文方法处理实时语义分割问题的有效性。展开更多
文摘现有的注意力机制仅增强特征图的通道或空间维度,未能充分捕捉细微视觉元素和多尺度特征变化。为解决此问题,提出一种基于局部分块与全局多尺度特征融合的注意力机制(patch and global multiscale attention,PGMA)。将特征图分割成多个小块,分别计算这些小块的注意力得分,增强对局部信息的感知能力。使用一组空洞卷积计算整个特征图的得分,获得全局多尺度信息的权衡。实验中,将PGMA集成到U-Net、DeepLab、SegNet等语义分割网络中,有效提升了它们的分割性能。这表明PGMA在增强CNN性能方面优于当前主流方法。
文摘针对轻量化网络结构从特征图提取有效语义信息不足,以及语义信息与空间细节信息融合模块设计不合理而导致分割精度降低的问题,本文提出一种结合全局注意力机制的实时语义分割网络(global attention mechanism with real time semantic segmentation network,GaSeNet)。首先在双分支结构的语义分支中引入全局注意力机制,在通道与空间两个维度引导卷积神经网来关注与分割任务相关的语义类别,以提取更多有效语义信息;其次在空间细节分支设计混合空洞卷积块,在卷积核大小不变的情况下扩大感受野,以获取更多全局空间细节信息,弥补关键特征信息损失。然后重新设计特征融合模块,引入深度聚合金塔池化,将不同尺度的特征图深度融合,从而提高网络的语义分割性能。最后将所提出的方法在CamVid数据集和Vaihingen数据集上进行实验,通过与最新的语义分割方法对比分析可知,GaSeNet在分割精度上分别提高了4.29%、16.06%,实验结果验证了本文方法处理实时语义分割问题的有效性。
