-
题名基于双重注意力机制的多尺度指代目标分割方法
- 1
-
-
作者
胡梦楠
王蓉
张文靖
张琪
-
机构
中国人民公安大学信息网络安全学院
山东警察学院治安系
山东警察学院社会治安与应急管理研究中心
-
出处
《计算机辅助设计与图形学学报》
北大核心
2025年第1期148-156,共9页
-
基金
中国人民公安大学安全防范工程双一流专项(2023SYL08).
-
文摘
针对指代分割任务中视觉和语言间缺乏充分的跨模态交互、不同尺寸的目标空间和语义信息存在差异的问题,提出了基于双重注意力机制的多尺度指代目标分割方法.首先,利用语言表达中不同类型的信息关键词来增强视觉和语言特征的跨模态对齐,并使用双重注意力机制捕捉多模态特征间的依赖性,实现模态间和模态内的交互;其次,利用语言特征作为引导,从其他层次的特征中聚合与目标相关的视觉信息,进一步增强特征表示;然后利用双向ConvLSTM以自下而上和自上而下的方式逐步整合低层次的空间细节和高层次的语义信息;最后,利用不同膨胀因子的空洞卷积融合多尺度信息,增加模型对不同尺度分割目标的感知能力.此外,在UNC,UNC+,GRef和ReferIt基准数据集上进行实验,实验结果表明,文中方法在UNC,UNC+,GRef和ReferIt上的oIoU指标分别提高了1.81个百分点、1.26个百分点、0.84个百分点和0.32个百分点,广泛的消融研究也验证了所提方法中各组成部分的有效性.
-
关键词
指代目标分割
跨模态交互
特征增强
注意力机制
多尺度融合
-
Keywords
referring image segmentation
cross-modal interaction
feature enhancement
attention mechanism
multi-scale feature fusion
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
