基于卷积交叉注意力与跨模态动态门控的多模态情感分析模型

1

作者 仲兆满 樊继冬 +3 位作者 张渝 王晨 吕慧慧 张丽玲 《智能系统学报》 北大核心 2025年第4期999-1009,共11页

在多模态情感分析任务中,现有方法由于忽视了图像与文本之间的情感关联性,导致融合特征存在大量冗余特征。为此,提出了一种基于卷积交叉注意力与跨模态动态门控的多模态情感分析模型(convolutional cross-attention and cross-modal dyn... 在多模态情感分析任务中,现有方法由于忽视了图像与文本之间的情感关联性,导致融合特征存在大量冗余特征。为此,提出了一种基于卷积交叉注意力与跨模态动态门控的多模态情感分析模型(convolutional cross-attention and cross-modal dynamic gating,CCA-CDG)。CCA-CDG通过引入卷积交叉注意力模块(convolutional cross-attention module,CCAM)来捕捉图像与文本间的一致性表达,获取图文之间的对齐特征;同时利用跨模态动态门控模块(cross-modal dynamic gating module,CDGM),根据图文之间的情感关联性动态调节情感特征的融合。此外,考虑到图文上下文信息对于理解情感的重要性,还设计了一个全局特征联合模块,将图文交互特征与全局特征权重融合,实现更可靠的情感预测。在MVSA-Single和MVSA-Multi数据集上进行实验验证,所提出的CCA-CDG能够有效改善多模态情感分析的效果。 展开更多

关键词 多模态融合 情感分析 情感关联性 注意力机制 卷积交叉注意力 跨模态动态门控 全局特征联合 权重融合

在线阅读 下载PDF 职称材料

基于高斯偏置自注意力和交叉注意力的医学图像分割模型

2

作者 罗会兰 郭宇辰 《计算机科学》 CSCD 北大核心 2024年第S02期456-464,共9页

为解决医学图像分割中目标之间存在特征差异、不同切片图像中存在同一解剖结构的相似表征和器官与背景的区分度低造成冗余信息过多的问题,提出了一种基于高斯偏置自注意力和交叉注意力的网络模型(Gaussian bias and Contextual cross At... 为解决医学图像分割中目标之间存在特征差异、不同切片图像中存在同一解剖结构的相似表征和器官与背景的区分度低造成冗余信息过多的问题,提出了一种基于高斯偏置自注意力和交叉注意力的网络模型(Gaussian bias and Contextual cross Attention U-Net,GCA-UNet)。采用残差模块建立空间先验假设,通过高斯偏置自注意力&外注意力模块的高斯偏置自注意力来学习空间先验假设和强化相邻区域的特征表示,并利用外注意力机制学习同一样本下不同切片之间的相关性;上下文交叉注意力门控利用多尺度特征提取来强化结构和边界信息,同时对上下文语义信息进行重新校准并筛除冗余信息。实验结果表明,在Synapse腹腔CT多器官分割数据集和ACDC心脏MRI数据集上,GCA-UNet网络的分割精度指标Mean Dice分别达到了81.37%和91.69%,在Synapse数据集上边界分割精度指标Mean hd95达到16.01。相比其他先进医学影像分割模型,GCA-Unet分割精度更高,具有更清晰的组织边界。 展开更多

关键词 医学图像分割 U型网络 高斯偏置 外注意力机制 上下文交叉注意力门控

在线阅读 下载PDF 职称材料

基于上下文门控残差和多尺度注意力的图像重照明网络 被引量：1

3

作者 王威 杜响成 金城 《计算机科学》 CSCD 北大核心 2023年第9期168-175,共8页

图像重照明普遍应用于图像编辑和数据增强等任务。现有图像重照明方法去除和重建复杂场景下的阴影时,存在阴影形状估计不准确、物体纹理模糊和结构变形等缺陷。针对以上问题,提出了基于上下文门控残差和多尺度注意力的图像重照明网络。... 图像重照明普遍应用于图像编辑和数据增强等任务。现有图像重照明方法去除和重建复杂场景下的阴影时,存在阴影形状估计不准确、物体纹理模糊和结构变形等缺陷。针对以上问题,提出了基于上下文门控残差和多尺度注意力的图像重照明网络。上下文门控残差通过聚合局部和全局的空间上下文信息获取像素的长程依赖,保持阴影方向和照明方向的一致性。此外,利用门控机制有效提高网络对纹理和结构的恢复能力。多尺度注意力通过迭代提取和聚合不同尺度的特征,在不损失分辨率的基础上增大感受野,它通过串联通道注意力和空间注意力激活图像中重要的特征,并抑制无关特征的响应。文中还提出了照明梯度损失,它通过有效学习各方向照明梯度,获得了视觉感知效果更好的图像。实验结果表明,与现有的最优方法相比,所提方法在PSNR指标和SSIM指标上分别提升了7.47%和12.37%。 展开更多

关键词 图像重照明 上下文信息 门控机制 照明梯度 注意力

在线阅读 下载PDF 职称材料

基于交叉注意力的多源数据融合的气体泄漏检测

4

作者 王新颖 杨阳 +2 位作者 田豪杰 陈俨 张敏 《中国安全科学学报》 CAS CSCD 北大核心 2024年第7期91-97,共7页

为解决单一传感器在管道气体泄漏检测时容易出现误报、漏报的问题,及时预警并反馈泄漏状况,提出一种基于交叉注意力的多源数据融合管道泄漏检测方法。首先,利用预训练的ShuffleNetV2模型提取热像仪数据的空间特征;然后,结合一维卷积神... 为解决单一传感器在管道气体泄漏检测时容易出现误报、漏报的问题,及时预警并反馈泄漏状况,提出一种基于交叉注意力的多源数据融合管道泄漏检测方法。首先,利用预训练的ShuffleNetV2模型提取热像仪数据的空间特征;然后,结合一维卷积神经网络(1DCNN)和双向门控循环单元(BiGRU),构建1DCNN-BiGRU模型,以提取气体传感器数据的时序特征;最后,运用交叉注意力捕获数据的时空关联性得到2个数据源的特征表示,通过残差方式进行特征连接后输入到分类层中,得到识别结果。结果表明:所构建的多源数据融合模型(SCGA)对气体识别准确率为99.22%,损失值在0~0.04内波动;与仅使用气体传感器数据的支持向量机(SVM)、1DCNN、BiGRU模型相比,准确率至少提升4.12%;与仅使用热图像传感器数据的MobileNetV3、ShuffleNetV2、ResNet18模型相比,准确率至少提升1.14%;与将时序特征和空间特征直接拼接的多源数据融合模型(SCG)相比,准确率提升1%。SCGA模型对气体识别具有较高精度。 展开更多

关键词 交叉注意力 多源数据融合 气体泄漏检测 卷积神经网络(CNN) 双向门控循环单元(BiGRU)

在线阅读 下载PDF 职称材料

上下文感知与层级注意力网络的文档分类方法 被引量：1

5

作者 任建华 李静 孟祥福 《计算机科学与探索》 CSCD 北大核心 2021年第2期305-314,共10页

文档分类是自然语言处理(NLP)领域中的一个基本问题。近年来,尽管针对这一问题的层级注意力网络已经取得了进展,但由于每条句子被独立编码,使得模型中使用的双向编码器仅能考虑到所编码句子的相邻句子,仍然集中于当前所编码的句子,并没... 文档分类是自然语言处理(NLP)领域中的一个基本问题。近年来,尽管针对这一问题的层级注意力网络已经取得了进展,但由于每条句子被独立编码,使得模型中使用的双向编码器仅能考虑到所编码句子的相邻句子,仍然集中于当前所编码的句子,并没有有效地将文档结构知识整合到体系结构中。针对此问题,提出一种上下文感知与层级注意力网络的文档分类方法(CAHAN)。该方法采用分层结构来表示文档的层次结构,使用注意力机制考虑文档中重要的句子和句子中重要的单词因素,在单词级和句子级不仅依赖双向编码器来获取上下文信息,还通过在单词级注意机制中引入上下文向量,使单词级编码器基于上下文信息做出注意决策全面获取文本的上下文信息,从而提取出深度文档特征。此外,还利用门控机制准确地决定应该考虑多少上下文信息。在两个标准数据集上的实验结果表明,提出的CAHAN模型较长短时记忆网络(LSTM)、卷积神经网络(CNN)、分层注意网络(HAN)等模型分类效果更好,能够提高文档分类任务的准确度。 展开更多

关键词 自然语言处理(NLP) 文档分类 上下文感知 层级注意力 门控机制

在线阅读 下载PDF 职称材料

基于交叉注意力的方面级情感分析 被引量：3

6

作者 周润民 胡旭耀 +3 位作者 吴克伟 于磊 谢昭 江龙 《计算机工程与应用》 CSCD 北大核心 2023年第9期190-197,共8页

方面级情感分析旨在识别句子中方面词的积极、消极和中性情绪。其关键在于方面词和句子中单词之间关系的学习。在学习单词之间关系时,现有卷积门控网络使用时间卷积方法,其局部时间窗口无法描述任意单词之间的关系。同时,现有时间注意... 方面级情感分析旨在识别句子中方面词的积极、消极和中性情绪。其关键在于方面词和句子中单词之间关系的学习。在学习单词之间关系时,现有卷积门控网络使用时间卷积方法,其局部时间窗口无法描述任意单词之间的关系。同时,现有时间注意力模型在分析单词之间的关系时,其注意力是相互独立的。为了分析句子中方面词与其他单词的复杂关联,提出一种基于交叉注意力和卷积门控网络的情感分析模型。对于给定的词向量特征,设计了一种交叉注意力模块。该模块对多头注意力中查询向量与关键字向量的匹配得分,添加交叉的线性映射,以融合多个注意力中的匹配得分,用于描述更复杂的方面词的上下文单词关系。使用卷积门控网络对局部单词关系进行编码,并设计了单词的位置编码模块,用于提供单词的位置编码特征,以分析位置编码对单词关系分析的作用。对上述编码的单词特征,使用时间池化获得句子描述,并使用全连接分类器进行情感分类标记预测。在Rest14和Laptop14数据集上的实验分析表明,提出的方法能有效估计方面级单词与其他单词之间得分关系。 展开更多

关键词 方面级情感分析 门控机制 交叉注意力 位置信息

在线阅读 下载PDF 职称材料

一种融合时序信息和注意力机制的广告点击率预估模型AGCN

7

作者 张大鹏 赵敏 +1 位作者 朱二喜 孙明霞 《东北师大学报（自然科学版）》 CAS 北大核心 2024年第3期87-94,共8页

为了进一步提高点击率预估模型的预估能力,提出了一种融合时序信息并带有注意力机制的广告点击率预估模型AGCN(Attention GRU&Cross Network),该模型采用并行结构融合交叉网络模型和时序模型,实现广告点击率预估过程中多元特征的融... 为了进一步提高点击率预估模型的预估能力,提出了一种融合时序信息并带有注意力机制的广告点击率预估模型AGCN(Attention GRU&Cross Network),该模型采用并行结构融合交叉网络模型和时序模型,实现广告点击率预估过程中多元特征的融合.该模型中交叉网络模型挖掘低阶特征和高阶特征信息,时序模型通过引入带有注意力机制的门控神经单元(GRU with attentional update gate,AUGRU),获取用户兴趣特征在用户长期兴趣演化过程中的贡献程度,进行用户兴趣筛选.实验表明,AGCN模型能有效提高广告点击事件的预测准确率. 展开更多

关键词 计算广告 点击率预估 交叉网络 门控神经单元 注意力机制

在线阅读 下载PDF 职称材料

基于视觉关系推理与上下文门控机制的图像描述 被引量：3

8

作者 陈巧红 裴皓磊 孙麒 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2022年第3期542-549,共8页

为了探索图像场景理解所需要的视觉区域间关系的建模与推理,提出视觉关系推理模块.该模块基于图像中不同的语义和空间上下文信息,对相关视觉对象间的关系模式进行动态编码,并推断出与当前生成的关系词最相关的语义特征输出.通过引入上... 为了探索图像场景理解所需要的视觉区域间关系的建模与推理,提出视觉关系推理模块.该模块基于图像中不同的语义和空间上下文信息,对相关视觉对象间的关系模式进行动态编码,并推断出与当前生成的关系词最相关的语义特征输出.通过引入上下文门控机制,以根据不同类型的单词动态地权衡视觉注意力模块和视觉关系推理模块的贡献.实验结果表明,对比以往基于注意力机制的图像描述方法,基于视觉关系推理与上下文门控机制的图像描述方法更好;所提模块可以动态建模和推理不同类型生成单词的最相关特征,对输入图像中物体关系的描述更加准确. 展开更多

关键词 图像语义描述 视觉关系推理 多模态编码 上下文门控机制 注意力机制

在线阅读 下载PDF 职称材料

基于混沌CSO优化时序注意力GRU模型的超短期风电功率预测 被引量：27

9

作者 孟安波 陈顺 +4 位作者 王陈恩 丁伟锋 蔡涌烽 符嘉晋 周华敏 《电网技术》 EI CSCD 北大核心 2021年第12期4692-4700,共9页

高精度的风电功率预测对风电的并网运营至关重要。为提取风电功率输入序列隐含的时间信息,建立以门控循环单元为基础的预测模型;并在模型输入侧引入时序注意力机制,通过与输入进行加权的方式提高模型对关键历史时间节点的敏感性。为加... 高精度的风电功率预测对风电的并网运营至关重要。为提取风电功率输入序列隐含的时间信息,建立以门控循环单元为基础的预测模型;并在模型输入侧引入时序注意力机制,通过与输入进行加权的方式提高模型对关键历史时间节点的敏感性。为加速模型收敛,在训练的早期利用动态混沌纵横交叉算法优化预测模型的权值和阈值;同时,通过构造多指标共同作用并联合待优化参数的正则项作为目标适应度函数,以避免优化过程中模型泛化性问题的出现。以某风电场采集间隔为1h和10min的实测数据进行实验,结果表明所提组合预测方法性能优于其他对比模型,并对其有效性进行了验证。 展开更多

关键词 风电功率预测 门控循环单元 时序注意力机制 动态混沌纵横交叉算法 正则化

在线阅读 下载PDF 职称材料

面向多模态情感分析的双模态交互注意力 被引量：12

10

作者 包广斌 李港乐 王国雄 《计算机科学与探索》 CSCD 北大核心 2022年第4期909-916,共8页

针对现有多模态情感分析方法中存在情感分类准确率不高,难以有效融合多模态特征等问题,通过研究分析相邻话语之间的依赖关系和文本、语音和视频模态之间的交互作用,建立一种融合上下文和双模态交互注意力的多模态情感分析模型。该模型... 针对现有多模态情感分析方法中存在情感分类准确率不高,难以有效融合多模态特征等问题,通过研究分析相邻话语之间的依赖关系和文本、语音和视频模态之间的交互作用,建立一种融合上下文和双模态交互注意力的多模态情感分析模型。该模型首先采用双向门控循环单元(BiGRU)捕获各模态中话语之间的相互依赖关系,得到各模态的上下文信息。为了学习不同模态之间的交互信息,提出了一种双模态交互注意力机制来融合两种模态的信息,并将其作为条件向量来区分各模态信息对于情感分类的重要程度;然后结合自注意力、全连接层组成多模态特征融合模块,挖掘模态内部和模态之间的关联性,获得跨模态联合特征。最后,将得到的上下文特征和跨模态联合特征进行拼接,经过一层全连接层后馈送至Softmax进行最终的情感分类。在公开的多模态情感分析数据集CMU-MOSI上对所提出的模型进行评估,实验结果表明,相比现有模型,该模型在多模态情感分类任务上的表现是有效的和先进的。 展开更多

关键词 多模态 情感分析 双向门控循环单元(BiGRU) 上下文 双模态交互注意力 特征融合

在线阅读 下载PDF 职称材料

交叉门控融合的改进语义分割网络及应用 被引量：2

11

作者 陈海永 刘新如 《重庆理工大学学报（自然科学）》 北大核心 2023年第6期187-195,共9页

针对太阳能电池表面的断栅、划痕、黑斑等导致的缺陷分割精度差的问题,提出一种交叉门控融合的改进语义分割网络。使用门控机制选择性地融合网络中的多尺度信息,充分利用底层细节信息和高层语义信息,增强微小缺陷的特征表示,并结合上下... 针对太阳能电池表面的断栅、划痕、黑斑等导致的缺陷分割精度差的问题,提出一种交叉门控融合的改进语义分割网络。使用门控机制选择性地融合网络中的多尺度信息,充分利用底层细节信息和高层语义信息,增强微小缺陷的特征表示,并结合上下文模块提高获取全文信息的能力。为了进一步解决太阳能电池缺陷边缘信息弱的问题,引入PointRend模块对缺陷边缘的点进行采样,对边缘中不确定的点实行自适应细分策略,实现对缺陷边缘的精细分割。实验结果表明:所提方法在太阳能EL组件电池数据集上的mIoU达到了65.53%。和现有的语义分割算法相比,所提方法能够有效细化目标边界,更好地处理微小微弱缺陷。 展开更多

关键词 太阳能电池 缺陷分割 多尺度特征 门控融合 上下文注意力

在线阅读 下载PDF 职称材料

基于动态反投影网络的细粒度交通流推断模型

12

作者 许明 齐光尧 奇格奇 《系统仿真学报》 北大核心 2025年第3期657-666,共10页

为解决现有细粒度城市流推断模型在复杂交通区域中的推断结果存在较大误差的问题,提出一种基于动态反投影网络的细粒度交通流推断模型。计算输入粗粒度交通流与外部因素之间的多维交互,将交互结果与粗粒度交通流进行动态自适应融合,使... 为解决现有细粒度城市流推断模型在复杂交通区域中的推断结果存在较大误差的问题,提出一种基于动态反投影网络的细粒度交通流推断模型。计算输入粗粒度交通流与外部因素之间的多维交互,将交互结果与粗粒度交通流进行动态自适应融合,使其特征之间能够相互影响和调整,以协助模型推理。结合深度卷积和自注意力机制来学习局部信息和全局信息,提高后续模块对输入数据的理解能力。通过反投影算法和门控交叉注意力机制,实现在细粒度层次中学习复杂区域的交通流特征。在流量归一化机制的基础上引入了非线性变换通路,旨在利用不同层次信息实施空间结构约束,进一步提升模型推断结果的准确性。实验结果表明:所提算法在主观评价和客观度量上均优于同类模型,特别是在市中心入口、桥梁区域等复杂交通区域下的表现尤为出色。 展开更多

关键词 细粒度交通流推断 动态自适应融合 反投影算法 门控交叉注意力 自注意力

在线阅读 下载PDF 职称材料

一种时域模板更新的RGBT渐进融合视觉跟踪

13

作者 郭勇 谌海云 +1 位作者 陈建宇 袁杰敏 《红外与激光工程》 EI CSCD 北大核心 2024年第11期279-293,共15页

由于大多数RGBT跟踪算法的特征提取、融合、匹配方式简单,导致在面临形变、遮挡和低分辨率等问题时跟踪目标丢失。针对以上问题,提出一种时域模板更新的RGBT渐进融合目标跟踪算法SiamDPF。首先,在特征提取阶段,使用空洞卷积与Transforme... 由于大多数RGBT跟踪算法的特征提取、融合、匹配方式简单,导致在面临形变、遮挡和低分辨率等问题时跟踪目标丢失。针对以上问题,提出一种时域模板更新的RGBT渐进融合目标跟踪算法SiamDPF。首先,在特征提取阶段,使用空洞卷积与Transformer对两模态的AlexNet网络后两层进行改进,以增强其低分辨率目标的特征表示能力。其次,结合交叉注意力和门控机制提出一种渐进融合模块,对两模态的浅层与深层特征进行渐进交互融合,使模态信息融合更充分。最后,为了让跟踪器能够利用时域上下文信息来改善形变目标的跟踪问题,使用交叉注意力让上一帧目标特征与在线模板特征进行交互更新。在GTOT和RGBT234基准数据集上的实验结果表明,SiamDPF算法在面对目标形变、遮挡、低分辨率等问题时,与其他算法相比其跟踪性能更具鲁棒性。 展开更多

关键词 RGBT跟踪 空洞卷积 TRANSFORMER 交叉注意力 门控机制

在线阅读 下载PDF 职称材料