期刊文献+
共找到2篇文章
< 1 >
每页显示 20 50 100
基于局部上下文焦点机制和交谈注意力的方面级情感分析 被引量:1
1
作者 林正超 李弼程 《计算机科学》 CSCD 北大核心 2023年第S02期94-99,共6页
方面级情感分析是目前自然语言处理领域的一个重要研究方向,其目的是预测句子当中不同方面的情感极性。现有的方面级情感分析,通常忽略了情感极性与局部语境之间的关系,且在部分使用多头注意力机制的研究中,每个注意力头数的运算是相互... 方面级情感分析是目前自然语言处理领域的一个重要研究方向,其目的是预测句子当中不同方面的情感极性。现有的方面级情感分析,通常忽略了情感极性与局部语境之间的关系,且在部分使用多头注意力机制的研究中,每个注意力头数的运算是相互独立的。为此,提出了一种基于局部上下文焦点机制和交谈注意力的方面级情感分析模型。首先,通过BERT预训练模型分别捕获局部上下文和全局上下文的初步特征。然后,在特征提取层,利用局部上下文焦点机制,通过上下文特征动态掩码层结合交谈注意力机制来进一步提取局部上下文特征;利用交谈注意力机制进一步提取全局上下文特征。最后,将局部和全局信息进行融合,输入非线性层获取情感分析结果。在3个公开数据集上进行了对比实验,实验结果表明,与现有的多个基线模型相比,所提模型的MF1值和准确率均有提升。 展开更多
关键词 方面级情感分析 BERT模型 局部上下文焦点机制 交谈注意力
在线阅读 下载PDF
利用可交谈多头共注意力机制的视觉问答 被引量:1
2
作者 杨旭华 庞宇超 叶蕾 《小型微型计算机系统》 CSCD 北大核心 2024年第8期1901-1907,共7页
视觉问答可以对图像信息和自然语言问题这两种不同模态的信息进行分析处理并预测答案,是一项跨模态学习任务.当前注意力机制因为其良好的关键信息提取效果被广泛地用以捕捉视觉图像、文本和两种模态间的关系.但是,传统的注意力机制容易... 视觉问答可以对图像信息和自然语言问题这两种不同模态的信息进行分析处理并预测答案,是一项跨模态学习任务.当前注意力机制因为其良好的关键信息提取效果被广泛地用以捕捉视觉图像、文本和两种模态间的关系.但是,传统的注意力机制容易忽略图像和文本的自相关信息,而且不能较好的利用图像和文本的信息差异性.因此,在本文中,我们提出了可交谈的多头共注意力网络框架来处理注意力机制的上述问题.首先,本文提出了可交谈多头注意力机制来捕捉不同注意力头之间隐藏的关系,得到增强的注意力信息.本文设计了前后不同的交谈策略去处理归一化前后注意力头之间的信息,在引入先验信息的同时减少了过拟合的风险.本文提出了交谈自注意力单元和交谈引导注意力单元,并使用编码器-解码器方式有效地组合它们来丰富视觉和文本表征.该框架针对自注意力层增加了位置编码,弥补了交谈自注意力无法捕获位置的问题,此框架使用不同的注意力策略去分别得到图像和文本向量,并使用新的多模态融合模块来更好的融合图像和文本信息,降低了对单个信息的依赖性.该模型在VQA-v2数据集上和多个知名算法进行比较,数值仿真实验表明提出的算法具有明显的优越性. 展开更多
关键词 视觉问答 特征提取 交谈注意力 多模态特征融合
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部