期刊文献+
共找到35篇文章
< 1 2 >
每页显示 20 50 100
采用词向量注意力机制的双路卷积神经网络句子分类模型 被引量:9
1
作者 郭宝震 左万利 王英 《浙江大学学报(工学版)》 EI CAS CSCD 北大核心 2018年第9期1729-1737,共9页
针对句子中不同的词对分类结果影响不同以及每个词对应的词向量受限于单一词向量训练模型的特点,提出一种基于词向量注意力机制的双路卷积神经网络句子分类模型(AT-DouCNN).该模型将注意力机制和卷积神经网络相结合,以不同训练算法得到... 针对句子中不同的词对分类结果影响不同以及每个词对应的词向量受限于单一词向量训练模型的特点,提出一种基于词向量注意力机制的双路卷积神经网络句子分类模型(AT-DouCNN).该模型将注意力机制和卷积神经网络相结合,以不同训练算法得到的词向量同时作为输入,分别进行卷积和池化,并在全连接层进行融合,不仅能够使得具体分类任务下句子中的关键信息更易被提取,还能够有效地利用不同种类的词向量得到更加丰富的句子特征,进而提高分类的准确率.实验结果表明:所提出的模型在3个公开数据集上的分类准确率分别达到50.6%、88.6%和95.4%,具有良好的句子分类效果. 展开更多
关键词 向量 注意力机制 双路卷积神经网络 句子分类
在线阅读 下载PDF
基于改进注意力机制的实体关系抽取方法 被引量:21
2
作者 冯建周 宋沙沙 +3 位作者 王元卓 刘亚坤 武红颖 龚昊 《电子学报》 EI CAS CSCD 北大核心 2019年第8期1692-1700,共9页
实体关系抽取是知识库构建中至关重要的一个环节.在众多的实体关系抽取方法中,远程监督结合神经网络模型的方法在准确率等性能上是比较令人满意的,但远程监督获取的标注语料中往往存在大量的噪声数据,给实体关系抽取模型的训练带来了很... 实体关系抽取是知识库构建中至关重要的一个环节.在众多的实体关系抽取方法中,远程监督结合神经网络模型的方法在准确率等性能上是比较令人满意的,但远程监督获取的标注语料中往往存在大量的噪声数据,给实体关系抽取模型的训练带来了很大的影响.本文提出一种基于改进注意力机制的卷积神经网络实体关系抽取模型.该模型针对包含同一实体对的句子集合,从中尽可能地找出所有体现该实体对关系的正实例,构建组合句子向量,抛弃可能的噪声句子,从而最大程度地降低噪声句子的影响又能充分利用正实例的语义信息.实验证明,本文提出的关系抽取模型在准确率上优于对比的关系抽取模型. 展开更多
关键词 关系抽取 改进注意力机制 卷积神经网络 远程监督 组合句子特征向量
在线阅读 下载PDF
基于BiLSTM和改进注意力机制的高铁车载设备故障诊断 被引量:10
3
作者 魏伟 赵小强 +1 位作者 丁艳华 范亮亮 《铁道学报》 EI CAS CSCD 北大核心 2022年第11期53-62,共10页
针对列控车载设备故障诊断多依赖于人工经验判断,智能化、自动化程度较低,影响列车运输安全和效率等问题,提出基于双向长短期记忆(BiLSTM)和改进注意力机制的车载设备故障诊断模型。首先根据应用程序事件日志文件的特点,通过BERT生成词... 针对列控车载设备故障诊断多依赖于人工经验判断,智能化、自动化程度较低,影响列车运输安全和效率等问题,提出基于双向长短期记忆(BiLSTM)和改进注意力机制的车载设备故障诊断模型。首先根据应用程序事件日志文件的特点,通过BERT生成词向量;然后以词频为权重将词向量求和得到句向量;再将句向量输入BiLSTM提取故障文本特征后作为改进注意力机制层的输入;最后将高维故障文本特征输入Softmax层完成故障文本分类,实现故障诊断。实验结果表明:本模型能够有效实现文本向量化表示,并结合设备故障时刻前后的列车运行状态对故障原因做出准确判断;与其他模型对比,本模型获得了最优的准确率、召回率和平均数F 1值,验证了该模型可对列控车载设备的日常维护与故障诊断提供决策支持。 展开更多
关键词 车载设备 故障诊断 向量 长短期记忆网络 注意力机制
在线阅读 下载PDF
结合注意力机制的Bi-LSTM维吾尔语事件时序关系识别 被引量:11
4
作者 田生伟 胡伟 +3 位作者 禹龙 吐尔根.依布拉音 赵建国 李圃 《东南大学学报(自然科学版)》 EI CAS CSCD 北大核心 2018年第3期393-399,共7页
针对维吾尔语事件时序关系识别问题,提出了一种结合注意力机制的双向长短时记忆模型.基于维吾尔语语言及事件时序关系的特点,抽取13项基于事件间内部结构信息的特征.将词向量作为双向长短时记忆模型的输入,挖掘给定事件句隐含的上下文... 针对维吾尔语事件时序关系识别问题,提出了一种结合注意力机制的双向长短时记忆模型.基于维吾尔语语言及事件时序关系的特点,抽取13项基于事件间内部结构信息的特征.将词向量作为双向长短时记忆模型的输入,挖掘给定事件句隐含的上下文语义信息.结合事件触发词建立注意力机制,获取该事件句的事件语义特征.将事件内部结构特征和语义特征相融合,作为softmax层的输入,进而完成事件时序关系的识别.实验结果表明,该方法在获取事件句隐含语义信息的同时也能获取对应的事件语义特征.融合事件内部结构特征后,识别准确率为89.42%,召回率为86.70%,衡量模型整体性能的F值为88.03%,从而证明了该方法在维吾尔语事件时序关系识别任务上的有效性. 展开更多
关键词 维吾尔语 时序关系 注意力机制 双向长短时记忆网络 向量
在线阅读 下载PDF
基于依存关系注意力增强的跨模态检索研究
5
作者 曾辉 胡蓉 +2 位作者 淦修修 彭志颖 熊李艳 《华东交通大学学报》 2020年第6期126-132,共7页
随着互联网技术的极速发展,不同模态的多媒体数据呈指数增长,人们已经无法满足于原始的图片检索的单模态数据检索方式,跨模态的多媒体检索成为信息检索的一个重要研究领域。针对该任务,提出一种增加句子依存关系词组注意力机制的双分支... 随着互联网技术的极速发展,不同模态的多媒体数据呈指数增长,人们已经无法满足于原始的图片检索的单模态数据检索方式,跨模态的多媒体检索成为信息检索的一个重要研究领域。针对该任务,提出一种增加句子依存关系词组注意力机制的双分支网络结构跨模态检索方法。该方法基于CNN模型提取图像特征,基于句法结构分析获得文本的依存关系片段,构建双分支网络结构模型,并嵌入注意力机制学习各依存关系片段的权重分布,使文本的特征表示能够更偏重于关键的句子片段特征。实验结果表明该方法相比于其他方法在P@K检索准确率评估指标上都有较好的提高,验证了算法的有效性。 展开更多
关键词 依存关系元组 句子拆分 注意力机制 双分支网络
在线阅读 下载PDF
融合BERT嵌入与注意力机制的方面情感分析 被引量:7
6
作者 林孟达 李书豪 《现代电子技术》 2022年第12期130-136,共7页
针对现有的方面情感分析任务研究存在文本利用率低、有效信息抽取难度大和无法高效识别单词多义性等问题,文中提出一种融合BERT嵌入与注意力机制的方面情感分析模型。该模型将BERT预训练语言模型和多头注意力机制结合构建BERT-BiLSTM-At... 针对现有的方面情感分析任务研究存在文本利用率低、有效信息抽取难度大和无法高效识别单词多义性等问题,文中提出一种融合BERT嵌入与注意力机制的方面情感分析模型。该模型将BERT预训练语言模型和多头注意力机制结合构建BERT-BiLSTM-Attention架构用于表征语句情感特征。首先采用具有双向Transformer结构的BERT模型,根据单词上下文动态生成语义向量;然后通过有效识别单词的多义性增强文本单词的语义表示,并将语义向量输入BiLSTM捕捉双向的语义依赖关系,以此增强模型对有效信息的抽取能力;最后结合具有并行化信息处理能力的多头注意力机制解析编码后的文本表示,获取与方面情感关联度较高的信息。SemEval 2014数据集中的实验结果表明:相比Glove词向量模型,BERT模型对方面情感分析任务的性能有显著提升;相比基线模型,该模型的准确率更高。 展开更多
关键词 方面情感分析 注意力机制 多义性 BERT模型 语义向量 情感特征
在线阅读 下载PDF
基于多头自注意力机制的协作频谱感知算法
7
作者 李涛 张煜培 赵知劲 《电子技术应用》 2023年第11期88-93,共6页
针对协作频谱感知中部分用户受到阴影、衰落等影响导致在低信噪比环境下对微弱信号的感知性能急剧降低及部分聚类模型没有充分利用能量向量的问题,提出一种基于多头自注意力机制的协作频谱感知算法。各次用户独立采样数据,融合中心收集... 针对协作频谱感知中部分用户受到阴影、衰落等影响导致在低信噪比环境下对微弱信号的感知性能急剧降低及部分聚类模型没有充分利用能量向量的问题,提出一种基于多头自注意力机制的协作频谱感知算法。各次用户独立采样数据,融合中心收集各次用户的能量数值并构成能量向量作为自注意力网络的输入;设计基于多头自注意力机制的网络模型,利用该网络自动学习信号和噪声的能量向量特征,有效提取局部特征,实现智能协作频谱感知。仿真结果表明,该频谱感知算法性能优于对比算法,在信噪比为-14 dB、虚警概率为0.001时,该算法检测概率高于对比算法0.29~0.4。 展开更多
关键词 认知无线电网络 多头自注意力机制 协作频谱感知 能量向量
在线阅读 下载PDF
基于多通道注意力机制的文本分类模型 被引量:3
8
作者 李超凡 马凯 《微电子学与计算机》 2022年第4期33-40,共8页
为解决卷积神经网络(CNN)和循环神经网络(RNN)处理文本分类任务时,由于文本特征稀疏造成的关键特征信息丢失、模型性能不高和分类效果不佳等问题.提出一种基于多通道注意力机制的文本分类模型,首先利用字词融合的形式进行向量表示,然后... 为解决卷积神经网络(CNN)和循环神经网络(RNN)处理文本分类任务时,由于文本特征稀疏造成的关键特征信息丢失、模型性能不高和分类效果不佳等问题.提出一种基于多通道注意力机制的文本分类模型,首先利用字词融合的形式进行向量表示,然后利用CNN和BiLSTM提取文本的局部特征和上下文关联信息,接着以注意力机制对各通道的输出信息进行特征加权,凸显特征词在上下文信息的重要程度,最后将输出结果进行融合,并使用softmax计算文本类别概率.在数据集的对比实验结果表明,所提模型的分类效果更为优异.相较于单个通道的模型分类效果,F1值分别提升1.44%和1.16%,验证了所提模型在处理文本分类任务的有效性.该模型互补了CNN和BiLSTM提取特征的缺点,有效的缓解了CNN丢失词序信息和BiLSTM处理文本序列的梯度问题,能够有效地统筹文本的局部和全局特征,并进行关键信息凸显,从而获取更为全面的文本特征,因此适用于文本分类任务. 展开更多
关键词 向量 卷积神经网络 长短期记忆神经网络 注意力机制 特征融合
在线阅读 下载PDF
基于优化注意力机制的图像字幕生成方法研究
9
作者 陈彪 周之平 叶琴 《南昌航空大学学报(自然科学版)》 CAS 2021年第1期28-34,62,共8页
在图像字幕生成任务中,注意力机制处理图像特征时会忽视图像中目标之间联系程度,从而影响到字幕生成质量。针对这一问题,在传统的多头注意力机制的基础上,引入注意力机制优化模块(Optimize Attention,OA)来测量图像中目标之间的关联程度... 在图像字幕生成任务中,注意力机制处理图像特征时会忽视图像中目标之间联系程度,从而影响到字幕生成质量。针对这一问题,在传统的多头注意力机制的基础上,引入注意力机制优化模块(Optimize Attention,OA)来测量图像中目标之间的关联程度,以引导字幕的产生过程。OA结合多头注意力机制的关注结果和当前上下文(即查询)生成“信息向量”和“注意门”,然后将“注意门”应用于“信息向量”来构造一个新的注意力,并将新的注意力再与“信息向量”进行逐元素相乘以生成图像中目标和背景之间关联程度高的关注信息。在MS COCO数据集上对改进后的模型进行训练和验证,BLEU-1和METEOR评价指标分别达到了75.2%和27.5%。 展开更多
关键词 图像字幕 多头注意力机制 “信息向量 注意门”
在线阅读 下载PDF
融合注意力机制的RoBERTa-BiLSTM-CRF语音对话文本命名实体识别
10
作者 张劭韡 虞云飞 +2 位作者 郭晓芸 周晶 夏阳 《数字技术与应用》 2023年第5期4-6,51,共4页
本文基于国网客服中心95598语音转文本数据,采用RoBERTa语言模型对语句进行向量表示与特征提取,通过添加机制,模型可以关注与当前输出相关的信息,并获得文本中的潜在语义信息。通过对照组实验,本文构造的模型能够有效提高实体识别精准程... 本文基于国网客服中心95598语音转文本数据,采用RoBERTa语言模型对语句进行向量表示与特征提取,通过添加机制,模型可以关注与当前输出相关的信息,并获得文本中的潜在语义信息。通过对照组实验,本文构造的模型能够有效提高实体识别精准程度,且该模型在文本数据集上的抽取效果明显优于其他模型。 展开更多
关键词 命名实体识别 文本数据 注意力机制 特征提取 向量表示 潜在语义 语言模型
在线阅读 下载PDF
面向目标情感分析的双重图注意力网络模型 被引量:2
11
作者 崔少国 陈思奇 杜兴 《西安电子科技大学学报》 EI CAS CSCD 北大核心 2023年第1期137-148,共12页
目标情感分析旨在分析评论文本中不同目标所对应的情感倾向。当前,基于图神经网络的方法使用依存句法树来融入依存句法关系,一方面,此类方法大多忽略了依存关系缺乏区分度的事实;另一方面,未考虑依存句法树提供的依存关系存在目标与情... 目标情感分析旨在分析评论文本中不同目标所对应的情感倾向。当前,基于图神经网络的方法使用依存句法树来融入依存句法关系,一方面,此类方法大多忽略了依存关系缺乏区分度的事实;另一方面,未考虑依存句法树提供的依存关系存在目标与情感词关系缺失的问题。为此,提出双重图注意力网络模型。该模型首先使用双向长短期记忆网络得到具有语义信息的词节点表示,然后根据依存句法树在词节点表示上构建句法图注意力网络,实现依存句法关系重要程度的区分,更有效地建立目标与情感词之间的关系,进而得到更准确的目标情感特征表示;同时根据句子的无向完全图构建全局图注意力网络来挖掘目标与情感词缺失的关系,进一步提升模型的性能。实验结果表明,与现有模型对比,双重图注意力网络模型在不同数据集上的准确率与宏平均F1值均取得了更好结果。 展开更多
关键词 自然语言处理 目标情感分析 依存关系 注意力网络 注意力机制
在线阅读 下载PDF
基于外部信息和注意力图的事件检测方法
12
作者 贾云刚 王泽辰 +1 位作者 梁睿琪 孙捷 《长江信息通信》 2021年第7期1-5,共5页
事件检测是构建知识图谱,进行图推理的关键任务之一,也是信息抽取中的一个热点和难点问题。通过自动化方法从非结构化自然语言文本中检测事件,对于语料的智能分析具有重要意义。事件检测在舆情监控和金融分析中有着广泛的应用,可用于公... 事件检测是构建知识图谱,进行图推理的关键任务之一,也是信息抽取中的一个热点和难点问题。通过自动化方法从非结构化自然语言文本中检测事件,对于语料的智能分析具有重要意义。事件检测在舆情监控和金融分析中有着广泛的应用,可用于公众舆论监督和紧急事件预警。然而,事件检测效果受到语料来源和体裁的限制,大多数用于事件检测的语料库都不能提供足够的信息来解决多义、同义词关联和信息缺乏等问题,导致句子中的触发词不能被准确地提取。针对这些问题,文章提出了一种全新的基于外部信息和注意力图的事件检测模型:Event Detection model based on External information and Attention map(EDEA)o该模型利用语义网络、词性和注意力图来提取完整准确的触发词,并利用外部语料库和语义网络增加词向量中的信息量。通过基于特征图生成注意力图,对提取的特征进行优化,从而更全面、更精确地提取相关的触发点。在ACE2005基准数据集上的实验表明,该模型有效地利用了外部知识进行事件检测,与现有的事件检测方法相比具有显著的优越性。 展开更多
关键词 事件检测 外部信息 语义网词向量 语义网络 注意力机制
在线阅读 下载PDF
基于并行混合模型的滚动轴承剩余寿命预测
13
作者 唐友福 李澳 +2 位作者 刘瑞峰 姜佩辰 丁涵 《石油机械》 北大核心 2025年第1期10-19,共10页
准确地跟踪和预测滚动轴承剩余使用寿命,对于保障工业设备的安全性和可靠性具有重要的现实意义。针对现有模型在变工况下滚动轴承剩余寿命预测精度低、鲁棒性差的问题,提出一种基于并行混合模型的滚动轴承剩余寿命预测方法。引入添加SE... 准确地跟踪和预测滚动轴承剩余使用寿命,对于保障工业设备的安全性和可靠性具有重要的现实意义。针对现有模型在变工况下滚动轴承剩余寿命预测精度低、鲁棒性差的问题,提出一种基于并行混合模型的滚动轴承剩余寿命预测方法。引入添加SENet的多尺度卷积神经网络,提取滚动轴承退化阶段的深层特征;通过变分模态分解将所提特征分解为趋势项和随机项,分别输入到相关向量机和添加时序模式注意力机制的长短时记忆网络中进行预测,并选用瞪羚优化算法对预测模型的未知参数寻优;将所建模型应用于滚动轴承加速退化试验数据集。研究结果表明,相较于传统模型,该方法具有更高的预测精度和鲁棒性。研究结果可为滚动轴承的剩余寿命预测提供一种新的有效途径。 展开更多
关键词 滚动轴承 剩余寿命预测 瞪羚算法 时序模式注意力机制 长短时记忆网络 相关向量
在线阅读 下载PDF
基于RSAN和EEMD的MKSVM多模态融合旋转机械故障分类
14
作者 刘东 谭鋆 +2 位作者 龙小波 赵杰 赵志高 《振动与冲击》 北大核心 2025年第9期290-302,共13页
针对真实场景下旋转机械的故障振动信号存在样本数量不足和具备较强复杂性的问题,思考单一模态下故障诊断的限制,提出一种基于残差空间注意力网络(residual spatial attention network, RSAN)和集合经验模式分解(ensemble empirical mod... 针对真实场景下旋转机械的故障振动信号存在样本数量不足和具备较强复杂性的问题,思考单一模态下故障诊断的限制,提出一种基于残差空间注意力网络(residual spatial attention network, RSAN)和集合经验模式分解(ensemble empirical mode decomposition, EEMD)的多核支持向量机(multi-kernel support vector machine, MKSVM)多模态融合旋转机械故障分类方法。首先,对原始数据进行小波阈值去噪处理,将降噪的一维信号转化为二维递归图;然后,设计RSAN结构,输入训练集的递归图进行训练,捕获故障信号的递归特征;随后,计算EEMD的固有模态函数(intrinsic mode function, IMF)的样本熵,基于其变异系数来选取故障信号的时域特征;最后,利用MKSVM对多模态特征向量进行高维映射和融合,完成旋转机械的故障分类。结果表明,在少样本的转子和轴承故障数据上准确率分别达到100.0%和98.3%,证明该方法具备良好的可行性。 展开更多
关键词 故障诊断 残差网络 注意力机制 支持向量 特征融合
在线阅读 下载PDF
土石坝渗流预测的BiTCN-Attention-LSSVM模型研究
15
作者 傅蜀燕 杨石勇 +2 位作者 陈德辉 王子轩 欧斌 《水资源与水工程学报》 北大核心 2025年第1期118-128,共11页
为了克服常规机器学习模型在处理时序数据时难以有效捕捉长期依赖关系和局部重要性的局限,提出了一种基于双向时序卷积神经网络(BiTCN)、注意力机制(Attention)和最小二乘支持向量机(LSSVM)的土石坝渗流预测耦合模型。该模型利用BiTCN... 为了克服常规机器学习模型在处理时序数据时难以有效捕捉长期依赖关系和局部重要性的局限,提出了一种基于双向时序卷积神经网络(BiTCN)、注意力机制(Attention)和最小二乘支持向量机(LSSVM)的土石坝渗流预测耦合模型。该模型利用BiTCN从前、后两个方向捕获时序数据中的长期依赖关系,引入Attention机制帮助模型专注于与预测相关的关键局部特征,并将BiTCN-Attention深度处理后的特征输入LSSVM模型中进行预测,最后以2个不同的数据集分析了模型的预测效果。案例分析表明:与LSSVM、CNN-LSSVM和TCN-LSSVM相比,BiTCN-Attention-LSSVM模型预测的各项评价指标均为最优,在土石坝测压管水位预测中展现出更高的模型精度和稳定性;BiTCN与Attention的相互结合能够更好地提取时序数据中的相互依赖关系,将BiTCN-Attention提取的特征输入LSSVM中进行预测可获得良好的预测性能,数据集扩充处理后有效提高了模型的学习能力。 展开更多
关键词 土石坝测压管水位 渗流预测 双向时序卷积神经网络 注意力机制 最小二乘支持向量
在线阅读 下载PDF
基于ACNN-VAR的特高拱坝变形深度学习预测模型
16
作者 钟桥俊 赵二峰 +2 位作者 胡灵芝 刘峰 宋桂华 《水电能源科学》 北大核心 2025年第4期163-167,共5页
变形是大坝服役性态的直观表现,对其进行分析与预测是科学诊断大坝健康的关键措施。为解析特高拱坝变形性态,利用基于注意力机制优化的卷积神经网络(ACNN)对实测数据进行局部时间特征提取,引入变分自编码器(VAE),将回归器嵌入到VAE构建... 变形是大坝服役性态的直观表现,对其进行分析与预测是科学诊断大坝健康的关键措施。为解析特高拱坝变形性态,利用基于注意力机制优化的卷积神经网络(ACNN)对实测数据进行局部时间特征提取,引入变分自编码器(VAE),将回归器嵌入到VAE构建变分自回归器(VAR),提出基于ACNN-VAR的特高拱坝变形深度学习预测模型,该模型综合注意力机制、CNN神经网络、VAE生成模型和回归器,深度挖掘特高拱坝变形性态的特征信息,生成潜在特征向量,实现深层次变化特征提取。实例应用结果表明,建立的预测模型能够准确模拟实测值的年周期变化及局部波动,具有较高的预测精度和稳定的鲁棒性,为特高拱坝变形监测提供了新思路。 展开更多
关键词 变分自编码器 注意力机制 深度学习 潜在特征向量
在线阅读 下载PDF
基于依存感知建模的事件论元抽取方法研究
17
作者 陈新元 廖涛 《无线互联科技》 2022年第13期153-155,共3页
事件论元抽取任务的目标是识别事件中的论元和论元角色。中文由于其独特的表达习惯,存在句法结构较为松散的问题,导致事件的隐层语义关系不易被捕捉,而这些隐层语义关系对事件论元抽取有关键作用。文章提出一种基于依存感知建模的事件... 事件论元抽取任务的目标是识别事件中的论元和论元角色。中文由于其独特的表达习惯,存在句法结构较为松散的问题,导致事件的隐层语义关系不易被捕捉,而这些隐层语义关系对事件论元抽取有关键作用。文章提出一种基于依存感知建模的事件论元抽取方法。首先,通过依存感知建模捕获依存感知特征;然后,构建上下文语义增强向量经过序列编码后得到上下文语义增强特征;最后,采用多头注意力机制融合特征,并通过softmax函数进行分类。在CEC2.0中文语料库上的实验结果表明,该方法较好地提高了事件论元抽取性能。 展开更多
关键词 事件论元抽取 依存感知建模 上下文语义增强 多头注意力机制
在线阅读 下载PDF
联合con-GRU与ATGAT模型的情感分析三元组方法
18
作者 毕晓杰 李卫疆 《现代电子技术》 北大核心 2024年第8期149-154,共6页
情感分析三元组任务是情感分析任务的研究热点,其目的在于将方面词、情感词与情感极性组成三元组。图神经网络是提取句子特征的有效手段,但其无法关注节点与节点之间的关系,并且注意力权重赋予不合理。为此,提出一种联合双向对抗GRU与... 情感分析三元组任务是情感分析任务的研究热点,其目的在于将方面词、情感词与情感极性组成三元组。图神经网络是提取句子特征的有效手段,但其无法关注节点与节点之间的关系,并且注意力权重赋予不合理。为此,提出一种联合双向对抗GRU与基于句法注意力机制的GAT模型。利用依存句法树的句子向量和ATGAT模型提取句子情感词,并将句子用syn-str更新向量表示;再融合句法结构的向量,通过双向对抗GRU提取特征进行情感判断。在三个公开英文数据集中开展实验,结果表明,所提模型相对其他基线模型具有更优异的性能。消融实验和对比实验也说明,所提出的各个网络模型组件比其他组件能更有效地将句法信息与原句向量融合。 展开更多
关键词 情感分析 三元组 双向对抗GRU GAT模型 句法注意力机制 依存句法树 特征提取
在线阅读 下载PDF
句法感知与知识增强的方面级情感分析
19
作者 陈可嘉 张雨鹏 林鸿熙 《西安电子科技大学学报》 EI CAS CSCD 北大核心 2024年第5期165-178,共14页
在方面级情感分析任务中需要先对文本进行句法依存解析,一方面存在着高度依赖依存解析质量的问题,另一方面未考虑依存解析与语义知识关联性缺失的问题。为此,提出一种基于句法感知与知识增强的双通道图卷积模型进行方面级情感分析任务... 在方面级情感分析任务中需要先对文本进行句法依存解析,一方面存在着高度依赖依存解析质量的问题,另一方面未考虑依存解析与语义知识关联性缺失的问题。为此,提出一种基于句法感知与知识增强的双通道图卷积模型进行方面级情感分析任务。在一个通道上使用句法感知机制学习句子的依存关系,在另一个通道上通过知识图谱进行知识增强,并通过信息交互机制关联两通道的输出,使得模型对与方面词相关联的重要词汇赋予更多句法与语义上的关注。此外,引入位置注意力机制,对词语进行位置上的得分权重调整,进而提高方面级情感分析任务的性能。在3个公开数据集Rest14、Lap14、Twitter上进行实验,相较于其他方面级情感分析模型,所提模型在准确率与F1值都有较为明显的提升。实验表明,句法感知与知识增强能够指导图卷积模型进行更加深入的语义学习与合理的权重分配,从而提高方面级情感分析任务的性能。 展开更多
关键词 情感分析 图卷积神经网络 依存关系 知识图谱 注意力机制
在线阅读 下载PDF
利用无监督预训练的轨迹深度关联
20
作者 李平 李雨航 《电讯技术》 北大核心 2024年第4期504-511,共8页
针对时空相似度算法关联轨迹的局限性,采用深度学习方法进行轨迹关联,并提出了一种基于无监督预训练的匹配神经网络训练方式。利用Geohash向量嵌入对轨迹信号做特征工程处理,构建自注意力机制神经网络结构,使用无标注轨迹数据基于遮蔽... 针对时空相似度算法关联轨迹的局限性,采用深度学习方法进行轨迹关联,并提出了一种基于无监督预训练的匹配神经网络训练方式。利用Geohash向量嵌入对轨迹信号做特征工程处理,构建自注意力机制神经网络结构,使用无标注轨迹数据基于遮蔽预测任务进行模型预训练;然后构建孪生匹配网络结构,加载预训练模型参数;最后使用标注轨迹对数据基于均方差损失函数微调预训练模型参数得到轨迹对匹配模型。采用Geolife GPS轨迹数据集作为评估数据集进行模型训练与测试,实验结果显示,利用无监督预训练的轨迹关联方法较现有最优算法匹配准确率提高了5个百分点,达到了96.3%,充分证明了该方法的有效性。目前轨迹关联领域基于深度学习预训练模型的研究较少,该方法具有重要的参考意义。 展开更多
关键词 轨迹关联 深度学习 无监督预训练 向量嵌入 注意力机制 孪生网络结构
在线阅读 下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部