融入多尺度特征注意力的胶囊神经网络及其在文本分类中的应用 被引量：3

1

作者 王超凡 琚生根 +1 位作者 孙界平 陈润 《中文信息学报》 CSCD 北大核心 2022年第1期65-74,共10页

近些年来,胶囊神经网络(Capsnets)由于拥有强大的文本特征学习能力而被应用到文本分类任务中。目前的研究工作大都将提取到的文本多元语法特征视为同等重要,而忽略了单词所对应的各个多元语法特征的重要程度由具体上下文决定的这一事实... 近些年来,胶囊神经网络(Capsnets)由于拥有强大的文本特征学习能力而被应用到文本分类任务中。目前的研究工作大都将提取到的文本多元语法特征视为同等重要,而忽略了单词所对应的各个多元语法特征的重要程度由具体上下文决定的这一事实,这将直接影响到模型对整个文本的语义理解。针对上述问题,该文提出了多尺度特征部分连接胶囊网络(MulPart-Capsnets)。该方法将多尺度特征注意力融入到Capsnets中,多尺度特征注意力能够自动选择不同尺度的多元语法特征,通过对其进行加权求和,就能为每个单词精确捕捉到丰富的多元语法特征。同时,为了减少子胶囊与父胶囊之间的冗余信息传递,该文也对路由算法进行了改进。该文提出的算法在文本分类任务上针对7个著名的数据集进行了有效性验证,和现有的研究工作相比,性能提高显著,说明该文的算法能够捕获文本中更丰富的多元语法特征,具有更加强大的文本特征学习能力。 展开更多

关键词 胶囊神经网络 多尺度特征注意力 文本分类 路由算法 卷积神经网路

在线阅读 下载PDF 职称材料

基于胶囊异构图注意力网络的中文表格型数据事实验证 被引量：1

2

作者 杨鹏 查显宇 +1 位作者 赵广振 林茜 《软件学报》 EI CSCD 北大核心 2024年第9期4324-4345,共22页

事实验证旨在检查一个文本陈述是否被给定的证据所支持.由于表格结构上具有依赖性、内容上具有隐含性,以表格作为证据的事实验证任务仍面临很多挑战.现有工作或者利用逻辑表达式来解析基于表格证据的陈述,或者设计表格感知神经网络来编... 事实验证旨在检查一个文本陈述是否被给定的证据所支持.由于表格结构上具有依赖性、内容上具有隐含性,以表格作为证据的事实验证任务仍面临很多挑战.现有工作或者利用逻辑表达式来解析基于表格证据的陈述,或者设计表格感知神经网络来编码陈述-表格对,以此实现基于表格的事实验证任务.但是,这些方法没有充分利用陈述背后隐含的表格信息,从而导致模型的推理性能下降,并且基于表格证据的中文陈述具有更加复杂的语法和语义,也给模型推理带来更大的困难.为此,提出基于胶囊异构图注意力网络(CapsHAN)的中文表格型数据事实验证方法,所提方法能充分理解陈述的结构和语义,进而挖掘和利用陈述所隐含的表格信息,有效提升基于表格的事实验证任务准确性.具体而言,首先通过对陈述进行依存句法分析和命名实体识别来构建异构图,接着对该图采用异构图注意力网络和胶囊图神经网络进行学习和理解,然后将得到的陈述文本表示与经过编码的表格文本表示进行拼接,最后完成结果的预测.更进一步,针对现有中文表格型事实验证数据集匮乏而难以支持基于表格的事实验证方法性能评价的难题,首先对主流TABFACT和INFOTABS表格事实验证英文数据集进行中文转化,并且专门针对中文表格型数据的特点构建了基于UCL国家标准的数据集UCLDS,该数据集将维基百科信息框作为人工注释的自然语言陈述的证据,并被标记为蕴含、反驳或中立3类.UCLDS在同时支持单表和多表推理方面比传统TABFACT和INFOTABS数据集更胜一筹.在上述3个中文基准数据集上的实验结果表明,所提模型的表现均优于基线模型,证明该模型在基于中文表格的事实验证任务上的优越性. 展开更多

关键词 基于表格的事实验证 异构图注意力网络 胶囊图神经网络 依存句法分析 命名实体识别

在线阅读 下载PDF 职称材料

基于注意力机制和卷积神经网络的配电网拓扑辨识 被引量：42

3

作者 杨秀 蒋家富 +3 位作者 刘方 田英杰 李凡 吴裔 《电网技术》 EI CSCD 北大核心 2022年第5期1672-1682,共11页

针对当前配电网拓扑变化频繁,拓扑结构实时获取困难等问题,文章提出基于注意力机制和卷积神经网络的配电网拓扑辨识方法。首先利用卷积神经网络挖掘量测信息和配电网拓扑结构之间的关系,学习其映射规则;考虑当前配网中同步相量测量装置(... 针对当前配电网拓扑变化频繁,拓扑结构实时获取困难等问题,文章提出基于注意力机制和卷积神经网络的配电网拓扑辨识方法。首先利用卷积神经网络挖掘量测信息和配电网拓扑结构之间的关系,学习其映射规则;考虑当前配网中同步相量测量装置(phasor measurement unit,PMU)和微型同步相量测量装置(micophasormeasurementunit,μPMU)等高级量测设备安装数量不足导致获取量测数据质量不高的问题,在卷积神经网络隐藏层中融入注意力机制,以增强模型鲁棒性;通过随机森林算法对特征数据集进行降维,降低模型时、空复杂度;最后,分别基于IEEE 33节点配电网和PG&E69节点配电网开展算例分析,以验证方法的可行性和优越性,并检验利用更少特征进行拓扑辨识的可能性。结果表明:所提方法具有良好优越性和鲁棒性,泛化能力强,在仅提供少量时间断面量测数据情况下便可实现配电网拓扑辨识,且对于辐射网和含环网络同样适用。 展开更多

关键词 配电网 注意力机制 卷积神经网络 随机森林 拓扑辨识

在线阅读 下载PDF 职称材料

基于注意力机制的循环神经网络评价对象抽取模型 被引量：7

4

作者 杨善良 孙启 《计算机应用与软件》 北大核心 2019年第3期202-209,共8页

针对评论文本中评价对象的抽取任务,需要设计特征模板,而抽取结果往往受特征模板影响大的问题,提出一种端到端的神经网络评价对象抽取模型。分析条件随机场CRF在评价对象抽取任务中的特征模板设计;使用词向量嵌入模型在语义空间表示词语... 针对评论文本中评价对象的抽取任务,需要设计特征模板,而抽取结果往往受特征模板影响大的问题,提出一种端到端的神经网络评价对象抽取模型。分析条件随机场CRF在评价对象抽取任务中的特征模板设计;使用词向量嵌入模型在语义空间表示词语,并分析注意力机制在神经网络模型中的作用;将条件随机场模型与循环神经网络模型LSTM相结合,形成基于注意力机制的LSTM-CRF-Attention模型。在NLPCC2012和NLPCC2013两个数据集上进行实验,该模型的F值比CRF模型分别提高8.15%和11.03%。实验结果也同时验证词向量具备表示词语特征的能力,注意力机制能够有效提高神经网络模型中的评价对象抽取效果。 展开更多

关键词 注意力机制 神经网络模型 条件随机场 评价对象抽取

在线阅读 下载PDF 职称材料

融合卷积神经网络与双向GRU的文本情感分析胶囊模型 被引量：11

5

作者 程艳 孙欢 +3 位作者 陈豪迈 李猛 蔡盈盈 蔡壮 《中文信息学报》 CSCD 北大核心 2021年第5期118-129,共12页

文本情感分析是自然语言处理领域一个重要的分支。现有深度学习方法不能更为全面地提取文本情感特征,且严重依赖于大量的语言知识和情感资源,需要将这些特有的情感信息充分利用使模型达到最佳性能。该文提出了一种融合卷积神经网络与双... 文本情感分析是自然语言处理领域一个重要的分支。现有深度学习方法不能更为全面地提取文本情感特征,且严重依赖于大量的语言知识和情感资源,需要将这些特有的情感信息充分利用使模型达到最佳性能。该文提出了一种融合卷积神经网络与双向GRU网络的文本情感分析胶囊模型。该模型首先使用多头注意力学习单词间的依赖关系、捕获文本中情感词,利用卷积神经网络和双向GRU提取文本不同粒度的情感特征,特征融合后输入全局平均池化层,在得到文本的实例特征表示的同时,针对每个情感类别结合注意力机制生成特征向量构建情感胶囊,最后根据胶囊属性判断文本情感类别。模型在MR、IMDB、SST-5及谭松波酒店评论数据集上进行实验,相比于其他基线模型具有更好的分类效果。 展开更多

关键词 文本情感分析 多头注意力 卷积神经网络 双向门控循环网络 情感胶囊

在线阅读 下载PDF 职称材料

可变融合的随机注意力胶囊网络入侵检测模型 被引量：12

6

作者 张兴兰 尹晟霖 《通信学报》 EI CSCD 北大核心 2020年第11期160-168,共9页

为了增强检测模型的准确率与泛化性,提出了一种可变融合的随机注意力胶囊网络的入侵检测模型,通过特征动态融合,模型能够更好地捕捉数据特征;同时使用随机注意力机制,减少了对训练数据的依赖,使模型更具有泛化能力。所提模型在NSL-KDD和... 为了增强检测模型的准确率与泛化性,提出了一种可变融合的随机注意力胶囊网络的入侵检测模型,通过特征动态融合,模型能够更好地捕捉数据特征;同时使用随机注意力机制,减少了对训练数据的依赖,使模型更具有泛化能力。所提模型在NSL-KDD和UNSW-NB15数据集上进行验证,实验表明,模型在2种测试集上的准确率分别达到了99.49%和98.60%。 展开更多

关键词 深度学习 入侵检测 网络空间安全 胶囊网络 随机注意力

在线阅读 下载PDF 职称材料

融合随机森林和神经网络的教学质量分析算法 被引量：7

7

作者 骆仕杰 韩抒真 《小型微型计算机系统》 CSCD 北大核心 2023年第8期1686-1692,共7页

为了实现更好的教学质量分析,分析教学过程中存在的不足,提高高校教学质量,设计了一种融合师资信息、学生信息和教学信息的教学质量分析模型(RALCA).使用随机森林(RF)算法将教师与学生信息的特征重要性、特征与目标变量之间的关系性进... 为了实现更好的教学质量分析,分析教学过程中存在的不足,提高高校教学质量,设计了一种融合师资信息、学生信息和教学信息的教学质量分析模型(RALCA).使用随机森林(RF)算法将教师与学生信息的特征重要性、特征与目标变量之间的关系性进行度量表示,运用准确的分类效果筛选保留下来最优的特征子集.使用自注意力机制的长短记忆神经网络(Attention-LSTM)融合教师、学生信息画像特征和教学信息特征,将关联信息更深层次的挖掘,获得高精度的教学质量影响因素之间的关系分析结果.根据实验对比分析表明,提出的RALCA模型可以更科学地分析现阶段影响教学质量的影响因素高低排序,高校可以获得更有效的教学质量分析来提升教学质量. 展开更多

关键词 随机森林 自注意力机制神经网络 用户画像 特征融合 教学质量分析

在线阅读 下载PDF 职称材料

融合四种注意力机制的多尺度残差地震数据去噪网络

8

作者 高磊 樊星灿 +2 位作者 乔昊炜 闵帆 杨梅 《南京大学学报(自然科学版)》 CSCD 北大核心 2024年第5期763-775,共13页

去除随机噪声是地震数据处理的一个重要步骤.基于卷积神经网络的很多方法只考虑单尺度特征,不能自适应地线性聚合地震数据特征,因而难以去除复杂的噪声并保护弱信号.提出融合四种注意力机制的多尺度卷积残差地震去噪网络(MARN),它主要... 去除随机噪声是地震数据处理的一个重要步骤.基于卷积神经网络的很多方法只考虑单尺度特征,不能自适应地线性聚合地震数据特征,因而难以去除复杂的噪声并保护弱信号.提出融合四种注意力机制的多尺度卷积残差地震去噪网络(MARN),它主要包括三个部分:单尺度特征提取层、多尺度特征取层、特征恢复层.单尺度特征提取层使用单个相同卷积核提取全局特征.多尺度特征提取层包含多个残差多尺度注意力特征提取块(RMSAB),每块由多个多轴注意力多尺度特征融合块(MAFB)组成. MAFB包含三个结构:特征提取结构通过四种注意力机制提取局部细特征,特征融合结构融合四种注意力机制提取的特征,特征传输结构传递特征至特征恢复层.特征恢复层融合提取的单尺度和多尺度特征,获得去噪地震数据.实验结果表明,MARN不仅能更具针对性地去除随机噪声,还能更好地保留弱信号. 展开更多

关键词 去除随机噪声 卷积神经网络 多注意力机制 多尺度特征 残差网络

在线阅读 下载PDF 职称材料

基于随机块移位和可变形注意力的视频烟雾识别

9

作者 谢晔辉 赵海涛 《应用光学》 CAS 北大核心 2024年第6期1204-1211,共8页

识别出工业环境中的烟雾排放行为对于规范和实时监督企业,以及环境保护都具有至关重要的意义。然而,识别工业排放烟雾具有很高的挑战性,一方面工业排放烟雾具有高透明度、高动态性等特点;另一方面烟雾的形状和尺寸可能会因环境、光照等... 识别出工业环境中的烟雾排放行为对于规范和实时监督企业,以及环境保护都具有至关重要的意义。然而,识别工业排放烟雾具有很高的挑战性,一方面工业排放烟雾具有高透明度、高动态性等特点;另一方面烟雾的形状和尺寸可能会因环境、光照等因素而发生变化。目前主流的烟雾识别方法都是基于图像或视频的深度学习模型,但是基于图像的模型无法对视频中烟雾的动态特性进行有效的时序建模,同时基于视频的模型没有考虑烟雾形状多变的特性。将随机块移位(random patch shift,RPS)和可变形注意力(deformable attention,DA)引入Swin Transformer。RPS将传统的2D空间注意力转变为时空注意力,从而使用2D的自注意力计算对动态烟雾进行建模;DA通过自适应形变的方式使网络能够适应不同的烟雾形态和外观变化,提高网络的鲁棒性和泛化能力。在RISE数据集上的实验结果表明,本文方法能够在3个子集上分别达到0.85、0.86和0.84的F 1分数,相比其他方法有0.01~0.06的提升。 展开更多

关键词 烟雾识别 随机块移位 可变形注意力 深度神经网络

在线阅读 下载PDF 职称材料

双通道混合神经网络的文本情感分析模型 被引量：8

10

作者 杨长利 刘智 鲁明羽 《计算机工程与应用》 CSCD 北大核心 2020年第11期124-128,共5页

大多数文本情感分析方法不能有效地反映文本序列中不同单词的重要程度,并且不能获得足够的文本信息。提出了一种双通道混合神经网络的文本情感分析模型,混合神经网络层在胶囊网络(Capsule Network)模型和双向门限循环单元(BiGRU)模型之... 大多数文本情感分析方法不能有效地反映文本序列中不同单词的重要程度,并且不能获得足够的文本信息。提出了一种双通道混合神经网络的文本情感分析模型,混合神经网络层在胶囊网络(Capsule Network)模型和双向门限循环单元(BiGRU)模型之后分别引入注意力机制,使其自适应地感知上下文信息并提取影响文本情感分析的文本特征,将两种模型提取的特征进行融合。将两种不同的词向量经过混合神经网络层得到的结果进一步融合,由Softmax分类器进行分类。在三个标准数据集上的实验结果证明了该模型的有效性。 展开更多

关键词 混合神经网络 特征融合 注意力机制 双向门循环单元 胶囊网络

在线阅读 下载PDF 职称材料

基于准循环神经网络的中文命名实体识别 被引量：11

11

作者 王栋 李业刚 +1 位作者 张晓 蒲相忠 《计算机工程与设计》 北大核心 2020年第7期2038-2043,共6页

针对中文命名实体识别中长短期记忆网络识别模型缺乏并行性的问题,提出一种融合双向准循环神经网络(BQRNN)与条件随机场(CRF)的中文命名实体识别模型。通过BQRNN网络在序列维度和特征维度上并行获取序列化文本的内部特征,由CRF层选取最... 针对中文命名实体识别中长短期记忆网络识别模型缺乏并行性的问题,提出一种融合双向准循环神经网络(BQRNN)与条件随机场(CRF)的中文命名实体识别模型。通过BQRNN网络在序列维度和特征维度上并行获取序列化文本的内部特征,由CRF层选取最终的标签序列,在模型中添加Attention机制,增强BQRNN网络输出的特征信息。实验结果表明,该模型与BLSTM-CRF模型相比F1值提高了1.81%,缩短了约40%的运行时间。 展开更多

关键词 命名实体 准循环神经网络 条件随机场 注意力机制 并行性

在线阅读 下载PDF 职称材料

基于注意力关系网络的无线胶囊内镜图像分类方法 被引量：6

12

作者 安晨 汪成亮 +1 位作者 廖超 肖诗童 《计算机工程》 CAS CSCD 北大核心 2021年第10期252-259,268,共9页

无线胶囊内镜(WCE)技术可以检测出肠胃道异常,计算机辅助诊断WCE图像方法由于标注图像数据量少、图像类内变异度高和类间相似等原因导致效果不佳。为此,提出一种基于注意力关系网络的WCE图像多分类方法。将关系网络、注意力机制以及元... 无线胶囊内镜(WCE)技术可以检测出肠胃道异常,计算机辅助诊断WCE图像方法由于标注图像数据量少、图像类内变异度高和类间相似等原因导致效果不佳。为此,提出一种基于注意力关系网络的WCE图像多分类方法。将关系网络、注意力机制以及元学习训练策略相结合,构造基于注意力机制的嵌入模块以提取WCE图像特征,将提取后的特征进行特征映射级联后输入到关系模块,根据关系模块输出的相似性评分判断样本所属类别,采用元学习训练策略训练网络。实验结果表明,该方法的分类精度高于RelationNet、MAML等小样本分类方法,且在WCE数据集上该方法的精度高达90.28%。 展开更多

关键词 无线胶囊内镜图像 注意力机制 元学习 关系网络 卷积神经网络

在线阅读 下载PDF 职称材料

基于卷积注意力和胶囊网络的SAR少样本目标识别方法 被引量：7

13

作者 霍鑫怡 李焱磊 +2 位作者 陈龙永 张福博 孙巍 《中国科学院大学学报（中英文）》 CSCD 北大核心 2022年第6期783-792,共10页

合成孔径雷达(SAR)目标识别在军事和民用领域都具有重要的研究价值。但由于SAR数据获取成本高、样本数目少,传统的卷积神经网络提取目标特征的能力不足,准确率低下。提出结合卷积注意力和胶囊网络的分类模型,利用胶囊网络中的多维向量... 合成孔径雷达(SAR)目标识别在军事和民用领域都具有重要的研究价值。但由于SAR数据获取成本高、样本数目少,传统的卷积神经网络提取目标特征的能力不足,准确率低下。提出结合卷积注意力和胶囊网络的分类模型,利用胶囊网络中的多维向量神经元表示目标更多的特征;同时,考虑到少样本情况下目标特征信息缺乏,为提高神经网络的学习效率,对胶囊网络加入注意力机制,通过学习不同特征的重要程度,引导分类网络重点关注对分类结果贡献大的特征,弱化对分类结果贡献小的特征,提高神经网络的学习效率。针对MSTAR数据集和实测车辆数据集的实验结果表明,该算法的准确率高于传统的卷积神经网络和胶囊网络算法。 展开更多

关键词 合成孔径雷达 SAR少样本目标识别 胶囊网络 卷积神经网络 卷积注意力机制 目标检测

在线阅读 下载PDF 职称材料

基于深度卷积注意胶囊网络的微表情识别方法 被引量：3

14

作者 曾岚蔚 许青林 《计算机工程与设计》 北大核心 2022年第9期2631-2637,共7页

针对微表情动作发生的局部性和人脸面部空间结构信息丢失问题,提出一种用于微表情识别的深度卷积注意胶囊网络(deep convolutional attention capsule neural network,DCACNN)。将注意力机制和深度卷积层融入胶囊网络,利用注意力机制使... 针对微表情动作发生的局部性和人脸面部空间结构信息丢失问题,提出一种用于微表情识别的深度卷积注意胶囊网络(deep convolutional attention capsule neural network,DCACNN)。将注意力机制和深度卷积层融入胶囊网络,利用注意力机制使网络模型聚焦于微表情活跃区域,采用深度卷积网络提高网络提取高维特征的能力,胶囊网络的动态路由机制充分利用人脸面部空间信息,增强特征表示能力,提高微表情识别的准确率。实验基于数据集CASME II和SAMM进行测试与分析,实验结果表明,DCACNN能有效提高微表情识别的准确率。 展开更多

关键词 胶囊网络 微表情识别 注意力机制 深度学习 特征提取 动态路由 卷积神经网络

在线阅读 下载PDF 职称材料

基于协同注意力和递归随机游走的实体链接方法 被引量：1

15

作者 李圣杰 周新 史一民 《计算机应用与软件》 北大核心 2022年第8期163-170,186,共9页

针对当前大多数实体链接方法,在获取指称和候选实体之间的语义信息时,没有揭示注意力的焦点,实体链接准确性有待提高的问题,提出一种基于协同注意力和递归随机游走的实体链接方法——Att-RRW。采用协同注意力机制识别出指称上下文和候... 针对当前大多数实体链接方法,在获取指称和候选实体之间的语义信息时,没有揭示注意力的焦点,实体链接准确性有待提高的问题,提出一种基于协同注意力和递归随机游走的实体链接方法——Att-RRW。采用协同注意力机制识别出指称上下文和候选实体描述中最具有区别性的单词,提高指称和候选实体之间的局部相关性的准确度;采用递归随机游走实现了将局部兼容性和实体之间的一致性结合起来的集成实体链接。在四个数据集上的实验验证表明,Att-RRW的整体性能优于当前主流的实体链接方法。 展开更多

关键词 实体链接 递归随机游走 协同注意力 神经网络 集成实体链接

在线阅读 下载PDF 职称材料

一种深度可微随机森林的腹部CT图像器官检测方法

16

作者 郑申海 刘小暄 王瑞浩 《北京航空航天大学学报》 北大核心 2025年第11期3781-3789,共9页

针对传统随机森林方法在处理高维、结构复杂医学图像数据特征学习不充分问题,提出一种基于深度可微随机森林的腹部多器官检测方法。所提方法先将深度学习和随机森林进行巧妙地融合,使用全局-局部双编码器提取高层特征,再将特征输入到可... 针对传统随机森林方法在处理高维、结构复杂医学图像数据特征学习不充分问题,提出一种基于深度可微随机森林的腹部多器官检测方法。所提方法先将深度学习和随机森林进行巧妙地融合,使用全局-局部双编码器提取高层特征,再将特征输入到可微随机森林进行树分裂。所设计的决策注意力为每棵决策树分配权重,利用反向传播学习参数,构造最终的端到端的检测模型。与传统随机森林不同的是,所提方法采用概率的形式进行树节点分裂,多棵决策树以参数权重进行投票。这种反向传播学习节点分裂参数和投票权重参数策略,可以避免传统随机森林叶节点分裂造成的局部最优,使深度可微随机森林能寻找出全局最优值。在2个公共医学图像多器官数据集(AbdomenCT-1K、AMOS2022)上进行了实验,在AbdomenCT-1K中5个腹部器官的平均WD值比对比方法减少了0.7~2.66 mm,在AMOS2022中7个腹部器官的平均WD值比对比方法减少了0.67~2.68 mm。结果表明:所提方法具有较高的检测准确性。 展开更多

关键词 多器官检测 深度随机森林 权重投票 卷积神经网络 决策注意力

在线阅读 下载PDF 职称材料

独立RNN和胶囊网络的维吾尔语事件缺失元素填充 被引量：4

17

作者 王县县 禹龙 +1 位作者 田生伟 王瑞锦 《自动化学报》 EI CAS CSCD 北大核心 2021年第4期903-912,共10页

提出了注意力机制独立循环神经网络和胶囊网络并行的维吾尔语事件缺失元素填充模型(Att_IndRNN_CapsNet).首先,抽取18项事件和事件元素的内部特征,作为结合注意力机制的独立循环神经网络模型的输入,进一步获取高阶特征;同时,引入词嵌入... 提出了注意力机制独立循环神经网络和胶囊网络并行的维吾尔语事件缺失元素填充模型(Att_IndRNN_CapsNet).首先,抽取18项事件和事件元素的内部特征,作为结合注意力机制的独立循环神经网络模型的输入,进一步获取高阶特征;同时,引入词嵌入技术将事件触发词和候选元素映射为词向量,通过胶囊网络挖掘事件和事件元素的上下文语义特征;然后,将两种特征融合,作为分类器的输入,进而完成事件缺失元素的填充.实验结果表明,该方法用于维吾尔语事件缺失元素填充准确率为86.94%,召回率为84.14%,衡量模型整体性能的F1值为85.52%,从而证明了该方法在维吾尔语事件缺失元素填充上的有效性. 展开更多

关键词 注意力机制 胶囊网络 事件抽取 独立循环神经网络 缺失元素填充

在线阅读 下载PDF 职称材料

基于注意力机制的Bi-LSTM结合CRF的新闻命名实体识别及其情感分类 被引量：14

18

作者 胡甜甜 但雅波 +2 位作者 胡杰 李想 李少波 《计算机应用》 CSCD 北大核心 2020年第7期1879-1883,共5页

针对搜狐coreEntityEmotion_train语料核心实体识别和核心实体情感分析的任务,提出了基于注意力机制的长短期记忆神经网络结合条件随机场模型(AttBi-LSTM-CRF)。首先,对文本进行预训练,将每个字映射为维度相同的低维向量;然后,把这些向... 针对搜狐coreEntityEmotion_train语料核心实体识别和核心实体情感分析的任务,提出了基于注意力机制的长短期记忆神经网络结合条件随机场模型(AttBi-LSTM-CRF)。首先,对文本进行预训练,将每个字映射为维度相同的低维向量;然后,把这些向量输入到基于注意力机制的长短期记忆神经网络(AttBi-LSTM)中,以获取长远的上下文信息并集中注意力到与输出标签高度相关的信息上;最后,通过条件随机场(CRF)层获取整个序列的最优标签。将AttBi-LSTM-CRF模型与双向长短记忆神经网络(Bi-LSTM)、AttBi-LSTM和双向长短期记忆神经网络结合条件随机场(Bi-LSTM-CRF)模型进行对比实验。实验结果表明,AttBi-LSTM-CRF模型的准确率达到0.786,召回率达到0.756,F1值达到0.771,优于对比模型,验证了AttBi-LSTM-CRF性能的优越性。 展开更多

关键词 核心实体识别 情感分类 条件随机场 注意力机制 双向长短期记忆神经网络

在线阅读 下载PDF 职称材料

基于深度特征融合网络的数模联动随机退化设备剩余寿命预测 被引量：8

19

作者 周涛 汪永超 +2 位作者 张栩静 毛凯宁 李汶俊 《计算机集成制造系统》 EI CSCD 北大核心 2022年第12期3937-3945,共9页

在工业大数据和万物互联背景下,针对复杂运行条件中的设备健康状态需从多维度进行表征,如何有效地融合多维监测数据,对随机退化设备的精准剩余寿命预测具有重要意义,由此提出一种基于深度特征融合网络的数模联动随机退化设备剩余寿命预... 在工业大数据和万物互联背景下,针对复杂运行条件中的设备健康状态需从多维度进行表征,如何有效地融合多维监测数据,对随机退化设备的精准剩余寿命预测具有重要意义,由此提出一种基于深度特征融合网络的数模联动随机退化设备剩余寿命预测方法,构建多维自注意力时间卷积网络对时间窗处理后的多维监测数据做深度特征提取,设计模式加权的特征融合方法获取融合退化指标,然后采用随机过程对退化指标进行建模,通过表征预测效果的优化目标函数对网络参数、模式系数和失效阈值进行反向调整,形成数模联动的剩余寿命预测方法,实现退化指标和随机模型的自动匹配。最后,在涡扇发动机运行数据集上验证了该方法的准确性和优越性。 展开更多

关键词 剩余寿命预测 自注意力机制 卷积神经网络 特征融合 随机过程 涡扇发动机

在线阅读 下载PDF 职称材料

基于改进胶囊网络的会话型推荐模型

20

作者 孙浩 曹健 +1 位作者 李海生 毛典辉 《计算机应用》 CSCD 北大核心 2023年第4期1043-1049,共7页

针对现有的会话型推荐模型难以从简短的会话中捕获项目之间的依赖关系的问题,在考虑了复杂的项目交互和动态的用户兴趣变化后,提出了一种基于会话型推荐的改进胶囊网络(SR-ECN)模型。首先,利用图神经网络(GNN)处理会话序列数据,以得到... 针对现有的会话型推荐模型难以从简短的会话中捕获项目之间的依赖关系的问题,在考虑了复杂的项目交互和动态的用户兴趣变化后,提出了一种基于会话型推荐的改进胶囊网络(SR-ECN)模型。首先,利用图神经网络(GNN)处理会话序列数据,以得到每个项目嵌入向量;然后,利用胶囊网络的动态路由机制,从交互历史中聚合高级用户的偏好;此外,所提模型引入自注意力网络进一步考虑用户和项目的潜在信息,从而为用户推荐更合适的项目。实验结果表明,在Yoochoose数据集上,所提模型的召回率和平均倒数排名(MRR)均优于SR-GNN(Session-based Recommendation with GNN)、TAGNN(Target Attentive GNN)等所有对比模型,与基于无损边缘保留聚合和快捷图注意力的推荐(LESSR)模型相比,所提模型的召回率和MRR分别提升了0.92和0.45个百分点,验证了改进胶囊网络对用户兴趣偏好提取的有效性。 展开更多

关键词 胶囊网络 会话型推荐 图神经网络 自注意力机制 推荐系统

在线阅读 下载PDF 职称材料