融合有向关系与关系路径的层次注意力的知识图谱补全

1

作者 翟社平 杨晴 +1 位作者 黄妍 杨锐 《计算机应用》 北大核心 2025年第4期1148-1156,共9页

已有的知识图谱补全(KGC)方法大多未充分挖掘三元组结构中的关系路径,仅考虑了图结构信息;同时现有模型在实体聚合过程中着重考虑邻域信息,对关系的学习相对简单。针对以上问题,提出融合有向关系和关系路径的图注意力模型DRPGAT。首先,... 已有的知识图谱补全(KGC)方法大多未充分挖掘三元组结构中的关系路径,仅考虑了图结构信息;同时现有模型在实体聚合过程中着重考虑邻域信息,对关系的学习相对简单。针对以上问题,提出融合有向关系和关系路径的图注意力模型DRPGAT。首先,将常规三元组转换为有向关系三元组,并引入注意力机制对不同的有向关系赋予不同的权重,从而完成实体信息的聚合,同时,建立关系路径模型,通过将关系位置嵌入路径信息区分不同位置之间的关系,并过滤无关路径得到有用的路径信息;其次,使用注意力机制对路径信息进行深度学习,以实现关系的聚合;最后,将实体与关系送入解码器,训练得到最终的补全结果。在2个真实数据集上进行链接预测实验,以验证所提模型的有效性。实验结果表明,在FB15k-237数据集上,相较于基线模型中的最优结果,DRPGAT的平均排名(MR)降低了13,平均倒数排名(MRR)、Hits@1、Hits@3、Hits@10分别提高1.9、1.2、2.3和1.6个百分点;在WN18RR数据集上,DRPGAT的MR降低了125,MRR、Hits@1、Hits@3、Hits@10分别提高了1.1、0.4、1.2和0.6个百分点,显示了所提模型的有效性。 展开更多

关键词 知识图谱 知识图谱补全 关系路径推理 层次注意力 链接预测

在线阅读 下载PDF 职称材料

基于多维语义特征与层次注意力机制的讽刺识别 被引量：2

2

作者 宋留静 赵泽方 +2 位作者 马宇翔 申罕骥 李俊 《高技术通讯》 CAS 北大核心 2024年第5期453-462,共10页

讽刺是一种复杂的语言表达方式,在日常交流中发挥着重要作用。随着人工智能和社交网络的快速发展,讽刺识别已成为自然语言处理领域的热点研究课题之一。现有的讽刺识别研究往往从单一维度对讽刺文本特征进行表示,忽视了讽刺文本特征的... 讽刺是一种复杂的语言表达方式,在日常交流中发挥着重要作用。随着人工智能和社交网络的快速发展,讽刺识别已成为自然语言处理领域的热点研究课题之一。现有的讽刺识别研究往往从单一维度对讽刺文本特征进行表示,忽视了讽刺文本特征的细微差异及其重要程度。本文将讽刺识别视为文本分类任务,在特征提取阶段,将讽刺文本根据其不一致性特征、情感特征、句法结构特征和风格特征进行多维语义特征表示。在特征融合阶段,针对不同维度特征对整体特征贡献和关联程度不同,采用层次注意力机制调整不同讽刺语言学特征对模型整体性能的影响。实验结果表明,所提出的模型能够从多个维度提取讽刺文本的潜在语义特征,其在公开数据集IAC、Tweets和Reddit上的实验性能均有明显提升。 展开更多

关键词 讽刺识别 自然语言处理 多维语义表示 层次注意力机制

在线阅读 下载PDF 职称材料

基于门控卷积机制与层次注意力机制的多语义词向量计算方法 被引量：4

3

作者 柳杨 吉立新 +2 位作者 黄瑞阳 朱宇航 李星 《中文信息学报》 CSCD 北大核心 2018年第7期1-10,19,共11页

现有的将词映射为单一向量的方法没有考虑词的多义性,从而会引发歧义问题;映射为多个向量或高斯分布的方法虽然考虑了词的多义性,但或多或少没能有效利用词序、句法结构和词间距离等信息对词在某一固定语境中语义表达的影响。综合考虑... 现有的将词映射为单一向量的方法没有考虑词的多义性,从而会引发歧义问题;映射为多个向量或高斯分布的方法虽然考虑了词的多义性,但或多或少没能有效利用词序、句法结构和词间距离等信息对词在某一固定语境中语义表达的影响。综合考虑以上存在的问题,该文提出了一种基于非残差块封装的门控卷积机制加以层次注意力机制的方法,分别在所选取语境窗口中词的子语义层、合成语义层获得非对称语境窗口下目标单词的合成语义向量以预测目标单词,并按此法在给定语料上学习得到多语义词向量的计算方法。小规模语料上用该方法得到的多语义词向量,在词类比任务的语义类比上相比于基线方法准确率最高可提升1.42%;在WordSim353、MC、RG、RW等计算单词相似度任务的数据集上相比于基线方法能够达到平均2.11的性能提升,最高可到5.47。在语言建模实验上,该方法的语言模型性能相比于其他预测目标单词的方法也有显著提升。 展开更多

关键词 多语义词向量 层次注意力 门控卷积

在线阅读 下载PDF 职称材料

可解释的层次注意力机制网络危重症预警 被引量：2

4

作者 王天罡 张晓滨 +1 位作者 马红叶 蔡宏伟 《计算机工程与应用》 CSCD 北大核心 2021年第5期131-138,共8页

准确性和可解释性是决定预测模型是否能够成功应用的两个主要因素。Logistic回归等统计分析模型尽管预测精度不高,但因其易于表达而被广泛采用。与之相对的基于循环神经网络(RNN)或卷积神经网络(CNN)等深度学习“黑盒模型”,准确率较高... 准确性和可解释性是决定预测模型是否能够成功应用的两个主要因素。Logistic回归等统计分析模型尽管预测精度不高,但因其易于表达而被广泛采用。与之相对的基于循环神经网络(RNN)或卷积神经网络(CNN)等深度学习“黑盒模型”,准确率较高却通常难以理解。在医疗领域上述因素的权衡是目前相关研究面临的巨大挑战,通过对某三甲医院CIS系统采集住院患者生理指标数据进行实验分析,建立了基于可解释的层次注意力网络(Interpretable Hierarchical Attention Network,IHAN)用于提前预警患者抢救过程中可能并发的危急重症。IHAN在实验准确率方面优于其他神经网络模型,并且能够模仿人类的行为,重点关注患者生理数据中时间及风险因素两个维度上的异常,在保持较高准确率的情况下,同时达到了较好的可解释性。 展开更多

关键词 层次注意力机制 循环神经网络 疾病预警 可解释性

在线阅读 下载PDF 职称材料

基于多层次注意力机制一维DenseNet音频事件检测 被引量：2

5

作者 杨吕祥 胡燕 《计算机应用研究》 CSCD 北大核心 2020年第6期1642-1646,共5页

在音频事件检测任务中,目标音频易受背景噪声等因素的干扰,并且其在音频信号流中存在的比例不高,针对这些问题,提出一种多层次注意力机制一维DenseNet(dense convolutional network)音频事件检测模型。使用一维DenseNet模型进行帧级检... 在音频事件检测任务中,目标音频易受背景噪声等因素的干扰,并且其在音频信号流中存在的比例不高,针对这些问题,提出一种多层次注意力机制一维DenseNet(dense convolutional network)音频事件检测模型。使用一维DenseNet模型进行帧级检测能有效地检测音频事件发生的开始和结束时间;在一维DenseNet模型中引入多层次注意力机制,使得不同模块的感知特性随着网络层数的加深而自适应地变化,因此模型可以在不同的网络层次自动选择和关注重要的目标帧而抑制不相关的背景帧。在DCASE 2017任务2的开发数据集上的实验表明,该方法的整体性能较传统的深度学习方法有进一步提高。 展开更多

关键词 音频事件检测 深度学习 DenseNet 多层次注意力机制

在线阅读 下载PDF 职称材料

多尺度特征提取和多层次注意力机制的迷彩伪装目标分割算法 被引量：10

6

作者 梁新宇 权冀川 +2 位作者 杨辉 肖铠鸿 王中伟 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2022年第5期683-692,共10页

针对现阶段语义分割算法在野外战场环境中对迷彩伪装目标分割边界不理想、小目标分割精度低的问题,提出一种结合多尺度特征提取和多层次注意力机制的迷彩伪装目标语义分割算法CSS-Net.该算法由编码结构和解码结构组成.编码部分利用轻量... 针对现阶段语义分割算法在野外战场环境中对迷彩伪装目标分割边界不理想、小目标分割精度低的问题,提出一种结合多尺度特征提取和多层次注意力机制的迷彩伪装目标语义分割算法CSS-Net.该算法由编码结构和解码结构组成.编码部分利用轻量化的深度可分离卷积联合残差结构构建特征编码器,对迷彩伪装目标图像进行特征提取;解码部分设计了策略选择的多尺度特征融合模块和多层次注意力特征增强模块,用以获取图像的多尺度信息和通道信息,在逐步精细化分割结果的同时进一步增强图像的语义解码过程.实验结果表明,CSS-Net算法能够有效实现复杂战场环境下伪装目标的分割识别,总体分割的平均交并比指标达到91.98%,分割边界得到改善.与DeepLabv3+算法相比,CSS-Net算法用于迷彩伪装小目标图像分割时的平均交并比指标增长3.71个百分点,对于多尺度目标分割的平均交并比指标均超过85%,分割效果提升明显. 展开更多

关键词 语义分割 迷彩伪装目标 多尺度特征融合 多层次注意力机制

在线阅读 下载PDF 职称材料

基于路径与层次注意力的关系预测方法

7

作者 石津妮 安敬民 李冠宇 《计算机工程与设计》 北大核心 2023年第11期3433-3439,共7页

目前,大多数基于路径的关系预测方法忽略了路径和关系之间的语义相关性,针对此问题提出一种层次注意力机制,捕获不同粒度的信息,包括关系级特征和路径级特征,在多跳路径和关系之间提供一种补充的语义关联。关系级注意力是以目标关系为导... 目前,大多数基于路径的关系预测方法忽略了路径和关系之间的语义相关性,针对此问题提出一种层次注意力机制,捕获不同粒度的信息,包括关系级特征和路径级特征,在多跳路径和关系之间提供一种补充的语义关联。关系级注意力是以目标关系为导向,更多关注与目标关系相匹配的关系。路径级注意力是通过捕获给定实体对的邻域子图结构实现,为结果提供可解释性。该模型可以有效缓解噪声路径和冗余路径对关系预测任务的影响。实验结果表明,在相关数据集上,该模型的关系预测性能优于现有模型。 展开更多

关键词 知识图谱 层次注意力 多粒度 关系路径 目标关系 实体邻域 关系预测

在线阅读 下载PDF 职称材料

深度层次注意力矩阵分解 被引量：1

8

作者 李建红 苏晓倩 吴彩虹 《计算机工程与科学》 CSCD 北大核心 2023年第1期28-36,共9页

矩阵分解由于其较好的评分预测能力而被广泛应用于的个性化推荐中,很多模型也在矩阵分解的基础上改进以提升推荐性能。但是,这些模型由于获取用户偏好信息的能力有限而导致其推荐效果不佳。为了充分挖掘用户的偏好信息,提出了深度层次... 矩阵分解由于其较好的评分预测能力而被广泛应用于的个性化推荐中,很多模型也在矩阵分解的基础上改进以提升推荐性能。但是,这些模型由于获取用户偏好信息的能力有限而导致其推荐效果不佳。为了充分挖掘用户的偏好信息,提出了深度层次注意矩阵分解(DeepHAMF)的推荐模型。首先,对于原始数据除了输入到多层感知机之外,还采用自注意力机制编码后再输入到多层感知机中,目标是捕获显式偏好信息,并将这部分命名为自注意力层;其次,将原始矩阵分解与注意力编码之后的矩阵分解结果分别与多层感知机输出的结果通过注意力机制融合,这样能够充分挖掘出用户的潜在偏好信息,这部分命名为层次注意力模块;最后,通过残差网络将层次注意力模块和自注意力层进行信息拟合,这部分命名为残差融合层。在公开评分数据集上的实验结果表明,DeepHAMF比现有的评分预测模型效果更好。 展开更多

关键词 层次注意力 自注意力网络 残差融合 矩阵分解

在线阅读 下载PDF 职称材料

基于层次化视觉注意力的富语义视频对话生成 被引量：1

9

作者 赵倩 郭斌 +3 位作者 刘宇博 孙卓 王豪 陈梦琦 《计算机科学》 北大核心 2025年第1期315-322,共8页

视频对话是多模态人机交互领域中的重要内容。视频对话中包含大量时空视觉信息和复杂的多模态关系,这给相关研究带来了巨大的挑战。现有的视频对话模型利用跨模态注意力机制或图结构捕捉视频语义和对话上下文之间的相关性,然而,所有视... 视频对话是多模态人机交互领域中的重要内容。视频对话中包含大量时空视觉信息和复杂的多模态关系,这给相关研究带来了巨大的挑战。现有的视频对话模型利用跨模态注意力机制或图结构捕捉视频语义和对话上下文之间的相关性,然而,所有视觉信息均是在单一粗粒度下处理的,这导致模型容易忽略一些细粒度时空信息,如同一物体在时间上的持续运动或图像不显著位置的物体信息,从而降低了视频对话性能。同时,细粒度处理全部视觉信息又将增加处理时延,降低视频对话的流畅性。因此,提出了一种层次化视觉注意力的富语义视频对话生成方法。首先根据对话上下文,利用全局视觉注意力捕捉全局视觉语义信息,并定位到对话输入关注的视频时间序列/空间范围,其次利用局部注意力机制进一步捕捉细粒度视觉信息,结合多任务学习方法,生成对话回复。在DSTC7 AVSD数据集上的实验结果表明,相比现有基准方法,所提方法生成的对话具备更高的准确性和多样性,其中METEOR指标提高了23.24%。 展开更多

关键词 多模态人机交互 层次化注意力机制 多任务学习 场景感知

在线阅读 下载PDF 职称材料

融合卷积神经网络与层次化注意力网络的中文文本情感倾向性分析 被引量：27

10

作者 程艳 叶子铭 +2 位作者 王明文 张强 张光河 《中文信息学报》 CSCD 北大核心 2019年第1期133-142,共10页

文本情感倾向性分析是自然语言处理研究领域的一个基础问题。基于深度学习的模型是处理此问题的常用模型。而当前的多数深度学习模型在中文文本情感倾向性分析方面的应用存在两个问题:一是未能充分考虑到文本的层次化结构对情感倾向性... 文本情感倾向性分析是自然语言处理研究领域的一个基础问题。基于深度学习的模型是处理此问题的常用模型。而当前的多数深度学习模型在中文文本情感倾向性分析方面的应用存在两个问题:一是未能充分考虑到文本的层次化结构对情感倾向性判定的重要作用,二是传统的分词技术在处理文本时会产生歧义。该文针对这些问题基于卷积神经网络与层次化注意力网络的优点提出了一种深度学习模型C-HAN(Convolutional Neural Network-based and Hierarchical Attention Network-based Chinese Sentiment Classification Model),先用并行化卷积层学习词向量间的联系与组合形式,再将其结果输入到基本单元为双向循环神经网络的层次化注意力网络中判定情感倾向。实验表明:模型在中文评论数据集上倾向性分类准确率达到92.34%,和现有多个情感分析模型相比有所提升;此外,对于中文文本,选择使用字级别词向量作为原始特征会优于词级别词向量作为原始特征。 展开更多

关键词 卷积神经网络 层次化注意力网络 情感倾向性分析 词向量

在线阅读 下载PDF 职称材料

基于层次异构图注意力网络的虚假评论检测 被引量：1

11

作者 张蓉 张献国 《计算机应用》 CSCD 北大核心 2021年第5期1275-1281,共7页

针对虚假评论检测中不能充分利用评论的非语义特征的问题,提出了一种新的基于层次注意力机制与异构图注意力网络的层次异构图注意力网络(HHGAN)模型。首先,通过层次注意力机制学习评论文本中词级别和句级别的文档表示,重点捕获对虚假评... 针对虚假评论检测中不能充分利用评论的非语义特征的问题,提出了一种新的基于层次注意力机制与异构图注意力网络的层次异构图注意力网络(HHGAN)模型。首先,通过层次注意力机制学习评论文本中词级别和句级别的文档表示,重点捕获对虚假评论检测有重要意义的单词和句子;然后,将学习到的文档表示作为节点,并选取评论中非语义特征作为元路径来构建具有双层注意力机制的异构图注意力网络;最后,设计一个多层感知器(MLP)用以判别评论类别。实验结果表明,HHGAN模型在yelp. com中提取的餐厅数据集和酒店数据集上的F1值分别到达0.942和0.923,效果明显优于传统的卷积神经网络(CNN)模型和其他神经网络基准模型。 展开更多

关键词 虚假评论检测 表示学习 图神经网络 层次注意力机制 异构图神经网络

在线阅读 下载PDF 职称材料

基于多层注意力和消息传递网络的药物相互作用预测方法 被引量：2

12

作者 饶晓洁 张通 +1 位作者 孟献兵 陈俊龙 《自动化学报》 EI CAS CSCD 北大核心 2023年第12期2507-2519,共13页

药物相互作用(Drug-drug interaction,DDI)是指不同药物存在抑制或促进等作用.现有DDI预测方法往往直接利用药物分子特征表示预测DDI,而忽略药物分子中不同原子对DDI的影响.为此,提出基于多层次注意力机制和消息传递神经网络的DDI预测方... 药物相互作用(Drug-drug interaction,DDI)是指不同药物存在抑制或促进等作用.现有DDI预测方法往往直接利用药物分子特征表示预测DDI,而忽略药物分子中不同原子对DDI的影响.为此,提出基于多层次注意力机制和消息传递神经网络的DDI预测方法.该方法将DDI建模为通过学习基于序列表示的药物分子特征实现DDI预测的链接预测问题.首先,建立基于注意力机制和消息传递神经网络的原子特征网络,结合提出的基于分子质心的位置编码,学习不同原子及其相关联化学键的特征,构建基于图结构的药物分子特征表示;然后,设计基于注意力机制的分子特征网络,并通过监督和对比损失学习,实现DDI预测;最后,通过实验证明该方法的有效性和优越性. 展开更多

关键词 药物相互作用预测 多层次注意力机制 消息传递神经网络 位置编码

在线阅读 下载PDF 职称材料

基于渐进式学习与多尺度增强的客体视觉注意力估计方法

13

作者 丰江帆 何中鱼 《电子与信息学报》 EI CSCD 北大核心 2023年第4期1475-1484,共10页

视觉注意力机制已引起学界和产业界的广泛关注,但既有工作主要从场景观察者的视角进行注意力检测。然而,现实中不断涌现的智能应用场景需要从客体视角进行视觉注意力检测。例如,检测监控目标的视觉注意力有助于预测其后续行为,智能机器... 视觉注意力机制已引起学界和产业界的广泛关注,但既有工作主要从场景观察者的视角进行注意力检测。然而,现实中不断涌现的智能应用场景需要从客体视角进行视觉注意力检测。例如,检测监控目标的视觉注意力有助于预测其后续行为,智能机器人需要理解交互对象的意图才能有效互动。该文结合客体视觉注意力的认知机制,提出一种基于渐进式学习与多尺度增强的客体视觉注意力估计方法。该方法把客体视域视为几何结构和几何细节的组合,构建层次自注意力模块(HSAM)获取深层特征之间的长距离依赖关系,适应几何特征的多样性;并利用方向向量和视域生成器得到注视点的概率分布,构建特征融合模块将多分辨率特征进行结构共享、融合与增强,更好地获取空间上下文特征;最后构建综合损失函数来估计注视方向、视域和焦点预测的相关性。实验结果表明,该文所提方法在公开数据集和自建数据集上对客体视觉注意力估计的不同精度评价指标都优于目前的主流方法。 展开更多

关键词 客体视觉注意力 渐进式学习 层次自注意力 特征融合

在线阅读 下载PDF 职称材料

集成层级图注意力网络检测非均衡虚假评论 被引量：3

14

作者 赵敏 张月琴 +1 位作者 窦英通 张泽华 《计算机科学与探索》 CSCD 北大核心 2023年第2期428-441,共14页

作为机器学习当前一大热点,图神经网络(GNN)模型近年来已逐渐开始结合用户评论应用于欺诈检测领域。但现实中汇总的用户评论涉及多个不同领域,可用信息复杂多样,海量的用户生成内容中欺诈信息通常也只占少数,基于GNN的相关检测方法对虚... 作为机器学习当前一大热点,图神经网络(GNN)模型近年来已逐渐开始结合用户评论应用于欺诈检测领域。但现实中汇总的用户评论涉及多个不同领域,可用信息复杂多样,海量的用户生成内容中欺诈信息通常也只占少数,基于GNN的相关检测方法对虚假评论的识别效果不甚理想。针对这种特征异构和数据分布不均衡的问题,将评论系统进行异构网络建模,提出一种新的集成层次图注意力网络(En-HGAN)识别方法。通过融合层次注意力结构,更加充分地利用异构网络中丰富的用户行为信息,为评论学习更加丰富的语义表征,并在集成学习Bagging框架下集成多个差异化的HGAN子模型,使用随机欠采样策略实现基学习器多样性聚合,从而减少有效信息丢失,增强对欺诈评论的检测能力。在YelpChi与Amazon真实数据集上的实验结果表明,En-HGAN方法具有良好的异常探测性能,和当前一些最新的方法相比,在数据类别倾斜分布的应用中显示En-HGAN方法对欺诈实体具有不错的鲁棒性。 展开更多

关键词 虚假评论检测 层次图注意力网络 网络表征学习 集成学习 非均衡数据分类

在线阅读 下载PDF 职称材料

融合篇章成分识别的中文记叙文篇章结构测评 被引量：1

15

作者 王晓艺 王锦丞 刘杰 《小型微型计算机系统》 北大核心 2025年第1期55-63,共9页

篇章结构合理性是作文自动评测中的重要考量维度.当前针对记叙文篇章结构合理性自动评估的研究还处于起步阶段.该文通过与语文教学专家共同制定记叙文篇章结构评价标准与篇章成分标注规范,构建了具有一定规模的中文记叙文篇章结构测评... 篇章结构合理性是作文自动评测中的重要考量维度.当前针对记叙文篇章结构合理性自动评估的研究还处于起步阶段.该文通过与语文教学专家共同制定记叙文篇章结构评价标准与篇章成分标注规范,构建了具有一定规模的中文记叙文篇章结构测评语料库.基于该语料库,该文提出了融合篇章成分识别的记叙文篇章结构测评模型.模型利用深度学习算法和注意力机制从单词、句子、段落3个层次学习文章特征,从而提取篇章结构的重要信息,最后通过融合识别的篇章成分结果进行结构合理性评分.利用构建的记叙文篇章结构语料库进行实验,结果表明,该文提出的模型准确率达到79.6%,优于现有工作和基线模型. 展开更多

关键词 篇章结构合理性 语料库 作文自动评分 层次注意力网络 BERT

在线阅读 下载PDF 职称材料

层次标签引导的属性网络嵌入 被引量：1

16

作者 陈洁 陈嘉琳 +1 位作者 赵姝 张燕平 《计算机科学与探索》 CSCD 北大核心 2021年第7期1279-1288,共10页

网络嵌入是在保持网络性质不变的前提下,将节点转换为低维向量,以便下游任务的求解。现有网络嵌入方法的研究大多关注于网络结构、节点属性信息或单层次标签信息等方面。然而,许多真实世界的网络节点通常具有丰富的层次标签信息,这些层... 网络嵌入是在保持网络性质不变的前提下,将节点转换为低维向量,以便下游任务的求解。现有网络嵌入方法的研究大多关注于网络结构、节点属性信息或单层次标签信息等方面。然而,许多真实世界的网络节点通常具有丰富的层次标签信息,这些层次标签信息对获取高效的网络嵌入具有重要价值。由于不同层次的标签之间的信息很难相互关联或继承,如何合理利用层次标签信息进行网络嵌入,获得更高效的向量表示是亟待研究的问题。针对上述问题,提出了一种新的基于层次标签的属性网络嵌入框架(HLANE),该框架利用层次注意力机制将层次标签信息融入网络嵌入中。HLANE框架首先通过现有的网络嵌入方法获取结构和/或属性信息初始化节点的嵌入向量。然后通过层次注意力机制层建立多层次标签的父节点和子节点之间的联系,并依此指导网络节点初始化嵌入向量在不同层次的学习,最终生成网络节点的多层次嵌入向量表示。在真实数据集上的实验表明,与对比算法相比,HLANE框架具有更好的网络节点嵌入表示。 展开更多

关键词 网络嵌入 属性网络 层次标签 层次注意力机制

在线阅读 下载PDF 职称材料

基于非迭代训练层次循环神经网络的快速文本分类算法 被引量：1

17

作者 方自远 《计算机应用与软件》 北大核心 2021年第7期310-316,331,共8页

基于神经网络的文本分类算法需要较长的训练时间,难以满足在线文本分类的需求。针对这种情况,提出基于非迭代训练层次循环神经网络的快速文本分类算法。为循环神经网络设计了对抗训练模型,缓解层次注意力网络的过拟合问题。给出一种循... 基于神经网络的文本分类算法需要较长的训练时间,难以满足在线文本分类的需求。针对这种情况,提出基于非迭代训练层次循环神经网络的快速文本分类算法。为循环神经网络设计了对抗训练模型,缓解层次注意力网络的过拟合问题。给出一种循环神经网络的非迭代训练算法,对激活函数进行线性逼近,快速地学习网络连接的权重。实验结果表明,在英文和中文文本的情况下,采用该算法均获得了理想的分类准确率,并且大幅度地减少了训练时间。 展开更多

关键词 循环神经网络 层次注意力 文本分类 过拟合问题 非迭代训练 对抗训练

在线阅读 下载PDF 职称材料

基于层次化结构表示的数据到文本生成方法 被引量：1

18

作者 龚永罡 郭怡星 +3 位作者 廉小亲 马虢春 王希 刘宏宇 《计算机应用研究》 CSCD 北大核心 2023年第8期2399-2403,共5页

最近的数据到文本生成方法广泛采用了编码器—解码器架构或其变体,但是这些方法无法识别数据中不同部分的信息的重要性,导致在选择适当的内容和排序方面表现不佳。针对这些问题,提出了一个基于层次化结构表示的数据到文本生成方法,它包... 最近的数据到文本生成方法广泛采用了编码器—解码器架构或其变体,但是这些方法无法识别数据中不同部分的信息的重要性,导致在选择适当的内容和排序方面表现不佳。针对这些问题,提出了一个基于层次化结构表示的数据到文本生成方法,它包括规划阶段和生成阶段,规划阶段通过实体级、记录级的多层次注意力来增强语义空间的表达能力,输出的计划代表重要内容的高层次表示,同时将计划输入给生成阶段的生成器得到最终的文本。通过在两个数据到文本生成的数据集上进行的广泛实验表明,该方法相比于已有的数据到文本生成方法,生成的文本对数据的描述更加准确,质量更高,该方法的提出为数据到文本生成的研究提供了一定的指导性作用。 展开更多

关键词 数据到文本生成 多层次注意力 层次化结构表示 编码器—解码器架构

在线阅读 下载PDF 职称材料

民航旅客行程状态推断方法研究

19

作者 彭明田 赵越 《计算机应用研究》 CSCD 北大核心 2021年第4期1027-1032,共6页

现有的民航旅客行程状态推断的相关方法不能对旅客历史行为序列中远距离项的依赖关系建模,且忽略了行程子结构,为此提出一种新的模型来推断旅客行程状态。首先通过图神经网络挖掘出行序列任意机场间的转移模式;其次,构造层次注意力依次... 现有的民航旅客行程状态推断的相关方法不能对旅客历史行为序列中远距离项的依赖关系建模,且忽略了行程子结构,为此提出一种新的模型来推断旅客行程状态。首先通过图神经网络挖掘出行序列任意机场间的转移模式;其次,构造层次注意力依次在机场级别和行程级别捕获旅客的短期和长期出行偏好;最后融合旅客的短期和长期出行偏好进行分类。实验结果表明,图神经网络的消息传递机制突破了距离的限制,有效捕获了旅客出行序列中任意机场间复杂的关系,模型在多项性能指标上效果很好,构建的图神经网络和注意力机制结合的方法可获得更好的性能;另外,结合实际的应用场景,融入了额外的特征进行信息补充取得了更好的推断效果。 展开更多

关键词 民航旅客 任意项间的关系 行程 图神经网络 层次注意力机制

在线阅读 下载PDF 职称材料

基于HAN的双通道复合模型的文本情感分类 被引量：6

20

作者 李辉 黄钰杰 李金秋 《传感器与微系统》 CSCD 北大核心 2021年第8期121-125,共5页

针对单一的神经网络模型结构简单、传统的注意力模型无法有效提取层次化的文本特征的问题,提出了一种基于HAN的双通道复合模型的文本情感分类。首先,在一个通道上使用双向门限循环(GRU)神经网络提取序列化信息,并引入层次化注意力网络(H... 针对单一的神经网络模型结构简单、传统的注意力模型无法有效提取层次化的文本特征的问题,提出了一种基于HAN的双通道复合模型的文本情感分类。首先,在一个通道上使用双向门限循环(GRU)神经网络提取序列化信息,并引入层次化注意力网络(HAN)学习序列层次化文本信息。其次,在另一通道中借助分解卷积神经网络(CNN)获取局部文本特征,结合HAN学习深层次特征信息。最后,将两个通道进行融合,丰富特征向量,优化文本情感分类效果,提高模型的准确率。在3组中文数据集上进行多组对比实验,本文模型准确率分别达到92.06%,91.08%,92.71%,证明提出模型比单一通道模型表现更出色,使用层次化注意力网络比传统的注意力网络效果更好。 展开更多

关键词 卷积神经网络 门限循环神经网络 层次化注意力网络 情感分析

在线阅读 下载PDF 职称材料