期刊文献+
共找到92篇文章
< 1 2 5 >
每页显示 20 50 100
基于卷积循环神经网络的手写汉字文本识别 被引量:3
1
作者 胡瑞朋 何春燕 +2 位作者 张伟明 赵立新 李明博 《科学技术与工程》 北大核心 2025年第4期1547-1554,共8页
为了解决卷积循环神经网络(convolutional recurrent neural networks, CRNN)手写汉字文本识别网络模型的训练参数大、文本识别率低等问题,提出一种基于注意力双向长短期记忆网络(based on attention bi-directional long short-term me... 为了解决卷积循环神经网络(convolutional recurrent neural networks, CRNN)手写汉字文本识别网络模型的训练参数大、文本识别率低等问题,提出一种基于注意力双向长短期记忆网络(based on attention bi-directional long short-term memory network, AT-BLSTM)和知识蒸馏(knowledge distillation, KD)技术的手写汉字识别方法。通过对AT-BLSTM网络的输入向量特征赋予不同的权重,使模型训练数据集更加高效、准确;通过KD技术将一个高性能的大模型获取的知识传输到一个小模型中,在确保模型准确性的同时,减少训练参数和内存占比,得到一个性能更优的轻量级训练模型。该方法通过多组实验对比,汉字识别准确率提高了6.7%,训练参数减少15.94 M。该网络模型识别准确率达到97.9%,汉字识别效果更好。 展开更多
关键词 卷积循环神经网络(CRNN) 手写汉字文本识别 注意力机制 知识蒸馏(KD)
在线阅读 下载PDF
脑电情感识别中多上下文向量优化的卷积递归神经网络 被引量:1
2
作者 晁浩 封舒琪 刘永利 《计算机应用》 CSCD 北大核心 2024年第7期2041-2046,共6页
目前的脑电(EEG)情感识别模型忽略了不同时段情感状态的差异性,未能强化关键的情感信息。针对上述问题,提出一种多上下文向量优化的卷积递归神经网络(CR-MCV)。首先构造脑电信号的特征矩阵序列,通过卷积神经网络(CNN)学习多通道脑电的... 目前的脑电(EEG)情感识别模型忽略了不同时段情感状态的差异性,未能强化关键的情感信息。针对上述问题,提出一种多上下文向量优化的卷积递归神经网络(CR-MCV)。首先构造脑电信号的特征矩阵序列,通过卷积神经网络(CNN)学习多通道脑电的空间特征;然后利用基于多头注意力的递归神经网络生成多上下文向量进行高层抽象特征提取;最后利用全连接层进行情感分类。在DEAP(Database for Emotion Analysis using Physiological signals)数据集上进行实验,CR-MCV在唤醒和效价维度上分类准确率分别为88.09%和89.30%。实验结果表明,CR-MCV在利用电极空间位置信息和不同时段情感状态显著性特征基础上,能够自适应地分配特征的注意力并强化情感状态显著性信息。 展开更多
关键词 多通道脑电信号 情感识别 上下文向量 卷积递归神经网络 多头注意力
在线阅读 下载PDF
基于卷积神经网络和注意力模型的文本情感分析 被引量:64
3
作者 冯兴杰 张志伟 史金钏 《计算机应用研究》 CSCD 北大核心 2018年第5期1434-1436,共3页
针对社交网络数据的文本情感分析,目前常用的研究方法主要是基于传统机器学习算法,根据手工标注好的情感词典,对文本信息使用朴素贝叶斯、支持向量机、最大熵方法等机器学习算法进行情感分析。为了避免对手工方式建立的情感词典的依赖,... 针对社交网络数据的文本情感分析,目前常用的研究方法主要是基于传统机器学习算法,根据手工标注好的情感词典,对文本信息使用朴素贝叶斯、支持向量机、最大熵方法等机器学习算法进行情感分析。为了避免对手工方式建立的情感词典的依赖,减少机器学习过程中的人工干预,提出基于卷积神经网络和注意力模型相结合的方法进行文本情感分析。实验表明,根据准确率、召回率和F_1测度等衡量指标,提出的方法较传统的机器学习方法和单纯的卷积神经网络方法有明显的提高。 展开更多
关键词 社交网络 文本情感分析 卷积神经网络 注意力模型
在线阅读 下载PDF
基于全局上下文和注意力机制深度卷积神经网络的地震数据去噪 被引量:16
4
作者 杨翠倩 周亚同 +2 位作者 何昊 崔焘 王杨 《石油物探》 CSCD 北大核心 2021年第5期751-762,855,共13页
在地震数据处理中,随机噪声压制是提高地震数据信噪比的关键。针对目前卷积神经网络大多关注局部特征以及在特征提取方面的局限性,提出了一种结合全局上下文和注意力机制的深度卷积神经网络(global context and attention-based deep co... 在地震数据处理中,随机噪声压制是提高地震数据信噪比的关键。针对目前卷积神经网络大多关注局部特征以及在特征提取方面的局限性,提出了一种结合全局上下文和注意力机制的深度卷积神经网络(global context and attention-based deep convolutional neural network,GC-ADNet),并用残差学习压制地震数据随机噪声的方法。其中,全局上下文模块(global context block,GCBlock)既关注局部信息,又能提取全局上下文信息;注意力模块(Attention Block)不仅强调关键特征,还能高效提取隐藏在复杂背景中的噪声信息。加入残差学习和批量规范化方法加快了网络的训练和收敛速度,使用扩张卷积扩大上下文信息并降低计算成本。将GC-ADNet应用于合成和实际地震数据处理,并与现有的去噪方法进行了比较。实验结果表明,GC-ADNet能够更有效压制随机噪声,并保留更多局部细节信息。 展开更多
关键词 地震数据 全局上下文 注意力机制 噪声压制 深度卷积神经网络
在线阅读 下载PDF
AM-CNN:一种基于注意力的卷积神经网络文本分类模型 被引量:17
5
作者 王吉俐 彭敦陆 +1 位作者 陈章 刘丛 《小型微型计算机系统》 CSCD 北大核心 2019年第4期710-714,共5页
目前,大多数公开的文本分类数据集是相对平衡的,但对于真实文本分布来说,通常会出现类别极端不平衡的情况,这样的数据集会对模型训练产生影响.针对该问题,论文提出了一种基于卷积神经网络和注意力机制的文本分类算法——AM-CNN(Convolut... 目前,大多数公开的文本分类数据集是相对平衡的,但对于真实文本分布来说,通常会出现类别极端不平衡的情况,这样的数据集会对模型训练产生影响.针对该问题,论文提出了一种基于卷积神经网络和注意力机制的文本分类算法——AM-CNN(Convolutional Neural Network with Attention Mechanism).算法利用循环神经网络捕捉文本的上下文信息,通过引入注意力机制得到文本类别的特征向量矩阵后运用卷积神经网络模型完成文本的分类,以降低在文本分类的训练过程中对小类别的不公平.实验结果表明,该算法对于提高文本分类的精度有较显著的效果. 展开更多
关键词 文本分类 循环神经网络 注意力机制 卷积神经网络 不平衡
在线阅读 下载PDF
融合多重注意力机制的卷积神经网络文本分类设计与实现 被引量:14
6
作者 闫跃 霍其润 +1 位作者 李天昊 毛煜 《小型微型计算机系统》 CSCD 北大核心 2021年第2期362-367,共6页
针对单一的卷积神经网络文本分类模型忽视词语在上下文的语义变化,未对影响文本分类效果的关键特征赋予更高权值的问题,提出了一种融合多重注意力机制的卷积神经网络文本分类模型.该模型将注意力机制分别嵌入卷积神经网络的卷积层前后,... 针对单一的卷积神经网络文本分类模型忽视词语在上下文的语义变化,未对影响文本分类效果的关键特征赋予更高权值的问题,提出了一种融合多重注意力机制的卷积神经网络文本分类模型.该模型将注意力机制分别嵌入卷积神经网络的卷积层前后,对影响文本分类效果的高维特征和低维特征进行权值的重新分配,优化特征提取过程,实现特征向量的精确分类.在池化层采用平均池化和最大池化相结合的方法,从而减少特征图的尺寸,避免过拟合现象的发生,最后使用softmax函数进行分类.本文在三个不同的中英文数据集上进行实验,同时设计注意力机制重要性对比实验,分析自注意力机制与CNN结合对文本分类效果提升的重要性,结果表明该分类模型有效地提高了分类的准确性. 展开更多
关键词 注意力机制 卷积神经网络 特征提取 文本分类
在线阅读 下载PDF
融合卷积神经网络和注意力的评论文本情感分析 被引量:15
7
作者 朱烨 陈世平 《小型微型计算机系统》 CSCD 北大核心 2020年第3期551-557,共7页
针对现有文本情感分析算法中网络模型输入单一,同时缺乏考虑相似文本实例对整体分类效果影响的现状,提出一种融合卷积神经网络和注意力的评论文本情感分析模型.首先,利用KNN算法得到加权文本矩阵,获得相似文本特征,使得分类特征更加丰富... 针对现有文本情感分析算法中网络模型输入单一,同时缺乏考虑相似文本实例对整体分类效果影响的现状,提出一种融合卷积神经网络和注意力的评论文本情感分析模型.首先,利用KNN算法得到加权文本矩阵,获得相似文本特征,使得分类特征更加丰富.然后,通过加权文本矩阵与原始文本矩阵构建注意力,捕获更多关键信息,使模型做出准确的判断.最后,使用双通道卷积神经网络模型对文本情感分类.本文在三个不同的数据集上进行大量实验,表明本算法可以有效利用文本特征间的依赖性,获取更多有用特征.同时根据准确率、召回率、精确率、F1值等衡量指标,表明本文所使用的模型相较于其他算法效果更优,实现了良好的分类性能. 展开更多
关键词 卷积神经网络 KNN算法 注意力机制 文本情感分析
在线阅读 下载PDF
基于多头注意力循环卷积神经网络的电力设备缺陷文本分类方法 被引量:14
8
作者 陆世豪 祝云 周振茂 《广东电力》 2021年第6期30-38,共9页
充分利用历史电力设备缺陷描述文本可对新出现的设备故障进行快速分类,提升运维人员的检修效率,为此针对缺陷描述文本具有复杂语义等特点,提出基于多头注意力循环卷积神经网络(multi-head attention recurrent convolutional neural net... 充分利用历史电力设备缺陷描述文本可对新出现的设备故障进行快速分类,提升运维人员的检修效率,为此针对缺陷描述文本具有复杂语义等特点,提出基于多头注意力循环卷积神经网络(multi-head attention recurrent convolutional neural networks,MAT-RCNN)的电力设备缺陷分类方法。首先对电力设备缺陷描述文本进行研究,并分析部分文本分类模型的局限;然后采用分布式表示方法将词语表示为向量形式,并将多头注意力机制与优化的RCNN结合,构建基于MAT-RCNN的电力设备缺陷描述文本分类模型;最后,通过算例比较分析,证明所提方法在语义学习能力、分类效果等方面优于RNN等常规方法。 展开更多
关键词 多头注意力 循环卷积神经网络 文本分类 电力设备缺陷文本 深度语义学习
在线阅读 下载PDF
最近邻注意力和卷积神经网络的文本分类模型 被引量:5
9
作者 朱烨 陈世平 《小型微型计算机系统》 CSCD 北大核心 2020年第2期375-380,共6页
随着自然语言处理(NLP)的不断发展,深度学习被逐渐运用于文本分类中.然而大多数算法都未有效利用训练文本的实例信息,导致文本特征提取不全面.为了有效利用对象的实例信息,本文提出最近邻注意力和卷积神经网络的文本分类模型(CNN-AKNN)... 随着自然语言处理(NLP)的不断发展,深度学习被逐渐运用于文本分类中.然而大多数算法都未有效利用训练文本的实例信息,导致文本特征提取不全面.为了有效利用对象的实例信息,本文提出最近邻注意力和卷积神经网络的文本分类模型(CNN-AKNN).通过引入基于加权卡方距离的最近邻改进算法训练文本,构建文本对象的注意力,然后将注意力机制与卷积神经网络相结合实现全局特征与局部特征的提取,最后通过softmax函数进行文本分类.本文采用搜狗新闻语料库、中山大学语料库以及英文新闻语料库AG_news进行大量实验,结果表明本文所使用的改进算法相较于基准算法效果更优,更有利于提取模型的隐含特征. 展开更多
关键词 卷积神经网络 注意力机制 最近邻算法 加权卡方距离 文本分类
在线阅读 下载PDF
基于语义理解注意力神经网络的多元特征融合中文文本分类 被引量:29
10
作者 谢金宝 侯永进 +2 位作者 康守强 李佰蔚 张霄 《电子与信息学报》 EI CSCD 北大核心 2018年第5期1258-1265,共8页
在中文文本分类任务中,针对重要特征在中文文本中位置分布分散、稀疏的问题,以及不同文本特征对文本类别识别贡献不同的问题,该文提出一种基于语义理解的注意力神经网络、长短期记忆网络(LSTM)与卷积神经网络(CNN)的多元特征融合中文文... 在中文文本分类任务中,针对重要特征在中文文本中位置分布分散、稀疏的问题,以及不同文本特征对文本类别识别贡献不同的问题,该文提出一种基于语义理解的注意力神经网络、长短期记忆网络(LSTM)与卷积神经网络(CNN)的多元特征融合中文文本分类模型(3CLA)。模型首先通过文本预处理将中文文本分词、向量化。然后,通过嵌入层分别经过CNN通路、LSTM通路和注意力算法模型通路以提取不同层次、具有不同特点的文本特征。最终,文本特征经融合层融合后,由softmax分类器进行分类。基于中文语料进行了文本分类实验。实验结果表明,相较于CNN结构模型与LSTM结构模型,提出的算法模型对中文文本类别的识别能力最多提升约8%。 展开更多
关键词 中文文本分类 多元特征融合 注意力算法 长短期记忆网络 卷积神经网络
在线阅读 下载PDF
基于注意力机制交互卷积神经网络的推荐方法 被引量:5
11
作者 任胜兰 郭慧娟 +2 位作者 黄文豪 汤志宏 亓慧 《计算机科学》 CSCD 北大核心 2022年第10期126-131,共6页
为了捕捉在线购物时用户与商品之间的动态交互关系,提高推荐系统(RS)的准确度,提出了结合用户倾向性和商品吸引力的用户评价预测方法。首先,将评论分为用户评论文本和商品评论文本,分别输入两个交互卷积神经网络(CNN),并结合注意力机制... 为了捕捉在线购物时用户与商品之间的动态交互关系,提高推荐系统(RS)的准确度,提出了结合用户倾向性和商品吸引力的用户评价预测方法。首先,将评论分为用户评论文本和商品评论文本,分别输入两个交互卷积神经网络(CNN),并结合注意力机制,动态捕捉文本中的语义信息和上下文信息,得到用户和商品的自适应特征;然后,利用交互注意力网络,分析商品特征和用户特征的动态交互关系,计算出用户对特定商品的倾向性和商品对特定用户的吸引力;最后,通过预测模块提供用户对商品的准确评价预测。在数据集上进行实验,结果表明,所提方法取得了最优性能,比其他方法的MAE和RMSE性能分别至少提升了15.1%和13.6%。此外,基于Top-K的统计指标进一步验证了所提方法的商品推荐精准度。 展开更多
关键词 推荐系统 用户倾向性 卷积神经网络 交互注意力机制 上下文特征
在线阅读 下载PDF
基于多尺度注意力及卷积递归神经网络的端子排文本识别 被引量:3
12
作者 郭科 白英 +2 位作者 邵雪瑾 王新新 马俊先 《安徽大学学报(自然科学版)》 CAS 北大核心 2022年第6期49-56,共8页
端子排文本识别是实现变电站端子排线路智能巡检的重要环节.端子排编号和电缆套管编号字符稠密、尺度变化大、文本区域界定不明显,给端子排文本识别带来挑战.针对该问题,提出一种基于多尺度注意力及卷积递归神经网络(multi-scale attent... 端子排文本识别是实现变电站端子排线路智能巡检的重要环节.端子排编号和电缆套管编号字符稠密、尺度变化大、文本区域界定不明显,给端子排文本识别带来挑战.针对该问题,提出一种基于多尺度注意力及卷积递归神经网络(multi-scale attention and convolution recurrent neural network,简称MSA-CRNN)方法,用于端子排文本识别.在文本检测阶段,使用多尺度注意力(multi-scale attention,简称MSA)模块对文本进行检测,解决文本区域界定不明显和文字尺度变化大的问题.在字符识别阶段,使用卷积递归神经网络(convolution recurrent neural network,简称CRNN)对文字进行识别,以提高识别的准确率.实验结果表明:相对于其他4种方法,MSA-CRNN方法更适用于端子排文本识别,有更高的计算性能,识别结果更接近人工标注结果. 展开更多
关键词 场景文本识别 文本检测 多尺度注意力 卷积递归神经网络
在线阅读 下载PDF
融入多尺度特征注意力的胶囊神经网络及其在文本分类中的应用 被引量:3
13
作者 王超凡 琚生根 +1 位作者 孙界平 陈润 《中文信息学报》 CSCD 北大核心 2022年第1期65-74,共10页
近些年来,胶囊神经网络(Capsnets)由于拥有强大的文本特征学习能力而被应用到文本分类任务中。目前的研究工作大都将提取到的文本多元语法特征视为同等重要,而忽略了单词所对应的各个多元语法特征的重要程度由具体上下文决定的这一事实... 近些年来,胶囊神经网络(Capsnets)由于拥有强大的文本特征学习能力而被应用到文本分类任务中。目前的研究工作大都将提取到的文本多元语法特征视为同等重要,而忽略了单词所对应的各个多元语法特征的重要程度由具体上下文决定的这一事实,这将直接影响到模型对整个文本的语义理解。针对上述问题,该文提出了多尺度特征部分连接胶囊网络(MulPart-Capsnets)。该方法将多尺度特征注意力融入到Capsnets中,多尺度特征注意力能够自动选择不同尺度的多元语法特征,通过对其进行加权求和,就能为每个单词精确捕捉到丰富的多元语法特征。同时,为了减少子胶囊与父胶囊之间的冗余信息传递,该文也对路由算法进行了改进。该文提出的算法在文本分类任务上针对7个著名的数据集进行了有效性验证,和现有的研究工作相比,性能提高显著,说明该文的算法能够捕获文本中更丰富的多元语法特征,具有更加强大的文本特征学习能力。 展开更多
关键词 胶囊神经网络 多尺度特征注意力 文本分类 路由算法 卷积神经网
在线阅读 下载PDF
融合注意力机制的混合神经网络文本情感分析模型 被引量:12
14
作者 孔韦韦 田乔鑫 +2 位作者 滕金保 王照乾 常亮 《电讯技术》 北大核心 2023年第6期781-789,共9页
以往的文本情感分析模型存在忽略文本边缘信息、池化层破坏文本序列特征的问题,并且特征提取能力与识别关键信息的能力也存在不足。为了进一步提升情感分析的效果,提出了一种基于注意力机制的动态卷积神经网络(Dynamic Convolutional Ne... 以往的文本情感分析模型存在忽略文本边缘信息、池化层破坏文本序列特征的问题,并且特征提取能力与识别关键信息的能力也存在不足。为了进一步提升情感分析的效果,提出了一种基于注意力机制的动态卷积神经网络(Dynamic Convolutional Neural Network,DCNN)与双向门控循环单元(Bi-directional Gated Recurrent Unit,BiGRU)的文本情感分析模型DCNN-BiGRU-Att。首先,利用宽卷积核提取文本边缘特征,采用动态k-max池化保留了文本的相对位置序列特征。其次,构建了DCNN与BiGRU的并行混合结构,避免了部分特征损失问题,并同时保留局部特征与全局上下文信息两种特征,提高了模型的特征提取能力。最后,在特征融合之后引入注意力机制,将注意力机制的作用全局化,提高了模型识别关键信息的能力。将该模型在MR与SST-2两个公开数据集上与多个深度学习模型进行对比,其准确率分别提高了1.27%和1.07%,充分证明了该模型的合理有效性。 展开更多
关键词 文本情感分析 双向门控循环单元(BiGRU) 动态卷积神经网络(DCNN) 注意力机制 特征融合
在线阅读 下载PDF
支持中文医疗问答的基于注意力机制的栈卷积神经网络模型 被引量:4
15
作者 滕腾 潘海为 +3 位作者 张可佳 牟雪莲 张锡明 陈伟鹏 《计算机应用》 CSCD 北大核心 2022年第4期1125-1130,共6页
当前的中文问答匹配技术大多都需要先进行分词,中文医疗文本的分词问题需要维护医学词典来缓解分词错误对后续任务影响,而维护词典需要大量人力和知识,致使分词问题一直具有极大的挑战性。同时,现有的中文医疗问答匹配方法都是对问题和... 当前的中文问答匹配技术大多都需要先进行分词,中文医疗文本的分词问题需要维护医学词典来缓解分词错误对后续任务影响,而维护词典需要大量人力和知识,致使分词问题一直具有极大的挑战性。同时,现有的中文医疗问答匹配方法都是对问题和答案分开建模,并未考虑问题和答案中各自包含的关键词汇间的关联关系。因此,提出了一种基于注意力机制的栈卷积神经网络(Att-StackCNN)模型来解决中文医疗问答匹配问题。首先,使用字嵌入对问题和答案进行编码以得到二者各自的字嵌入矩阵;然后,通过利用问题和答案的字嵌入矩阵构造注意力矩阵来得到二者各自的特征注意力映射矩阵;接着,利用栈卷积神经网络(Stack-CNN)模型同时对上述矩阵进行卷积操作,从而得到问题和答案各自的语义表示;最后,进行相似度计算,并利用相似度计算最大边际损失以更新网络参数。所提模型在cMedQA数据集上的Top-1正确率比Stack-CNN模型高接近1个百分点,比Multi-CNNs模型高接近0.5个百分点。实验结果表明,Att-StackCNN模型可以提升中文医疗问答匹配效果。 展开更多
关键词 字嵌入 注意力 卷积神经网络 中文医疗文本 问答匹配
在线阅读 下载PDF
结合自注意力机制的神经网络文本分类算法研究 被引量:5
16
作者 贾红雨 王宇涵 +1 位作者 丛日晴 林岩 《计算机应用与软件》 北大核心 2020年第2期200-206,共7页
在长文本数据中存在很多与主题不相关词汇,导致这些文本数据具有信息容量大、特征表征不突出等特点。增加这些文本中关键词汇的特征影响,是提高文本分类器性能需要解决的问题。提出一种结合自注意力机制的循环卷积神经网络文本分类模型R... 在长文本数据中存在很多与主题不相关词汇,导致这些文本数据具有信息容量大、特征表征不突出等特点。增加这些文本中关键词汇的特征影响,是提高文本分类器性能需要解决的问题。提出一种结合自注意力机制的循环卷积神经网络文本分类模型RCNN_A。注意力机制对文本词向量计算其对正确分类类别的贡献度,得到注意力矩阵,将注意力矩阵和词向量矩阵相结合作为后续结构的输入。实验结果表明,RCNN_A在10类搜狗新闻数据集上,得到了97.35%的分类正确率,比Bi-LSTM(94.75%)、Bi-GRU(94.25%)、TextCNN(93.31%)、RCNN(95.75%)具有更好的文本分类表现。通过在深度神经网络模型中引入注意力机制,能够有效提升文本分类器性能。 展开更多
关键词 文本分类 注意力机制 深度学习 长短期记忆 卷积神经网络
在线阅读 下载PDF
融合self-attention机制的卷积神经网络文本分类模型 被引量:22
17
作者 邵清 马慧萍 《小型微型计算机系统》 CSCD 北大核心 2019年第6期1137-1141,共5页
传统的文本分类算法采用词向量表示文本,忽视了上下文语境中词义的变化.本文通过引入self-attention机制处理词向量,提出一种卷积神经网络模型与关键词提取技术相结合的文本分类模型.该模型对文档进行self-attention操作,以抽取关键信息... 传统的文本分类算法采用词向量表示文本,忽视了上下文语境中词义的变化.本文通过引入self-attention机制处理词向量,提出一种卷积神经网络模型与关键词提取技术相结合的文本分类模型.该模型对文档进行self-attention操作,以抽取关键信息,构建文档特征图,根据卷积神经网络模型和关键词提取技术实现特征向量的分类.在真实数据集上进行性能分析,并与循环神经网络模型、长短时记忆网络模型进行比较,结果表明该分类模型有效地提高了分类的准确性. 展开更多
关键词 文本分类 卷积神经网络 注意力机制 关键词提取技术
在线阅读 下载PDF
融合卷积神经网络与双向GRU的文本情感分析胶囊模型 被引量:11
18
作者 程艳 孙欢 +3 位作者 陈豪迈 李猛 蔡盈盈 蔡壮 《中文信息学报》 CSCD 北大核心 2021年第5期118-129,共12页
文本情感分析是自然语言处理领域一个重要的分支。现有深度学习方法不能更为全面地提取文本情感特征,且严重依赖于大量的语言知识和情感资源,需要将这些特有的情感信息充分利用使模型达到最佳性能。该文提出了一种融合卷积神经网络与双... 文本情感分析是自然语言处理领域一个重要的分支。现有深度学习方法不能更为全面地提取文本情感特征,且严重依赖于大量的语言知识和情感资源,需要将这些特有的情感信息充分利用使模型达到最佳性能。该文提出了一种融合卷积神经网络与双向GRU网络的文本情感分析胶囊模型。该模型首先使用多头注意力学习单词间的依赖关系、捕获文本中情感词,利用卷积神经网络和双向GRU提取文本不同粒度的情感特征,特征融合后输入全局平均池化层,在得到文本的实例特征表示的同时,针对每个情感类别结合注意力机制生成特征向量构建情感胶囊,最后根据胶囊属性判断文本情感类别。模型在MR、IMDB、SST-5及谭松波酒店评论数据集上进行实验,相比于其他基线模型具有更好的分类效果。 展开更多
关键词 文本情感分析 多头注意力 卷积神经网络 双向门控循环网络 情感胶囊
在线阅读 下载PDF
基于混合神经网络和注意力机制的软件缺陷自动分派方法 被引量:16
19
作者 刘烨 黄金筱 马于涛 《计算机研究与发展》 EI CSCD 北大核心 2020年第3期461-473,共13页
软件缺陷修复是软件质量保证的一个重要环节.在互联网上开源、开放的群智化软件开发环境中,提升缺陷分派的效率和效果,有助于提高缺陷修复率并降低维护成本.目前,基于机器学习的缺陷自动分派方法已成为主流技术,但也存在特征人工构建、... 软件缺陷修复是软件质量保证的一个重要环节.在互联网上开源、开放的群智化软件开发环境中,提升缺陷分派的效率和效果,有助于提高缺陷修复率并降低维护成本.目前,基于机器学习的缺陷自动分派方法已成为主流技术,但也存在特征人工构建、文本表示能力不足等问题.近年来,鉴于深度学习在自然语言处理领域的成功应用,研究者尝试将深度学习技术引入缺陷分派任务中,使得缺陷修复者的预测效果有了显著提高.然而,不同类型的神经网络亦存在各自的局限性.针对上述问题,将缺陷自动分派任务视为文本分类问题,结合卷积神经网络、循环神经网络和注意力机制各自的优势,提出了一种基于混合神经网络和注意力机制的缺陷自动分派方法Atten-CRNN,能更有效地捕获缺陷报告的重要文本特征和序列特征,从而提供更精准的缺陷修复者推荐服务.在Eclipse和Mozilla两个大型的知名软件开源项目中进行了实证研究,在20万量级的缺陷报告上的实验结果表明:无论是否考虑注意力机制,Atten-CRNN的预测准确率要高于基于卷积神经网络和基于循环神经网络的基准模型. 展开更多
关键词 缺陷分派 文本分类 卷积神经网络 循环神经网络 注意力
在线阅读 下载PDF
一种融合BERT和注意力机制的新闻文本分类方法
20
作者 熊亿坤 付雪峰 +2 位作者 盛黄煜 胡昊 汪涛涛 《江西师范大学学报(自然科学版)》 北大核心 2025年第1期49-57,共9页
文本分类任务是在自然语言处理中的一项重要任务,旨在将给定的文本分配到预定义的不同类别或标签中.针对近年来备受关注的注意力机制和一种基于Transformer结构的预训练模型BERT,该文提出一种基于BERT-TextRCNN-Attention混合神经网络... 文本分类任务是在自然语言处理中的一项重要任务,旨在将给定的文本分配到预定义的不同类别或标签中.针对近年来备受关注的注意力机制和一种基于Transformer结构的预训练模型BERT,该文提出一种基于BERT-TextRCNN-Attention混合神经网络的新闻文本分类方法.为了增强文本的特征表示和模型的分类效果,该分类方法首先使用BERT预训练模型对文本进行预训练,并作为TextRCNN的词向量嵌入,其次采用TextRCNN模型和注意力机制进一步对文本的上下文特征和局部关键特征进行提取,再对新闻文本进行分类;最后在THUCNews数据集上进行对比实验.实验结果表明:该文提出方法在准确率和F_(1)值上比Transformer、TextRNN、TextCNN、DPCNN等文本分类模型均有所提升. 展开更多
关键词 BERT模型 基于卷积神经网络文本分类模型 注意力机制 新闻文本分类
在线阅读 下载PDF
上一页 1 2 5 下一页 到第
使用帮助 返回顶部