-
题名基于卷积与双向简单循环单元的文本分类模型
被引量：2
- 1
-
-
作者
陈天龙
喻国平
姚磊岳
-
机构
南昌大学信息工程学院
江西科技学院协同创新中心
-
出处
《计算机工程与设计》
北大核心
2020年第3期838-844,共7页
-
基金
江西省科技厅科技计划基金项目(20171BBE50060)
江西省教育厅科技计划基金项目(GJJ180978)
南昌市科技局指导性科技计划基金项目(洪科字[2018]39号-73)。
-
文摘
针对基于词粒度的长短时记忆(LSTM)网络模型存在着无法充分学习上下文语义信息的问题,提出一种基于卷积和双向简单循环单元的文本分类模型(Conv-BSA)。利用卷积和局部池化操作提取并筛选n-gram信息,使用双向简单循环单元结构提取文本深层次语义特征,通过注意力机制对深层语义特征进行加权得到最终文本表示,借助softmax函数进行分类,达到高效分辨文本类别的目的。实验结果表明,Conv-BSA模型的分类准确率高达96.09%,优于即有主流模型。简单循环单元(SRU)能够提升分类准确率,降低训练耗时。
-
关键词
卷积层
双向简单循环单元
注意力机制
文本分类
文本表示
-
Keywords
convolutional layer
bidirectional simple recurrent unit
attention mechanism
text classification
text representation
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名结合BERT和卷积双向简单循环网络的文本情感分析
被引量：5
- 2
-
-
作者
黄泽民
吴迎岗
-
机构
广东工业大学计算机学院
-
出处
《计算机应用与软件》
北大核心
2022年第12期213-218,共6页
-
文摘
针对传统预训练模型无法解决多义词表征问题和抽取的情感特征能力不足等问题,提出一种结合BERT和卷积双向简单循环网络的文本情感分类模型。用BERT预训练得到融合句子语境的动态词向量;用多粒度卷积神经网络对词向量特征进行二次抽取,池化后注入局部响应归一化层LRN来归一化特征图,以生成句子整体特征表示;利用双向简单循环单元进一步学习上下文语义信息;使用Softmax回归得出文本的情感倾向。实验结果表明,结合BERT和卷积双向简单循环网络的文本情感分类模型能获得更高的准确率,注入的LRN层和并行化循环网络有效提高模型性能,具有较好的实用价值。
-
关键词
文本情感分析
双向解码器
上下文信息
双向简单循环单元
卷积神经网络
-
Keywords
Text sentiment analysis
BERT
Context information
Bidectional simple recurrent unit
Convolutional neural network
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于混合特征网络的学生评教文本情感分析模型
被引量：3
- 3
-
-
作者
吴奇林
党亚固
熊山威
吉旭
毕可鑫
-
机构
四川大学化学工程学院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2023年第11期24-29,39,共7页
-
基金
国家重点研发计划(2021YFB40005)。
-
文摘
以学生评教文本情感分析任务作为切入点,针对传统基础深度学习模型特征提取能力不足、循环神经网络训练效率较低以及词向量语义表示不准确等问题,提出基于混合特征网络的学生评教文本情感分类算法。采用轻量级ALBERT预训练模型提取符合当前上下文语境的每个词的动态向量表示,解决传统词向量模型存在的一词多义问题,增强向量语义表示的准确性;混合特征网络通过结合简单循环单元和多尺度局部卷积学习模块以及自注意力层,全面捕捉评教文本全局上下文序列特征和不同尺度下的局部语义信息,提升模型的深层次特征表示能力,自注意力机制通过计算每个分类特征对分类结果的重要程度,识别出对情感识别结果影响较大的关键特征,避免无关特征对结果造成干扰,影响分类性能,将分类向量拼接后由线性层输出评教文本情感分类结果。在真实学生评教文本数据集上的实验结果表明,该模型F1值达到97.8%,高于对比的BERT-BiLSTM、BERT-GRU-ATT等深度学习模型。此外,消融实验结果也证明了各模块的有效性。
-
关键词
情感分析
预训练模型
自注意力
双向简单循环单元
多尺度卷积网络
-
Keywords
sentiment analysis
pre-training model
self attention
bidirectional simple recurrent unit
multiscale convolution network
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名结合BERT和BiSRU-AT的中文文本情感分类
被引量：6
- 4
-
-
作者
黄泽民
吴晓鸰
吴迎岗
凌捷
-
机构
广东工业大学计算机学院
-
出处
《计算机工程与科学》
CSCD
北大核心
2021年第9期1668-1675,共8页
-
基金
广东省重点领域研发计划(2019B010139002)
广州市重点领域研发计划(202007010004)。
-
文摘
针对传统语言模型的词向量表示无法解决多义词表征的问题,以及现有情感分析模型不能充分捕获长距离语义信息的问题,提出了一种结合BERT和BiSRU-AT的文本情感分类模型BERT-BiSRU-AT。首先用预训练模型BERT获取融合文本语境的词向量表征;然后利用双向简单循环单元(BiSRU)二次提取语义特征和上下文信息;再利用注意力机制对BiSRU层的输出分配权重以突出重点信息;最后使用Softmax激励函数得出句子级别的情感概率分布。实验采用中文版本的推特数据集和酒店评论数据集。实验结果表明,结合BERT和BiSRU-AT的文本情感分析模型能够获得更高的准确率,双向简单循环模型和注意力机制的引入能有效提高模型的整体性能,有较大的实用价值。
-
关键词
文本情感分析
语义特征
注意力机制
双向简单循环单元
双向解码器
-
Keywords
text emotion analysis
semantic feature
attention mechanism
bidirectional simple recurrent unit
bidirectional encoder
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名面向BSP-CNN的短文本情感倾向性分类研究
被引量：6
- 5
-
-
作者
廖小琴
徐杨
-
机构
贵州大学大数据与信息工程学院
-
出处
《计算机工程与应用》
CSCD
北大核心
2019年第23期120-124,共5页
-
基金
贵州省科技计划项目（黔科合LH字[2016]7429号）
贵州大学引进人才项目（No.2015-12）
-
文摘
针对消费短文本评论中的情感倾向性分类问题,提出了一种BSP-CNN混合神经网络模型。模型先使用双向简单循环单元(BiSRU)对数据进行特征表示,再使用逐点卷积神经网络(P-CNN)进一步学习语义特征,并输出情感倾向性分类结果。实验结果表明,与传统的长短期记忆神经网络(LSTM)和卷积神经网络(CNN)相比,BSPCNN混合神经网络模型有效简化了计算,缩短了运行时间,并且在不同大小和不同文本长度的数据集上均能取得更高的F1值。
-
关键词
情感倾向性分析
双向简单循环单元
逐点卷积神经网络
混合神经网络
-
Keywords
sentiment orientation analysis
bidirectional simple recurrent unit
point-by-point convolutional neural network
hybrid neural network
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
