期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
融合基于语言模型的词嵌入和多尺度卷积神经网络的情感分析
被引量：
28
1
作者
赵亚欧
张家重
+2 位作者
李贻斌
付宪瑞
生伟
《计算机应用》
CSCD
北大核心
2020年第3期651-657,共7页
针对Word2Vec、GloVe等词嵌入技术对多义词只能产生单一语义向量的问题,提出一种融合基于语言模型的词嵌入(ELMo)和多尺度卷积神经网络(MSCNN)的情感分析模型。首先,该模型利用ELMo学习预训练语料,生成上下文相关的词向量;相较于传统词...
针对Word2Vec、GloVe等词嵌入技术对多义词只能产生单一语义向量的问题,提出一种融合基于语言模型的词嵌入(ELMo)和多尺度卷积神经网络(MSCNN)的情感分析模型。首先,该模型利用ELMo学习预训练语料,生成上下文相关的词向量;相较于传统词嵌入技术,ELMo利用双向长短程记忆(LSTM)网络融合词语本身特征和词语上下文特征,能够精确表示多义词的多个不同语义;此外,该模型使用预训练的中文字符向量初始化ELMo的嵌入层,相对于随机初始化,该方法可加快模型的训练速度,提高训练精度;然后,该模型利用多尺度卷积神经网络,对词向量的特征进行二次抽取,并进行特征融合,生成句子的整体语义表示;最后,经过softmax激励函数实现文本情感倾向的分类。实验在公开的酒店评论和NLPCC2014 task2两个数据集上进行,实验结果表明,在酒店评论数据集上与基于注意力的双向LSTM模型相比,该模型正确率提升了1.08个百分点,在NLPCC2014 task2数据集上与LSTM和卷积神经网络(CNN)的混合模型相比,该模型正确率提升了2.16个百分点,证明了所提方法的有效性。
展开更多
关键词
情感分析
自然语言处理
卷积神经网络
ELMo
字向量
在线阅读
下载PDF
职称材料
基于ELMo和Transformer混合模型的情感分析
被引量：
19
2
作者
赵亚欧
张家重
+1 位作者
李贻斌
王玉奎
《中文信息学报》
CSCD
北大核心
2021年第3期115-124,共10页
针对循环神经网络模型无法直接提取句子的双向语义特征,以及传统的词嵌入方法无法有效表示一词多义的问题,该文提出了基于ELMo和Transformer的混合模型用于情感分类。首先,该模型利用ELMo模型生成词向量。基于双向LSTM模型,ELMo能够在...
针对循环神经网络模型无法直接提取句子的双向语义特征,以及传统的词嵌入方法无法有效表示一词多义的问题,该文提出了基于ELMo和Transformer的混合模型用于情感分类。首先,该模型利用ELMo模型生成词向量。基于双向LSTM模型,ELMo能够在词向量中进一步融入词语所在句子的上下文特征,并能针对多义词的不同语义生成不同的语义向量。然后,将得到的ELMo词向量输入Transformer模型进行情感分类。为了实现分类,该文修改了Transformer的Encoder和Decoder结构。ELMo和Transformer的混合模型是循环神经网络和自注意力的组合,两种结构可从不同侧面提取句子的语义特征,得到的语义信息更加全面、丰富。实验结果表明,该方法与当前主流方法相比,在NLPCC2014 Task2数据集上分类正确率提高了3.52%;在酒店评论的4个子数据集上分类正确率分别提高了0.7%、2%、1.98%和1.36%。
展开更多
关键词
情感分析
ELMo模型
Transformer模型
多头自注意力机制
自然语言处理
在线阅读
下载PDF
职称材料
题名
融合基于语言模型的词嵌入和多尺度卷积神经网络的情感分析
被引量：
28
1
作者
赵亚欧
张家重
李贻斌
付宪瑞
生伟
机构
浪潮集团金融信息技术有限公司
济南大学
信息
科学与工程学院
山东大学控制科学与工程学院
出处
《计算机应用》
CSCD
北大核心
2020年第3期651-657,共7页
基金
国家重点研发计划云计算和大数据重点专项(2016YFB1001100,2016YFB1001104)
国家自然科学基金青年项目(61702218)~~
文摘
针对Word2Vec、GloVe等词嵌入技术对多义词只能产生单一语义向量的问题,提出一种融合基于语言模型的词嵌入(ELMo)和多尺度卷积神经网络(MSCNN)的情感分析模型。首先,该模型利用ELMo学习预训练语料,生成上下文相关的词向量;相较于传统词嵌入技术,ELMo利用双向长短程记忆(LSTM)网络融合词语本身特征和词语上下文特征,能够精确表示多义词的多个不同语义;此外,该模型使用预训练的中文字符向量初始化ELMo的嵌入层,相对于随机初始化,该方法可加快模型的训练速度,提高训练精度;然后,该模型利用多尺度卷积神经网络,对词向量的特征进行二次抽取,并进行特征融合,生成句子的整体语义表示;最后,经过softmax激励函数实现文本情感倾向的分类。实验在公开的酒店评论和NLPCC2014 task2两个数据集上进行,实验结果表明,在酒店评论数据集上与基于注意力的双向LSTM模型相比,该模型正确率提升了1.08个百分点,在NLPCC2014 task2数据集上与LSTM和卷积神经网络(CNN)的混合模型相比,该模型正确率提升了2.16个百分点,证明了所提方法的有效性。
关键词
情感分析
自然语言处理
卷积神经网络
ELMo
字向量
Keywords
sentiment analysis
Natural Language Processing(NLP)
Convolutional Neural Network(CNN)
Embedding from Language Model(ELMo)
character embedding
分类号
TP183 [自动化与计算机技术—控制理论与控制工程]
在线阅读
下载PDF
职称材料
题名
基于ELMo和Transformer混合模型的情感分析
被引量：
19
2
作者
赵亚欧
张家重
李贻斌
王玉奎
机构
浪潮集团金融信息技术有限公司
济南大学
信息
科学与工程学院
山东大学控制科学与工程学院
出处
《中文信息学报》
CSCD
北大核心
2021年第3期115-124,共10页
基金
国家重点研发计划云计算和大数据重点专项(2016YFB1001100,2016YFB1001104)
国家自然科学基金青年项目(61702218)。
文摘
针对循环神经网络模型无法直接提取句子的双向语义特征,以及传统的词嵌入方法无法有效表示一词多义的问题,该文提出了基于ELMo和Transformer的混合模型用于情感分类。首先,该模型利用ELMo模型生成词向量。基于双向LSTM模型,ELMo能够在词向量中进一步融入词语所在句子的上下文特征,并能针对多义词的不同语义生成不同的语义向量。然后,将得到的ELMo词向量输入Transformer模型进行情感分类。为了实现分类,该文修改了Transformer的Encoder和Decoder结构。ELMo和Transformer的混合模型是循环神经网络和自注意力的组合,两种结构可从不同侧面提取句子的语义特征,得到的语义信息更加全面、丰富。实验结果表明,该方法与当前主流方法相比,在NLPCC2014 Task2数据集上分类正确率提高了3.52%;在酒店评论的4个子数据集上分类正确率分别提高了0.7%、2%、1.98%和1.36%。
关键词
情感分析
ELMo模型
Transformer模型
多头自注意力机制
自然语言处理
Keywords
sentiment analysis
embeddings from language models
transformer model
multi-heads self-attention mechanism
natural language processing
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
融合基于语言模型的词嵌入和多尺度卷积神经网络的情感分析
赵亚欧
张家重
李贻斌
付宪瑞
生伟
《计算机应用》
CSCD
北大核心
2020
28
在线阅读
下载PDF
职称材料
2
基于ELMo和Transformer混合模型的情感分析
赵亚欧
张家重
李贻斌
王玉奎
《中文信息学报》
CSCD
北大核心
2021
19
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
