-
题名基于自注意力机制的双向分层语义模型
被引量：1
- 1
-
-
作者
张志远
李庭恩
-
机构
中国民航大学计算机科学与技术学院
-
出处
《计算机工程与设计》
北大核心
2019年第9期2607-2613,共7页
-
基金
国家自然科学基金民航联合基金项目(U1633110)
中央高校基本科研业务费专项基金项目(3122016D021)
-
文摘
针对以文本词向量作为输入的神经网络无法充分利用文本语义结构特征信息、难以有效表示每个词语在句子中的重要程度等问题,提出一种基于自注意力机制的双向分层语义模型Satt-BiHSNN。通过双层双向LSTM将文本词向量进行训练得到文本表示,解决长距离依赖问题;通过自注意力机制从多个视角有效获取每个词语在句子中的重要程度,减少噪音词语权重并获取更多隐藏信息;使用softmax分类器进行文本分类。在IMDB和20Newsgroup数据集上的实验结果表明,该方法在文本分类任务中,较之前基于传统注意力机制的文本分类模型在准确率和收敛速度上有了进一步的提高。
-
关键词
深度学习
文本分类
自注意力机制
循环神经网络
分层语义表示
-
Keywords
deep learning
text classification
self-attention mechanism
recurrent neural network
hierarchical semantic representation
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于双向分层语义模型的多源新闻评论情绪预测
被引量：5
- 2
-
-
作者
张莹
王超
郭文雅
袁晓洁
-
机构
南开大学计算机与控制工程学院
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2018年第5期933-944,共12页
-
基金
国家自然科学基金项目(61402243)
天津市自然科学基金项目(16JCQNJC00500)
+1 种基金
国家"八六三"高技术研究发展计划基金项目(2015AA015401)
教育部-中国移动科研基金项目(MCM20150507)~~
-
文摘
随着在线新闻服务的迅猛发展,用户在阅读新闻后可以非常方便地表达自己的主观情绪,有效分析和预测用户的情绪有助于新闻服务提供商为新闻用户提供更好的服务.情绪标注研究已经取得了很多优秀的成果,但仍然存在着一些问题:1)传统的方法将整个文档看作单词流或词袋,不能对句子间的逻辑关系进行建模,在文档中的句子间包含逻辑关系时,这些方法无法适当地表达文档的语义;2)这些方法只用了文档本身的语义,忽略了与该文档相关的其他信息源中信息,而这些信息源对该文档的语义表达也有一定的影响.为了解决这些问题,提出了一种基于多信息源的在线新闻评论双向分层语义表示模型,称为双向分层语义神经网络(bi-directional hierarchical semantic neural network,Bi-HSNN),该模型既捕获句子中词语所表达的情感,又自底向上地学习文档中句子间的逻辑关系,并利用评论、新闻和用户投票等多种信息源对在线新闻评论的情绪进行标注.在真实数据集上的一系列实验,验证了该模型的有效性.
-
关键词
在线新闻评论
情绪标注
分层语义表示
多信息源
神经网络
-
Keywords
online news comments
emotion tagging
hierarchical semantic representation
multiple information sources
neural networks
-
分类号
TP301.6
[自动化与计算机技术—计算机系统结构]
-
