-
题名基于视觉方面注意力的图像文本情感分析模型
被引量：7
- 1
-
-
作者
袁景凌
丁远远
盛德明
李琳
-
机构
武汉理工大学计算机科学与技术学院
-
出处
《计算机科学》
CSCD
北大核心
2022年第1期219-224,共6页
-
基金
国家社会科学基金(15BGL048)。
-
文摘
社交网络已经成为人们日常生活中不可分割的一部分,对社交媒体信息进行情感分析有助于了解人们在社交网站上的观点、态度和情绪。传统情感分析主要依赖文本内容,随着智能手机的兴起,网络上的信息逐渐多样化,除了文本内容,还包括图像。通过研究发现,在多数情况下,图像对文本有着支持增强作用,而不独立于文本来表达情感。文中提出了一种新颖的图像文本情感分析模型(LSTM-VistaNet),具体来说,LSTM-VistaNet模型未将图像信息作为直接输入,而是利用VGG16网络提取图像特征,进一步生成视觉方面注意力,赋予文档中核心句子更高的权重,得到基于视觉方面注意力的文档表示;此外,还使用LSTM模型对文本情感进行提取,得到基于文本的文档表示。最后,将两组分类结果进行融合,以获得最终的分类标签。在Yelp餐馆评论的数据集上,所提模型在精确度上达到了62.08%,比精度较高的模型BiGRU-mVGG提高了18.92%,验证了将视觉信息作为方面注意力辅助文本进行情感分类的有效性;比VistaNet模型提高了0.32%,验证了使用LSTM模型可以有效弥补VistaNet模型中图像无法完全覆盖文本的缺陷。
-
关键词
视觉方面注意力
LSTM
多模态
情感分析
社交图像
-
Keywords
Visual aspect attention
LSTM
Multimodel
Sentiment analysis
Social images
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
-
题名在线评论的静态多模态情感分析
被引量：3
- 2
-
-
作者
王开心
徐秀娟
刘宇
赵哲焕
赵小薇
-
机构
大连理工大学软件学院
大连理工大学辽宁省泛在网络与服务软件重点实验室
-
出处
《应用科学学报》
CAS
CSCD
北大核心
2022年第1期25-35,共11页
-
基金
国家自然科学基金(No.61672128)资助
-
文摘
提出了一种基于Pre-LN Transformer的静态多模态情感分类模型。该模型首先利用Pre-LN Transformer结构中的编码器提取评论文本中的语义特征,其中编码器的多头自注意力机制允许模型在不同的子空间内学到相关情感信息。然后根据ResNet提取评论的图像特征,在特征水平融合的基础上通过视觉方面注意力机制来指导文本的情感分类,实现在线评论的静态多模态情感分析。最后在Yelp数据集上执行情感分类的实验结果表明:所提出的模型在准确率上相比于BiGRU-mVGG、Trans-mVGG模型分别提高了1.34%、1.10%,验证了该方法的有效性和可行性。
-
关键词
情感分析
静态多模态
在线评论
视觉方面注意力
-
Keywords
sentiment analysis
static multimodal
online reviews
visual aspect attention
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
TP391.41
[自动化与计算机技术—计算机应用技术]
-
