-
题名基于注意力的短视频多模态情感分析
被引量：9
- 1
-
-
作者
黄欢
孙力娟
曹莹
郭剑
任恒毅
-
机构
南京邮电大学计算机学院
南京邮电大学江苏省无线传感网高技术重点实验室
河南大学计算机与信息工程学院
-
出处
《图学学报》
CSCD
北大核心
2021年第1期8-14,共7页
-
基金
国家自然科学基金项目(61873131,61702284)
安徽省科技厅面上项目(1908085MF207)
江苏省博士后研究基金项目(2018K009B)。
-
文摘
针对现有的情感分析方法缺乏对短视频中信息的充分考虑,从而导致不恰当的情感分析结果。基于音视频的多模态情感分析(AV-MSA)模型便由此产生,模型通过利用视频帧图像中的视觉特征和音频信息来完成短视频的情感分析。模型分为视觉与音频2分支,音频分支采用卷积神经网络(CNN)架构来提取音频图谱中的情感特征,实现情感分析的目的;视觉分支则采用3D卷积操作来增加视觉特征的时间相关性。并在Resnet的基础上,突出情感相关特征,添加了注意力机制,以提高模型对信息特征的敏感性。最后,设计了一种交叉投票机制用于融合视觉分支和音频分支的结果,产生情感分析的最终结果。AV-MSA模型在IEMOCAP和微博视听(WB-AV)数据集上进行了评估,实验结果表明,与现有算法相比,AV-MSA在分类精确度上有了较大的提升。
-
关键词
多模态情感分析
残差网络
3D卷积神经网络
注意力
决策融合
-
Keywords
multimodal sentiment analysis
ResNet
3D convolutional neural networks
attention
decision fusion
-
分类号
TP751.1
[自动化与计算机技术—检测技术与自动化装置]
-
