-
题名基于多头注意力机制的模型层融合维度情感识别方法
被引量：10
- 1
-
-
作者
董永峰
苏海洋
刘斌
陶建华
-
机构
河北工业大学人工智能与数据科学学院
中国科学院自动化研究所模式识别实验室
-
出处
《信号处理》
CSCD
北大核心
2021年第5期885-892,共8页
-
基金
国家重点研发计划(2017YFB1002804)
国家自然科学基金重点项目(61831022,61771472,61901473,61902106)
+1 种基金
天津市自然科学基金(19JCZDJC40000)
河北省自然科学基金(F2020202028)。
-
文摘
近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合。针对特征层融合存在有效特征提取和模态同步的问题、决策层融合存在不同模态特征信息的关联问题,本文采用模型层融合策略,提出了基于多头注意力机制的多模态维度情感识别方法,分别构建音频模型、视频模型和多模态融合模型对信息流进行深层特征学习,最后放入双向长短时网络中得到最终情感预测值。所提方法相比于不同基线方法在激活度和愉悦度上均取得了最佳的性能,可以在高层维度对情感信息有效捕捉,进而更好的对音视频信息进行有效融合。
-
关键词
维度情感识别
多模态情感融合
模型层融合
多头注意力机制
-
Keywords
dimension emotion recognition
multimodal emotion fusion
model level fusion
Transformer
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
