期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于情感隐空间学习与CLIP模型的身体动作情感识别方法
1
作者
罗红
慎煜杰
+1 位作者
陈娟娟
王丹
《计算机应用》
CSCD
北大核心
2024年第S2期44-49,共6页
身体动作情感识别的关键是提取人物身体动作蕴含的情感特征。针对现有模型情感特征学习能力较差且情感识别精度难以提升的问题,提出一种基于情感隐空间学习与对比语言-图像预训练(CLIP)模型的身体动作情感识别方法。首先,引入CLIP模型,...
身体动作情感识别的关键是提取人物身体动作蕴含的情感特征。针对现有模型情感特征学习能力较差且情感识别精度难以提升的问题,提出一种基于情感隐空间学习与对比语言-图像预训练(CLIP)模型的身体动作情感识别方法。首先,引入CLIP模型,从而增强模型的情感特征学习能力。其次,针对细粒度多标签情感分类任务,提出情感隐空间学习(ELSL)方法。该方法能通过学习情感隐空间向各个子空间的判别映射,在各个情感子空间上捕获情感类别之间的细微差异和对各情感类别的分类有益的特征信息。在面向真实世界开放场景的肢体语言数据集(BoLD)上的实验结果表明,所提方法充分利用了CLIP模型与隐空间学习在特征学习上的优势,取得了显著的性能提升。具体地,相较于运动分析网络(MANet),所提方法的平均精度均值(mAP)提高了1.08个百分点,平均受试者工作特征曲线下方面积(mRA)提高了1.32个百分点。
展开更多
关键词
身体
动作情感识别
对比语言-图像预训练模型
隐空间学习
提示学习
多标签分类
在线阅读
下载PDF
职称材料
融合音频、文本、表情动作的多模态情感识别
被引量：
14
2
作者
贾宁
郑纯军
《应用科学学报》
CAS
CSCD
北大核心
2023年第1期55-70,共16页
针对机器识别人类情感过程中的精度不高、泛化能力不强等问题,提出了一种基于语音、文本和表情动作的3种模态情感识别融合方法。在语音模态中,设计深度波场延拓和改进波动物理模型,模拟长短期记忆(long short-term memory,LSTM)网络的...
针对机器识别人类情感过程中的精度不高、泛化能力不强等问题,提出了一种基于语音、文本和表情动作的3种模态情感识别融合方法。在语音模态中,设计深度波场延拓和改进波动物理模型,模拟长短期记忆(long short-term memory,LSTM)网络的序列信息挖掘过程;在文本模态中,利用含有多头注意力机制的Transformer模型捕捉语义上潜在的情感表达;在表情动作模态中,将提取面部表情和手部动作的序列特征与双向三层含有注意力机制的LSTM模型相结合。最终提出一种多性能指标下的模态融合方案,以实现高精度的、强泛化能力的情感识别。在通用的交互式情感二元运动捕捉语料库IEMOCAP中,将所提出的方法与现有的情感识别算法进行对比,实验结果表明:所提出的算法在单个模态和多个模态中的识别精度均较高,平均精度改善达到16.4%和10.5%,有效提升了人机交互中情感识别的能力。
展开更多
关键词
语音
情感
识别
文本
情感
识别
动作情感识别
Transformer模型
注意力机制
在线阅读
下载PDF
职称材料
题名
基于情感隐空间学习与CLIP模型的身体动作情感识别方法
1
作者
罗红
慎煜杰
陈娟娟
王丹
机构
中移(杭州)信息技术有限公司
西安电子科技大学杭州研究院
空天地一体化综合业务网全国重点实验室(西安电子科技大学)
出处
《计算机应用》
CSCD
北大核心
2024年第S2期44-49,共6页
文摘
身体动作情感识别的关键是提取人物身体动作蕴含的情感特征。针对现有模型情感特征学习能力较差且情感识别精度难以提升的问题,提出一种基于情感隐空间学习与对比语言-图像预训练(CLIP)模型的身体动作情感识别方法。首先,引入CLIP模型,从而增强模型的情感特征学习能力。其次,针对细粒度多标签情感分类任务,提出情感隐空间学习(ELSL)方法。该方法能通过学习情感隐空间向各个子空间的判别映射,在各个情感子空间上捕获情感类别之间的细微差异和对各情感类别的分类有益的特征信息。在面向真实世界开放场景的肢体语言数据集(BoLD)上的实验结果表明,所提方法充分利用了CLIP模型与隐空间学习在特征学习上的优势,取得了显著的性能提升。具体地,相较于运动分析网络(MANet),所提方法的平均精度均值(mAP)提高了1.08个百分点,平均受试者工作特征曲线下方面积(mRA)提高了1.32个百分点。
关键词
身体
动作情感识别
对比语言-图像预训练模型
隐空间学习
提示学习
多标签分类
Keywords
body movement emotion recognition
Contrastive Language-Image Pre-training(CLIP)model
latent space learning
prompt learning
multi-label classification
分类号
TP391.4 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
融合音频、文本、表情动作的多模态情感识别
被引量：
14
2
作者
贾宁
郑纯军
机构
大连东软信息学院软件学院
出处
《应用科学学报》
CAS
CSCD
北大核心
2023年第1期55-70,共16页
基金
国家重点研发计划项目基金(No.2021YFC3320300)
辽宁省教育厅项目基金(No.LJKQZ2021188,No.JG20DB032)资助。
文摘
针对机器识别人类情感过程中的精度不高、泛化能力不强等问题,提出了一种基于语音、文本和表情动作的3种模态情感识别融合方法。在语音模态中,设计深度波场延拓和改进波动物理模型,模拟长短期记忆(long short-term memory,LSTM)网络的序列信息挖掘过程;在文本模态中,利用含有多头注意力机制的Transformer模型捕捉语义上潜在的情感表达;在表情动作模态中,将提取面部表情和手部动作的序列特征与双向三层含有注意力机制的LSTM模型相结合。最终提出一种多性能指标下的模态融合方案,以实现高精度的、强泛化能力的情感识别。在通用的交互式情感二元运动捕捉语料库IEMOCAP中,将所提出的方法与现有的情感识别算法进行对比,实验结果表明:所提出的算法在单个模态和多个模态中的识别精度均较高,平均精度改善达到16.4%和10.5%,有效提升了人机交互中情感识别的能力。
关键词
语音
情感
识别
文本
情感
识别
动作情感识别
Transformer模型
注意力机制
Keywords
speech emotion recognition
text emotion recognition
motion emotion recognition
Transformer model
attention mechanism
分类号
P751.1 [交通运输工程—港口、海岸及近海工程]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于情感隐空间学习与CLIP模型的身体动作情感识别方法
罗红
慎煜杰
陈娟娟
王丹
《计算机应用》
CSCD
北大核心
2024
0
在线阅读
下载PDF
职称材料
2
融合音频、文本、表情动作的多模态情感识别
贾宁
郑纯军
《应用科学学报》
CAS
CSCD
北大核心
2023
14
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
