期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于分层融合策略和上下文信息嵌入的多模态情绪识别
1
作者
孙明龙
欧阳纯萍
+1 位作者
刘永彬
任林
《北京大学学报（自然科学版）》
EI
CAS
CSCD
北大核心
2024年第3期393-402,共10页
现有的多模态融合策略大多将不同模态特征进行简单拼接,忽略了针对单个模态固有特点的个性化融合需求。同时,在情绪识别阶段,独立地看待单个话语的情绪而不考虑其在前后话语语境下的情绪状态,可能导致情绪识别错误。为了解决上述问题,...
现有的多模态融合策略大多将不同模态特征进行简单拼接,忽略了针对单个模态固有特点的个性化融合需求。同时,在情绪识别阶段,独立地看待单个话语的情绪而不考虑其在前后话语语境下的情绪状态,可能导致情绪识别错误。为了解决上述问题,提出一种基于分层融合策略和上下文信息嵌入的多模态情绪识别方法,通过分层融合策略,采用层次递进的方式,依次融合不同的模态特征,以便减少单个模态的噪声干扰并解决不同模态间表达不一致的问题。该方法还充分利用融合后模态的上下文信息,综合考虑单个话语在上下文语境中的情绪表示,以便提升情绪识别的效果。在二分类情绪识别任务中,该方法的准确率比SOTA模型提升1.54%。在多分类情绪识别任务中,该方法的F1值比SOTA模型提升2.79%。
展开更多
关键词
分层融合
噪声干扰
上下文信息嵌入
在线阅读
下载PDF
职称材料
题名
基于分层融合策略和上下文信息嵌入的多模态情绪识别
1
作者
孙明龙
欧阳纯萍
刘永彬
任林
机构
南华大学计算机学院
出处
《北京大学学报（自然科学版）》
EI
CAS
CSCD
北大核心
2024年第3期393-402,共10页
基金
湖南省自然科学基金(2022JJ30495)
湖南省教育厅重点科研项目(22A0316)资助。
文摘
现有的多模态融合策略大多将不同模态特征进行简单拼接,忽略了针对单个模态固有特点的个性化融合需求。同时,在情绪识别阶段,独立地看待单个话语的情绪而不考虑其在前后话语语境下的情绪状态,可能导致情绪识别错误。为了解决上述问题,提出一种基于分层融合策略和上下文信息嵌入的多模态情绪识别方法,通过分层融合策略,采用层次递进的方式,依次融合不同的模态特征,以便减少单个模态的噪声干扰并解决不同模态间表达不一致的问题。该方法还充分利用融合后模态的上下文信息,综合考虑单个话语在上下文语境中的情绪表示,以便提升情绪识别的效果。在二分类情绪识别任务中,该方法的准确率比SOTA模型提升1.54%。在多分类情绪识别任务中,该方法的F1值比SOTA模型提升2.79%。
关键词
分层融合
噪声干扰
上下文信息嵌入
Keywords
hierarchical fusion
noise interference
context information embedding
分类号
TP391.41 [自动化与计算机技术—计算机应用技术]
TP391.1 [自动化与计算机技术—计算机应用技术]
TN912.3 [电子电信—通信与信息系统]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于分层融合策略和上下文信息嵌入的多模态情绪识别
孙明龙
欧阳纯萍
刘永彬
任林
《北京大学学报（自然科学版）》
EI
CAS
CSCD
北大核心
2024
0
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
