期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于模态敏感注意力机制的多模态对话模型及应用
1
作者
杜维
朱晓瑛
+4 位作者
许方敏
郑建生
朱福喜
龚鸣敏
李紫玉
《计算机应用研究》
2025年第9期2590-2598,共9页
多模态对话系统采用Transformer、交叉注意力机制和预训练模型等方式融合不同粒度的文本、语音和视频模态,提取出跨模态特征,然而现有研究忽略了不同模态特征对分类任务的敏感差异性,造成过度融合及带来的信息冗余。针对多模态融合的顺...
多模态对话系统采用Transformer、交叉注意力机制和预训练模型等方式融合不同粒度的文本、语音和视频模态,提取出跨模态特征,然而现有研究忽略了不同模态特征对分类任务的敏感差异性,造成过度融合及带来的信息冗余。针对多模态融合的顺序特征对分类结果的影响,提出了基于模态敏感注意力机制的多模态对话模型MDM-MSAM,分为主从模态筛选、双模态跨模态融合和三模态跨模态融合三部分,通过确定主从模态并提取跨双模态特征,与三模态融合特征再融合,形成模态敏感的层次化跨多模态特征。在MintRec和CMU-MOSI数据集上的分类准确率分别比目前性能最好的模型提升了3.15%和3.5%。MDM-MSAM模型部署应用在流程引擎式的多轮对话系统中,取得了良好的应用效果。
展开更多
关键词
多
模态
对话系统
跨
模态
特征
敏感
差异性
模态敏感注意力机制
主从
模态
在线阅读
下载PDF
职称材料
题名
基于模态敏感注意力机制的多模态对话模型及应用
1
作者
杜维
朱晓瑛
许方敏
郑建生
朱福喜
龚鸣敏
李紫玉
机构
武汉学院信息工程学院
出处
《计算机应用研究》
2025年第9期2590-2598,共9页
基金
国家自然科学基金资助项目(42374013)
北京市自然科学基金资助项目(L234080)
+1 种基金
武汉学院科研基金年度计划资助项目(JJA202304)
中国高校产学研创新基金—腾讯科技创新教育专项资助项目(2022TX007)。
文摘
多模态对话系统采用Transformer、交叉注意力机制和预训练模型等方式融合不同粒度的文本、语音和视频模态,提取出跨模态特征,然而现有研究忽略了不同模态特征对分类任务的敏感差异性,造成过度融合及带来的信息冗余。针对多模态融合的顺序特征对分类结果的影响,提出了基于模态敏感注意力机制的多模态对话模型MDM-MSAM,分为主从模态筛选、双模态跨模态融合和三模态跨模态融合三部分,通过确定主从模态并提取跨双模态特征,与三模态融合特征再融合,形成模态敏感的层次化跨多模态特征。在MintRec和CMU-MOSI数据集上的分类准确率分别比目前性能最好的模型提升了3.15%和3.5%。MDM-MSAM模型部署应用在流程引擎式的多轮对话系统中,取得了良好的应用效果。
关键词
多
模态
对话系统
跨
模态
特征
敏感
差异性
模态敏感注意力机制
主从
模态
Keywords
multimodal dialogue system
cross-modal features
sensitive differences
modality-sensitive attention mechanism
master-slave modality
分类号
TP391 [自动化与计算机技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于模态敏感注意力机制的多模态对话模型及应用
杜维
朱晓瑛
许方敏
郑建生
朱福喜
龚鸣敏
李紫玉
《计算机应用研究》
2025
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
