期刊文献+
共找到5篇文章
< 1 >
每页显示 20 50 100
基于模态敏感注意力机制的多模态对话模型及应用
1
作者 杜维 朱晓瑛 +4 位作者 许方敏 郑建生 朱福喜 龚鸣敏 李紫玉 《计算机应用研究》 2025年第9期2590-2598,共9页
多模态对话系统采用Transformer、交叉注意力机制和预训练模型等方式融合不同粒度的文本、语音和视频模态,提取出跨模态特征,然而现有研究忽略了不同模态特征对分类任务的敏感差异性,造成过度融合及带来的信息冗余。针对多模态融合的顺... 多模态对话系统采用Transformer、交叉注意力机制和预训练模型等方式融合不同粒度的文本、语音和视频模态,提取出跨模态特征,然而现有研究忽略了不同模态特征对分类任务的敏感差异性,造成过度融合及带来的信息冗余。针对多模态融合的顺序特征对分类结果的影响,提出了基于模态敏感注意力机制的多模态对话模型MDM-MSAM,分为主从模态筛选、双模态跨模态融合和三模态跨模态融合三部分,通过确定主从模态并提取跨双模态特征,与三模态融合特征再融合,形成模态敏感的层次化跨多模态特征。在MintRec和CMU-MOSI数据集上的分类准确率分别比目前性能最好的模型提升了3.15%和3.5%。MDM-MSAM模型部署应用在流程引擎式的多轮对话系统中,取得了良好的应用效果。 展开更多
关键词 多模态对话系统 跨模态特征 敏感差异性 模态敏感注意力机制 主从模态
在线阅读 下载PDF
不同引导任务对图-字Stroop效应的影响——对注意力敏感模型的验证 被引量:1
2
作者 熊建萍 张岳瑶 《河南师范大学学报(自然科学版)》 CAS 北大核心 2021年第2期93-99,共7页
将引导任务与图-字Stroop任务相结合,通过考察不同引导任务对Stroop效应的影响来探讨注意是否影响自动化加工,以及如何影响的问题,以进一步验证注意力敏感模型.两个实验的结果发现:引导任务与Stroop任务中的条件匹配之间存在显著的交互... 将引导任务与图-字Stroop任务相结合,通过考察不同引导任务对Stroop效应的影响来探讨注意是否影响自动化加工,以及如何影响的问题,以进一步验证注意力敏感模型.两个实验的结果发现:引导任务与Stroop任务中的条件匹配之间存在显著的交互作用;不同引导任务对Stroop效应量的影响不同,语义引导任务下的Stroop效应量明显高于知觉引导任务;引导任务下的反应时间显著高于无引导任务,正确率恰好相反.结论:实验结果与注意力敏感模型相符.注意系统对自动化加工具有调节作用.这种调节作用是通过增加对相关通路的敏感性,减低无关通路的敏感性来实现的. 展开更多
关键词 引导任务 注意力敏感模型 STROOP效应 自动化加工
在线阅读 下载PDF
基于多级注意力跳跃连接网络的行人属性识别 被引量:8
3
作者 王林 李聪会 《计算机工程》 CAS CSCD 北大核心 2021年第2期314-320,共7页
行人属性识别易受视角、尺度和光照等非理想自然条件变化的影响,且某些细粒度属性识别难度较大。为此,提出一种多级注意力跳跃连接网络MLASC-Net。在网络中间层,利用敏感注意力模块在通道及空间维度上对原特征向量进行筛选加权,设计多... 行人属性识别易受视角、尺度和光照等非理想自然条件变化的影响,且某些细粒度属性识别难度较大。为此,提出一种多级注意力跳跃连接网络MLASC-Net。在网络中间层,利用敏感注意力模块在通道及空间维度上对原特征向量进行筛选加权,设计多级跳跃连接结构来融合所提取的显著性特征。在网络顶层,改进多尺度金字塔池化以融合局部特征和全局特征。在网络输出层,结合验证损失算法自适应更新损失层,加速模型的收敛并提高精度。在PETA和RAP数据集上的实验结果表明,MLASC-Net的识别准确率相较原基准网络分别提高约4.62和6.54个百分点,其在识别效果和模型收敛速度上有明显优势,同时在非理想自然条件下具有良好的泛化能力,可有效提高网络对细粒度属性的鲁棒性。 展开更多
关键词 行人属性识别 多级跳跃连接网络 敏感注意力 多尺度金字塔 残差网络
在线阅读 下载PDF
基于时频感知神经网络的语音频带扩展 被引量:2
4
作者 许春冬 凌贤鹏 +1 位作者 应冬文 王晶 《信号处理》 CSCD 北大核心 2021年第10期2004-2012,共9页
为了进一步提高基于深度学习的语音频带扩展性能,提出了一种基于编解码器的神经网络结构,编码器对数据进行深度特征提取,解码器进行宽带语音重构,并在编解码器中间设计了局部敏感哈希自注意力层,用于增强模型对深度特征的有效选择。编... 为了进一步提高基于深度学习的语音频带扩展性能,提出了一种基于编解码器的神经网络结构,编码器对数据进行深度特征提取,解码器进行宽带语音重构,并在编解码器中间设计了局部敏感哈希自注意力层,用于增强模型对深度特征的有效选择。编解码器内部使用了时间卷积网络,有效提升了模型对语音时序数据上下文依赖关系的学习能力。为了促进模型朝更加准确的方向训练,还提出了一种时频感知损失函数,有利于模型在时域、频域以及感知域获取窄带语音到宽带语音的最优映射解。通过主观和客观实验结果表明,该方法优于传统方法和近几年基于深度神经网络的语音频带扩展方法。 展开更多
关键词 语音频带扩展 时间卷积网络 时频感知目标损失 局部敏感哈希注意力机制
在线阅读 下载PDF
基于Reformer模型的文本情感分析 被引量:2
5
作者 王珊 黄海燕 乔伟涛 《计算机工程与设计》 北大核心 2022年第4期1089-1095,共7页
为提高中文文本情感分析任务的准确率,优化训练时长,提出基于Reformer的文本情感分析模型。利用Reformer模型的上下文语义编码能力,充分获得文本上下文的特征,提高文本分类准确率;在Transformer模型的基础上,引入局部敏感哈希注意力机... 为提高中文文本情感分析任务的准确率,优化训练时长,提出基于Reformer的文本情感分析模型。利用Reformer模型的上下文语义编码能力,充分获得文本上下文的特征,提高文本分类准确率;在Transformer模型的基础上,引入局部敏感哈希注意力机制及可逆残差,降低模型的复杂度及内存的占用。在3个公开数据集上进行实验,实验结果表明,该模型在准确率及训练时间上均优于其它模型。 展开更多
关键词 文本情感分析 深度学习 Reformer模型 局部敏感哈希注意力机制 可逆残差
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部