期刊文献+
共找到260篇文章
< 1 2 13 >
每页显示 20 50 100
基于多头注意力机制和TCN-BiLSTM的IGBT剩余寿命预测方法
1
作者 田源 高树国 +2 位作者 邢超 朱瑞敏 姜士哲 《电气工程学报》 北大核心 2025年第3期69-77,共9页
针对电力电子设备精准运维和半导体功率器件的态势感知需求,提出一种基于多头注意力机制(Multi-head attention mechanism,MA)和时域卷积网络(Temporal convolutional network,TCN)-双向长短时记忆(Bidirectional long short-term memor... 针对电力电子设备精准运维和半导体功率器件的态势感知需求,提出一种基于多头注意力机制(Multi-head attention mechanism,MA)和时域卷积网络(Temporal convolutional network,TCN)-双向长短时记忆(Bidirectional long short-term memory,BiLSTM)网络融合的IGBT剩余寿命预测方法。首先,基于IGBT封装模块老化机理的深入分析,设计并搭建加速老化试验平台,通过控制功率循环过程中的结温波动,施加电流加速IGBT模块的老化进程,采用高精度数据采集系统获取特征参量集-射极饱和压降Vce(sat)老化数据。其次,以TCN模型为基础,引入MA和BiLSTM神经网络构建预测模型,对IGBT劣化特征序列进行预测验证。结果表明,在相同条件下,所提模型相对于传统时序预测模型,在不显著增加模型复杂度和计算负担的情况下,具有更高的精度,充分验证了该模型在工程实践中应用于IGBT剩余寿命在线预测的可行性与高效性。 展开更多
关键词 IGBT 时域卷积网络 双向长短时记忆网络 多头注意力机制 老化预测
在线阅读 下载PDF
基于增强多头注意力机制的Optuna-BiGRU测井岩性识别 被引量:5
2
作者 王婷婷 王振豪 +1 位作者 李方 赵万春 《地球科学与环境学报》 CAS 北大核心 2024年第1期127-142,共16页
测井岩性识别是油气勘探开发中至关重要的内容。针对现有算法模型在处理测井曲线数据时,无法有效捕获曲线内部深层关联和深度方向关系、拟合能力较弱、难以准确提取关键特征、噪声干扰以及模型超参数调优过程复杂困难等问题,提出了一种... 测井岩性识别是油气勘探开发中至关重要的内容。针对现有算法模型在处理测井曲线数据时,无法有效捕获曲线内部深层关联和深度方向关系、拟合能力较弱、难以准确提取关键特征、噪声干扰以及模型超参数调优过程复杂困难等问题,提出了一种通过Optuna超参数优化双向门循环单元(Optuna-BiGRU)结合增强多头注意力机制(EMHA)的测井岩性识别模型——Optuna-BiGRU-EMHA模型。该模型引入残差机制和层归一化以改进多头注意力机制模块,并结合双向门循环单元(BiGRU)解决了处理测井数据时的问题,同时使用Optuna超参数优化框架和小波包自适应阈值方法分别解决了超参数调优和噪声干扰问题。首先通过交会图分析和敏感性箱线图分析选取自然伽马、深感应电阻率、中子-密度孔隙度、平均中子-密度孔隙度和岩性密度5个特征参数的测井数据,通过小波包自适应阈值方法对数据进行去噪,并将测井数据分割成数据块,然后利用Optuna框架优化BiGRU-EMHA模型超参数,最后通过实验对比K-近邻算法(KNN)、随机森林(RF)、极端梯度提升算法(XGBoost)、长短期记忆(LSTM)神经网络、BiGRU、双向长短期记忆(BiLSTM)神经网络、BiGRU-MHA、Optuna-BiGRU-EMHA等8种模型在测井岩性识别中的精度。结果表明:Optuna-BiGRU-EMHA模型识别准确率达到80%,相对于传统机器学习模型和深度学习模型,综合岩性识别准确率分别提高15.94%~23.14%和3.93%~15.94%,该模型为常规测井岩性识别提供了坚实的理论支持。 展开更多
关键词 岩性识别 深度学习 BiGRU 增强多头注意力机制 小波包自适应阈值 超参数优化
在线阅读 下载PDF
基于多头注意力机制字词联合的中文命名实体识别 被引量:2
3
作者 王进 王猛旗 +2 位作者 张昕跃 孙开伟 朴昌浩 《江苏大学学报(自然科学版)》 CAS 北大核心 2024年第1期77-84,共8页
针对现有基于字词联合的中文命名实体识别方法会引入冗余词汇干扰、模型网络结构复杂、难以迁移的问题,提出一种基于多头注意力机制字词联合的中文命名实体识别算法.算法采用多头注意力机制融合词汇边界信息,并通过分类融合BIE词集降低... 针对现有基于字词联合的中文命名实体识别方法会引入冗余词汇干扰、模型网络结构复杂、难以迁移的问题,提出一种基于多头注意力机制字词联合的中文命名实体识别算法.算法采用多头注意力机制融合词汇边界信息,并通过分类融合BIE词集降低冗余词汇干扰.建立了多头注意力字词联合模型,包含字词匹配、多头注意力、融合等模块.与现有中文命名实体识别方法相比,本算法避免了设计复杂的序列模型,方便与现有基于字的中文命名实体识别模型结合.采用召回率、精确率以及F 1值作为评价指标,通过消融试验验证模型各个部分的效果.结果表明,本算法在MSRA和Weibo数据集上F 1值分别提升0.28、0.69,在Resume数据集上精确率提升0.07. 展开更多
关键词 中文命名实体识别 词汇冗余 词汇边界信息 字词联合 多头注意力机制 BIE词集
在线阅读 下载PDF
基于多头注意力机制的CNN⁃BiLSTM高海拔多因素输电线路可听噪声预测 被引量:3
4
作者 黄悦华 张子豪 +2 位作者 陈庆 刘兴韬 涂金童 《高压电器》 CAS CSCD 北大核心 2024年第12期160-169,共10页
为了研究考虑高海拔多环境因素影响下输电线路可听噪声的预测问题,在海拔2400 m高度点的500 kV同塔双回线路下,搭建了边相外20、30、35 m三处可听噪声观测站,同时利用气象站进行多环境因素指标的数据采集。文中提出了一种基于多头注意... 为了研究考虑高海拔多环境因素影响下输电线路可听噪声的预测问题,在海拔2400 m高度点的500 kV同塔双回线路下,搭建了边相外20、30、35 m三处可听噪声观测站,同时利用气象站进行多环境因素指标的数据采集。文中提出了一种基于多头注意力机制(multi⁃head attention,MHA)的卷积神经网络(convolutional neural network,CNN)—双向长短期记忆网络(bi⁃directional long short term memory,BiLSTM)模型进行可听噪声预测。首先,采用皮尔逊相关性分析对多种环境因素数据进行相关程度计算比较与剔除;然后,为充分挖掘可听噪声数据中的时序特征,使用CNN对多环境因素数据进行特征提取;再将提取的特征向量输入到BiLSTM中进行训练,并通过在BiLSTM端引入多头注意力机制,使模型学习权重更高的数据特征,从而提升模型预测精度;结果表明,该方法构建的组合模型可以提升考虑多因素特征可听噪声数据的预测精度,且具有较好的泛化性。 展开更多
关键词 输电线路可听噪声 多环境因素 卷积神经网络 双向长短期记忆网络 多头注意力机制
在线阅读 下载PDF
基于多头注意力机制与长短期记忆网络的自然场景文本识别
5
作者 姚炜 冯宪伟 《传感技术学报》 CSCD 北大核心 2024年第12期2107-2112,共6页
随着计算机视觉和自然语言处理技术的不断发展,自然场景文本检测与识别技术已成为计算机视觉领域的研究热点之一。提出了一种基于多头注意力机制与长短期记忆网络(LSTM)的自然场景文本检测与识别方法。该方法通过结合目标检测算法和序... 随着计算机视觉和自然语言处理技术的不断发展,自然场景文本检测与识别技术已成为计算机视觉领域的研究热点之一。提出了一种基于多头注意力机制与长短期记忆网络(LSTM)的自然场景文本检测与识别方法。该方法通过结合目标检测算法和序列识别算法,利用多头注意力机制对图像中的文本区域进行精确的定位和特征提取,进而通过LSTM网络对提取的特征进行编码和解码,实现对自然场景中文本的准确识别。在文本检测阶段,采用基于深度学习的目标检测算法,结合多头注意力机制,通过并行计算多个独立的注意力头来捕获图像中不同尺度和方向上的文本信息,提高文本检测的准确性和鲁棒性。在文本识别阶段,利用LSTM网络对检测到的文本区域进行序列建模,通过编码和解码过程将图像中的文本信息转化为可读的字符序列。实验结果表明,所提出的方法在自然场景文本检测与识别任务上取得了优异的性能。与现有的方法相比,所提出的方法在准确性和鲁棒性方面均有所提升,尤其是在处理复杂背景和多样化文本时表现出更好的适应性。 展开更多
关键词 文本检测与识别 多头注意力机制 自然场景文本 长短期记忆网络
在线阅读 下载PDF
改进多头注意力机制的车道检测方法 被引量:5
6
作者 葛泽坤 陶发展 +1 位作者 付主木 宋书中 《计算机工程与应用》 CSCD 北大核心 2024年第2期264-271,共8页
针对基于卷积神经网络(convolution neural network,CNN)的车道线检测方法存在的网络处理效率低和对车道线细长结构的建模能力不佳的问题,提出一种基于改进多头注意力机制(multi-head self-attention,MHSA)的轻量级车道检测方法。引入MH... 针对基于卷积神经网络(convolution neural network,CNN)的车道线检测方法存在的网络处理效率低和对车道线细长结构的建模能力不佳的问题,提出一种基于改进多头注意力机制(multi-head self-attention,MHSA)的轻量级车道检测方法。引入MHSA,融合Fuse MBConv、MBConv模块与特征压缩模块,降低模型的参数,同时利用上下文信息嵌入模块,建立兼顾检测精度和推理速度的全局注意力网络;利用Transformer的编码和解码器以及前向反馈网络将车道线参数化,结合匈牙利拟合损失函数提高所提出方法对车道线细长结构的建模能力。在TuSimple数据集对所提出的方法进行验证,结果表明,所提出的方法识别精度达到96.3%,推理速度达到95帧/s,同时在Apollo无人驾驶平台上的运行速度达到60帧/s,能够满足实时检测的要求。 展开更多
关键词 多头注意力机制 上下文信息 轻量级车道检测方法 无人驾驶平台
在线阅读 下载PDF
基于马尔可夫转换场与多头注意力机制的电能质量扰动分类方法 被引量:12
7
作者 钱倍奇 陈谦 +2 位作者 李宗源 张政伟 牛应灏 《电网技术》 EI CSCD 北大核心 2024年第2期721-729,共9页
新型电力系统中的电能质量扰动愈加复杂,为提升电能质量复杂扰动分类准确率并增强算法的噪声鲁棒性,提出了一种基于马尔可夫转换场与多头注意力机制的电能质量扰动分类方法。首先,利用马尔可夫转换场对电能质量扰动时序数据进行模态变换... 新型电力系统中的电能质量扰动愈加复杂,为提升电能质量复杂扰动分类准确率并增强算法的噪声鲁棒性,提出了一种基于马尔可夫转换场与多头注意力机制的电能质量扰动分类方法。首先,利用马尔可夫转换场对电能质量扰动时序数据进行模态变换,得到图像模态数据;然后,将图像模态数据输入卷积神经网络进行特征提取;最后,利用多头注意力机制着重关注卷积神经网络提取特征的重要部分并进行扰动分类。与常规的图像模态转换方法相比,该方法具有更好的扰动分类效果与抗噪声能力。 展开更多
关键词 电能质量扰动 深度学习 马尔可夫转换场 多头注意力机制
在线阅读 下载PDF
多头注意力机制的图同构网络智能合约源码漏洞检测 被引量:1
8
作者 师自通 师智斌 +2 位作者 刘冬明 雷海卫 龚晓元 《计算机工程与应用》 CSCD 北大核心 2024年第7期258-265,共8页
针对智能合约源码转化为字节码后部分语法、语义丢失,且现有漏洞检测方法精度低、误报率高,特别是对重入漏洞和时间戳漏洞的检测能力有限等问题,提出一种多头注意力机制的图同构网络智能合约源码漏洞检测方法。使用智能合约源码,结合重... 针对智能合约源码转化为字节码后部分语法、语义丢失,且现有漏洞检测方法精度低、误报率高,特别是对重入漏洞和时间戳漏洞的检测能力有限等问题,提出一种多头注意力机制的图同构网络智能合约源码漏洞检测方法。使用智能合约源码,结合重入漏洞和时间戳漏洞特点构建图结构并将其规范化;将规范化后的图结构数据投入图同构网络进行迭代训练,利用该网络强大的节点表示和图表示能力进行漏洞检测;在图同构网络的基础上增加多头注意力机制,进一步增强图同构网络的节点表示能力。实验结果显示该方法对重入漏洞和时间戳漏洞检测准确率达到93.08%和92.30%,相较于普通图同构网络方法分别提升1.44和2.00个百分点。证明该方法对相关漏洞的检测能力要优于其他检测工具。 展开更多
关键词 智能合约 漏洞检测 重入漏洞 时间戳漏洞 图同构网络 多头注意力机制
在线阅读 下载PDF
融合坐标与多头注意力机制的交互语音情感识别 被引量:2
9
作者 高鹏淇 黄鹤鸣 樊永红 《计算机应用》 CSCD 北大核心 2024年第8期2400-2406,共7页
语音情感识别(SER)是人机交互系统中一项重要且充满挑战性的任务。针对目前SER系统中存在特征单一和特征间交互性较弱的问题,提出多输入交互注意力网络MIAN。该网络由特定特征坐标残差注意力网络和共享特征多头注意力网络两个子网络组... 语音情感识别(SER)是人机交互系统中一项重要且充满挑战性的任务。针对目前SER系统中存在特征单一和特征间交互性较弱的问题,提出多输入交互注意力网络MIAN。该网络由特定特征坐标残差注意力网络和共享特征多头注意力网络两个子网络组成。前者利用Res2Net和坐标注意力模块学习从原始语音中获取的特定特征,并生成多尺度特征表示,增强模型对情感相关信息的表征能力;后者融合前向网络所获取的特征,组成共享特征,并经双向长短时记忆(BiLSTM)网络输入至多头注意力模块,能同时关注不同特征子空间中的相关信息,增强特征之间的交互性,以捕获判别性强的特征。通过2个子网络间的协同作用,能增加模型特征的多样性,增强特征之间的交互能力。在训练过程中,应用双损失函数共同监督,使同类样本更紧凑、不同类样本更分离。实验结果表明,MIAN在EMO-DB和IEMOCAP语料库上分别取得了91.43%和76.33%的加权平均精度,相较于其他主流模型,具有更好的分类性能。 展开更多
关键词 语音情感识别 坐标注意力机制 多头注意力机制 特定特征学习 共享特征学习
在线阅读 下载PDF
基于LSTM和多头注意力机制的企业违约预测模型 被引量:2
10
作者 柏凤山 迟国泰 温武军 《管理工程学报》 CSSCI CSCD 北大核心 2024年第3期213-226,共14页
违约预测是指用企业过去时刻的数据和违约状态预测企业未来的违约概率。违约预测对股票投资、债券投资和银行贷款等具有极为重要的意义。本研究涉及两个科学问题:一是如何使用连续多年的企业数据预测企业违约概率;二是研究输入模型的每... 违约预测是指用企业过去时刻的数据和违约状态预测企业未来的违约概率。违约预测对股票投资、债券投资和银行贷款等具有极为重要的意义。本研究涉及两个科学问题:一是如何使用连续多年的企业数据预测企业违约概率;二是研究输入模型的每个时间窗口对违约预测状态的影响程度。用LSTM网络建立违约预测模型,用连续多年的企业数据预测违约概率,改变了违约预测建模时只用一个时间窗口预测违约概率的现状,并首次将多头注意力机制应用于违约预测模型,探索每个时间窗口对违约预测值的影响程度,避免了现有模型只做预测不揭示时间窗口对违约预测影响程度的弊端。研究表明:一是在违约预测建模时考虑企业数据的时序性更合理且会提升模型预测精度;二是违约预测的最佳时间窗口个数可以是5到10之间的数,总体上时间窗口越多违约预测精度越高;三是本文搭建的违约预测模型框架有效减少了违约预测结果的第2类错误,降低了坏客户被预测为好客户的风险。 展开更多
关键词 长短期记忆神经网络 多头注意力机制 违约预测
在线阅读 下载PDF
基于BiLSTM和多头注意力机制的超短期电力负荷预测 被引量:1
11
作者 程熙晔 马旭恒 +1 位作者 杨帆 赵赟 《农村电气化》 2024年第12期41-45,共5页
超短期电力负荷预测通过对未来数十分钟到数小时的电力负荷进行准确预测,帮助电力系统实现合理调度和优化运行,确保电力供应与需求平衡。这对于提高电网运行效率、降低成本、减少能源浪费具有重要意义。然而面对非线性较强、变化速度较... 超短期电力负荷预测通过对未来数十分钟到数小时的电力负荷进行准确预测,帮助电力系统实现合理调度和优化运行,确保电力供应与需求平衡。这对于提高电网运行效率、降低成本、减少能源浪费具有重要意义。然而面对非线性较强、变化速度较快的超短期电力负荷时,传统的预测方法精度相对较低。为此,文章提出一种基于BiLSTM和多头注意力机制的神经网络模型的超短期电力负荷预测方法。采用某地区的电力负荷公开数据集验证了模型的精确性和鲁棒性。通过与传统的LSTM和BiLSTM模型的性能对比,证明了文章所提出的网络模型在超短期电力负荷预测中的优越性。 展开更多
关键词 超短期电力负荷预测 BiLSTM网络 多头注意力机制 预测效果
在线阅读 下载PDF
融合多头注意力机制和孪生网络的语义匹配方法 被引量:4
12
作者 臧洁 周万林 王妍 《计算机科学》 CSCD 北大核心 2023年第12期294-301,共8页
考虑企业资源与客户需求匹配问题,现有的方法存在资源和需求封装不够准确以及匹配效果无法满足用户需求等问题。为解决企业资源与需求描述的多样性和歧义性,提出了动态自定义模板封装。针对封装后的需求与资源大多都是中文短文本这一特... 考虑企业资源与客户需求匹配问题,现有的方法存在资源和需求封装不够准确以及匹配效果无法满足用户需求等问题。为解决企业资源与需求描述的多样性和歧义性,提出了动态自定义模板封装。针对封装后的需求与资源大多都是中文短文本这一特点,兼顾句子间语义的差异性和相似性,提出了融合多头注意力机制和孪生网络的交互型文本匹配模型。模型使用字词混向量作为输入增强文本的语义信息,将孪生网络与多头注意力机制相融合,作为独立单元提取上下文的语义特征并使语义特征充分交互。为了验证模型的有效性,在经典数据集LCQMC和自我构建的CSMD数据集上对模型进行了实验,结果表明所提模型在准确率和性能等方面均有不同程度的提升,为企业资源与需求提供了更精准的匹配方法。 展开更多
关键词 自定义模板 语义匹配 孪生网络 多头注意力机制 双向GRU
在线阅读 下载PDF
基于多头注意力机制的用户窃电行为检测 被引量:14
13
作者 肖丁 张玙璠 纪厚业 《计算机科学》 CSCD 北大核心 2022年第1期140-145,共6页
窃电对社会和经济发展造成了重大损害。如何基于电力大数据来检测用户恶意窃电行为,已受到学术界和工业界的广泛关注。针对传统方法依赖于手工特征、行为序列表征不足和检测精度差等问题,提出了一种基于多头注意力机制的窃电检测模型(El... 窃电对社会和经济发展造成了重大损害。如何基于电力大数据来检测用户恶意窃电行为,已受到学术界和工业界的广泛关注。针对传统方法依赖于手工特征、行为序列表征不足和检测精度差等问题,提出了一种基于多头注意力机制的窃电检测模型(Electricity Theft Detection Based on Multi-Head Attention, ETD-MHA)。该模型基于双向门控循环神经网络(Bidirectional Gated Recurrent Unit, BiGRU)充分捕获用户用电行为序列的时序特征,引入多头注意力机制来进一步增强关键特征的区分度,并通过加深网络来提高学习效果。在爱尔兰和中国国家电网智能电表数据集上进行了大量的实验,结果表明,相比传统的逻辑回归(Linear Regression, LR)、支持向量机(Support Vector Machine, SVM)、随机森林(Random Forest, RF)等多种算法,所提模型展现出了明显的优势。例如,在爱尔兰智能电表数据集上,其AUC值相比LR算法最高提升了34.6%。 展开更多
关键词 智能电网 窃电检测 深度学习 门控循环神经网络 多头注意力机制
在线阅读 下载PDF
基于多头注意力机制的飞机发动机寿命预测研究 被引量:8
14
作者 聂磊 徐诗奕 +3 位作者 张吕凡 尹业寒 董正琼 周向东 《推进技术》 EI CAS CSCD 北大核心 2023年第8期192-200,共9页
针对飞机发动机监测参数多和预测模型不能充分提取监测数据的有效信息等问题,基于一维卷积神经网络(1DCNN)、时序卷积神经网络(TCN)和多头注意力机制,提出一种新的网络结构以实现飞机发动机剩余寿命的准确预测。对多维特征参数分别建立... 针对飞机发动机监测参数多和预测模型不能充分提取监测数据的有效信息等问题,基于一维卷积神经网络(1DCNN)、时序卷积神经网络(TCN)和多头注意力机制,提出一种新的网络结构以实现飞机发动机剩余寿命的准确预测。对多维特征参数分别建立一个1DCNN-TCN模型,利用两层1DCNN对飞机发动机的多元传感器信号进行特征提取,利用TCN对特征量的时序信息进行记忆,通过多头注意力机制对多个1DCNN-TCN的输出分别进行加权处理,并拼接最终结果。分析结果表明,采用本文方法得到的RMSE和Score值比目前文献中最优值分别降低了6.84%,63.41%。该方法显著提升了飞机发动机剩余寿命预测的准确性。 展开更多
关键词 飞机发动机 卷积神经网络 时序卷积神经网络 多头注意力机制 剩余寿命
在线阅读 下载PDF
基于多头注意力机制Tree-LSTM的句子语义相似度计算 被引量:20
15
作者 胡艳霞 王成 +2 位作者 李弼程 李海林 吴以茵 《中文信息学报》 CSCD 北大核心 2020年第3期23-33,共11页
针对现有句子语义相似度计算由于缺乏语义结构信息导致精度低的问题,该文在依存关系树的基础上,提出了一种基于多头注意力机制Tree-LSTM(multi-head attention Tree-LSTM,MA-Tree-LSTM)的句子语义相似度计算方法。首先,MA-Tree-LSTM将... 针对现有句子语义相似度计算由于缺乏语义结构信息导致精度低的问题,该文在依存关系树的基础上,提出了一种基于多头注意力机制Tree-LSTM(multi-head attention Tree-LSTM,MA-Tree-LSTM)的句子语义相似度计算方法。首先,MA-Tree-LSTM将外部具有指导意义的特征作为输入,再将输入结合多头注意力机制作用在Tree-LSTM树节点的所有孩子节点上,为每个孩子节点赋予不同的权重值,从而实现多头注意力机制和Tree-LSTM的融合;其次,将三层的MA-Tree-LSTM应用于句子语义相似度计算并实现句子对的相互指导,从而得到句子对语义特征的多层表示;最后联合多层的语义特征建立句子对语义相似度计算模型,从而实现句子对间相关的语义结构特征的充分利用。该文提出的方法鲁棒性强,可解释性强,对句子单词的顺序不敏感,不需要特征工程。在SICK和STS数据集上的实验结果表明,基于MA-Tree-LSTM的句子语义相似度计算的精度优于非注意力机制的Tree-LSTM方法以及融合了多头注意力机制的BiLSTM方法。 展开更多
关键词 句子语义相似度计算 多头注意力机制 Tree-LSTM 语义依存树
在线阅读 下载PDF
基于多头注意力机制的模型层融合维度情感识别方法 被引量:10
16
作者 董永峰 苏海洋 +1 位作者 刘斌 陶建华 《信号处理》 CSCD 北大核心 2021年第5期885-892,共8页
近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合。针对特征层融合存在有效特征提取和模态同步... 近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合。针对特征层融合存在有效特征提取和模态同步的问题、决策层融合存在不同模态特征信息的关联问题,本文采用模型层融合策略,提出了基于多头注意力机制的多模态维度情感识别方法,分别构建音频模型、视频模型和多模态融合模型对信息流进行深层特征学习,最后放入双向长短时网络中得到最终情感预测值。所提方法相比于不同基线方法在激活度和愉悦度上均取得了最佳的性能,可以在高层维度对情感信息有效捕捉,进而更好的对音视频信息进行有效融合。 展开更多
关键词 维度情感识别 多模态情感融合 模型层融合 多头注意力机制
在线阅读 下载PDF
结合多头注意力机制的旅游问句分类研究 被引量:3
17
作者 吴迪 姜丽婷 +3 位作者 王路路 吐尔根·依布拉音 艾山·吾买尔 早克热·卡德尔 《计算机工程与应用》 CSCD 北大核心 2022年第3期165-171,共7页
旅游问句具有长度较短,不严格按照语法规则的特点,导致该文本数据信息容量过少、口语化严重。充分理解问句表达的语义是提高旅游问句分类器性能面临的重要挑战,基于此,提出一个融合Bi-GRU、CNN与Multi-Head-Attention的旅游问句分类模... 旅游问句具有长度较短,不严格按照语法规则的特点,导致该文本数据信息容量过少、口语化严重。充分理解问句表达的语义是提高旅游问句分类器性能面临的重要挑战,基于此,提出一个融合Bi-GRU、CNN与Multi-Head-Attention的旅游问句分类模型。该模型将预先训练的词向量和经Bi-GRU处理得到的语义信息进行融合,进行问句依赖关系学习,通过CNN和Multi-Head-Attention进行特征提取,以加强局部特征的学习,通过Softmax完成分类。实验结果表明,该模型在文本信息少、表述不规范的旅游问句分类任务中F1值达到了92.11%,优于现有的主流分类模型。 展开更多
关键词 自然语言处理 旅游问句分类 双向门控循环单元(Bi-GRU) 卷积神经网络(CNN) 多头注意力机制
在线阅读 下载PDF
基于多头注意力机制的社交网络符号预测 被引量:3
18
作者 颜仕雄 朱焱 李春平 《计算机应用研究》 CSCD 北大核心 2021年第5期1360-1364,共5页
传统符号预测方法缺少处理二阶邻居信息的能力,难以有效提取社交网络用户的低维特征。为了有效融合节点用户邻居信息,提出了一种利用多头注意力机制学习一阶、二阶邻居信息的网络表示学习方法(signed multi-head graph attention networ... 传统符号预测方法缺少处理二阶邻居信息的能力,难以有效提取社交网络用户的低维特征。为了有效融合节点用户邻居信息,提出了一种利用多头注意力机制学习一阶、二阶邻居信息的网络表示学习方法(signed multi-head graph attention network,SMGAT),从而改善社交网络符号预测的效果。首先融合平衡理论和状态理论采样一阶邻居、二阶邻居;然后利用多头注意力机制融合邻居的符号和结构信息,学习节点的低维特征;最后通过逻辑回归分类器实现符号预测。通过在四个真实的符号网络数据集上进行实验,结果证明SMGAT方法能够有效挖掘邻居节点的符号和结构信息,提高社交网络符号预测效果。 展开更多
关键词 符号网络 网络表示学习 多头注意力机制 邻居采样
在线阅读 下载PDF
基于多头注意力机制的BM-Linear信用贷款评估模型 被引量:3
19
作者 赵雪峰 吴德林 +2 位作者 吴伟伟 王世璇 龙森 《系统管理学报》 CSSCI CSCD 北大核心 2023年第1期118-129,共12页
信贷评估模型可加快放贷效率、缩减放贷时间。利用Pytorch深度学习框架,组合Bag-of-Words及Bert中多头注意力机制得到BM-Linear评估模型,同时在引入多组信贷训练集的前提下,创造性地构建参数独立训练及参数共用训练的对比实验,探究BM-Li... 信贷评估模型可加快放贷效率、缩减放贷时间。利用Pytorch深度学习框架,组合Bag-of-Words及Bert中多头注意力机制得到BM-Linear评估模型,同时在引入多组信贷训练集的前提下,创造性地构建参数独立训练及参数共用训练的对比实验,探究BM-Linear的优异性。研究表明:BM-Linear首先弱化与信贷训练集的对应关系,解决信贷模型受限于信贷场景问题,减少因反复训练模型所造成的放贷效率低下现象;其次,忽略缺失特征并将离散特征转为信贷文本,降低特征处理造成的信贷干扰,提高信贷评估效率;最后,克服因词袋与信贷词语对应关系所带来的词向量固化问题,实现动态词向量过程,进而提高评估准确率。所提出的BM-Linear模型,可为信贷机构高效评估快速放贷提供支持。 展开更多
关键词 多头注意力机制 Bert BAG-OF-WORDS 信用贷款 深度学习
在线阅读 下载PDF
基于多头注意力机制和位置信息的xDeepFM推荐模型 被引量:6
20
作者 牛路帅 彭龑 《计算机应用研究》 CSCD 北大核心 2021年第10期3055-3059,共5页
为了解决推荐模型中无法挖掘用户兴趣多样性和捕捉用户行为序列之间的顺序信息,以及交互发生在元素级并非特征向量之间等问题,提出一种基于多头注意力机制和位置信息的xDeepFM推荐模型(extreme deep multiple attention and location in... 为了解决推荐模型中无法挖掘用户兴趣多样性和捕捉用户行为序列之间的顺序信息,以及交互发生在元素级并非特征向量之间等问题,提出一种基于多头注意力机制和位置信息的xDeepFM推荐模型(extreme deep multiple attention and location information factorization machine,xDMALFM)。首先通过多头注意力机制进行不同子空间的特征深度提取,然后利用位置信息去捕捉用户行为序列之间的顺序关系。最后,利用三个公开数据集进行对比实验,以AUC指标进行评估。实验结果表明所提算法相比xDeepFM模型具有更好的推荐性能,验证了其有效性与可行性。 展开更多
关键词 推荐算法 深度学习 位置信息 多头注意力机制 xDeepFM
在线阅读 下载PDF
上一页 1 2 13 下一页 到第
使用帮助 返回顶部