期刊文献+
共找到267篇文章
< 1 2 14 >
每页显示 20 50 100
基于改进时域卷积网络与多头自注意力机制的间歇过程质量预测模型
1
作者 赵小强 柳勇勇 +1 位作者 惠永永 刘凯 《计算机应用》 北大核心 2025年第7期2245-2252,共8页
为提高时域卷积网络(TCN)在批量大小变化时的训练稳定性,并解决间歇过程质量预测在捕捉长期依赖性和全局关联性上存在不足而导致的预测准确度不高的问题,提出一种基于批量组规范化(BGN)和Mish激活函数改进残差结构的TCN(BMTCN)与多头自... 为提高时域卷积网络(TCN)在批量大小变化时的训练稳定性,并解决间歇过程质量预测在捕捉长期依赖性和全局关联性上存在不足而导致的预测准确度不高的问题,提出一种基于批量组规范化(BGN)和Mish激活函数改进残差结构的TCN(BMTCN)与多头自注意力机制(MHSA)的间歇过程质量预测模型(BMTCN-MHSA)。首先,将间歇过程的三维数据展开为二维矩阵形式,并对数据进行归一化处理,再引入奇异谱分析法(SSA)分解重构数据;其次,在时域卷积的残差部分融入BGN以降低网络模型在批量大小变化时的敏感度,引入Mish激活函数以提高模型的泛化能力,并利用多头自注意力机制对序列中不同位置的特征信息进行关联和权重分配,从而进一步提取序列中的关键特征信息和相互依赖关系,进而更好地捕捉间歇过程的动态特征;最后,使用青霉素仿真实验数据进行实验验证。实验结果表明,相较于TCN模型,BMTCN-MHSA模型的平均绝对误差(MAE)降低了56.86%,均方误差(MSE)降低了48.80%,而决定系数(R2)达到了99.48%,这表明BMTCN-MHSA模型提高了间歇过程质量预测的准确性。 展开更多
关键词 间歇过程 质量预测 奇异谱分析法 时域卷积网络 多头注意机制
在线阅读 下载PDF
基于多头自注意力机制与MLP-Interactor的多模态情感分析
2
作者 林宜山 左景 卢树华 《浙江大学学报(工学版)》 北大核心 2025年第8期1653-1661,1679,共10页
针对多模态情感分析中单模态特征质量较差及多模态特征交互不够充分的问题,提出基于多头自注意力机制和MLP-Interactor的多模态情感分析方法.通过基于多头自注意力机制的模态内特征交互模块,实现单模态内的特征交互,提高单模态特征的质... 针对多模态情感分析中单模态特征质量较差及多模态特征交互不够充分的问题,提出基于多头自注意力机制和MLP-Interactor的多模态情感分析方法.通过基于多头自注意力机制的模态内特征交互模块,实现单模态内的特征交互,提高单模态特征的质量.通过MLP-Interactor机制实现多模态特征之间的充分交互,学习不同模态之间的一致性信息.利用提出方法,在CMU-MOSI和CMU-MOSEI 2个公开数据集上进行大量的实验验证与测试.结果表明,提出方法超越了当前诸多的先进方法,可以有效地提升多模态情感分析的准确性. 展开更多
关键词 多模态情感分析 MLP-Interactor 多头注意机制 特征交互
在线阅读 下载PDF
融合多头自注意力机制的故障命名实体识别
3
作者 王江 剡昌锋 +2 位作者 卢家伟 王瑞民 张永明 《兰州理工大学学报》 北大核心 2025年第4期33-42,共10页
在汽轮发电机组故障诊断知识图谱构建过程中,缺乏公开的命名实体标注语料数据集,案例集中的数据呈现多源异构,专业词汇的关联权重特征提取困难.对此,根据汽轮发电机组故障案例公开资料,构建了汽轮发电机组故障诊断命名实体识别标注语料... 在汽轮发电机组故障诊断知识图谱构建过程中,缺乏公开的命名实体标注语料数据集,案例集中的数据呈现多源异构,专业词汇的关联权重特征提取困难.对此,根据汽轮发电机组故障案例公开资料,构建了汽轮发电机组故障诊断命名实体识别标注语料数据集,提出了融合多头自注意力机制与BERT-BiLSTM-CRF融合的命名实体识别方法.结果表明,该方法能够有效识别专业领域故障实体类别,明显优于其他传统命名实体识别方法,可为汽轮发电机组故障诊断知识图谱和智能辅助决策系统的构建提供保障. 展开更多
关键词 汽轮发电机组 故障诊断 命名实体识别 多头注意机制 知识图谱
在线阅读 下载PDF
基于改进双重压缩和激励与多头特征注意力机制的电-热负荷协同预测
4
作者 余强 韩静娴 +4 位作者 杨子梁 宋济东 杨德昌 齐海杰 于芃 《电力自动化设备》 北大核心 2025年第3期201-208,共8页
综合能源系统中负荷多样且存在耦合,为提升负荷预测精度,提出一种基于改进双重注意力机制的分组卷积神经网络-门控循环单元短期电-热负荷协同预测模型。通过改进的压缩和激励注意力为各输入通道加权,再对其进行分组卷积;利用多头特征注... 综合能源系统中负荷多样且存在耦合,为提升负荷预测精度,提出一种基于改进双重注意力机制的分组卷积神经网络-门控循环单元短期电-热负荷协同预测模型。通过改进的压缩和激励注意力为各输入通道加权,再对其进行分组卷积;利用多头特征注意力对卷积结果进行赋权,并利用输入门控循环单元模型对负荷进行预测。算例仿真结果表明,所提模型的平均绝对百分比误差均低于3%。 展开更多
关键词 综合能源系统 负荷预测 分组卷积神经网络 门控循环单元 改进的压缩和激励注意机制 多头特征注意机制
在线阅读 下载PDF
基于多头注意力机制和TCN-BiLSTM的IGBT剩余寿命预测方法
5
作者 田源 高树国 +2 位作者 邢超 朱瑞敏 姜士哲 《电气工程学报》 北大核心 2025年第3期69-77,共9页
针对电力电子设备精准运维和半导体功率器件的态势感知需求,提出一种基于多头注意力机制(Multi-head attention mechanism,MA)和时域卷积网络(Temporal convolutional network,TCN)-双向长短时记忆(Bidirectional long short-term memor... 针对电力电子设备精准运维和半导体功率器件的态势感知需求,提出一种基于多头注意力机制(Multi-head attention mechanism,MA)和时域卷积网络(Temporal convolutional network,TCN)-双向长短时记忆(Bidirectional long short-term memory,BiLSTM)网络融合的IGBT剩余寿命预测方法。首先,基于IGBT封装模块老化机理的深入分析,设计并搭建加速老化试验平台,通过控制功率循环过程中的结温波动,施加电流加速IGBT模块的老化进程,采用高精度数据采集系统获取特征参量集-射极饱和压降Vce(sat)老化数据。其次,以TCN模型为基础,引入MA和BiLSTM神经网络构建预测模型,对IGBT劣化特征序列进行预测验证。结果表明,在相同条件下,所提模型相对于传统时序预测模型,在不显著增加模型复杂度和计算负担的情况下,具有更高的精度,充分验证了该模型在工程实践中应用于IGBT剩余寿命在线预测的可行性与高效性。 展开更多
关键词 IGBT 时域卷积网络 双向长短时记忆网络 多头注意机制 老化预测
在线阅读 下载PDF
联合TCN和时空多头注意机制的车辆轨迹预测模型
6
作者 宋绍剑 徐佳敏 +1 位作者 李刚 李国进 《计算机工程与应用》 2025年第12期352-358,共7页
车辆轨迹预测为自动驾驶系统提供决策和规划的基础数据,它是自动驾驶过程的一个重要环节。然而,车辆轨迹预测过程存在复杂的空间交互性和时间相关性,给轨迹预测带来了巨大挑战。因此,提出了一种基于时空多头注意机制和时间卷积网络(temp... 车辆轨迹预测为自动驾驶系统提供决策和规划的基础数据,它是自动驾驶过程的一个重要环节。然而,车辆轨迹预测过程存在复杂的空间交互性和时间相关性,给轨迹预测带来了巨大挑战。因此,提出了一种基于时空多头注意机制和时间卷积网络(temporal convolutional network,TCN)的车辆轨迹预测模型。将门控机制和TCN结合,经过多头注意机制后进行堆叠以提取不同层次的时间特征,并分配相应的权重。将相邻车辆的历史轨迹以栅格图的形式进行卷积操作和coordinate attention(CA)操作以提取空间交互特征。预测未来不同机动意图的概率,并将其和提取到的时空特征输入到基于长短期记忆网络(long short-term memory network,LSTM)的解码器中获得未来轨迹。所提模型在下一代仿真(next generation simulation,NGSIM)数据集进行了实验评估。与4种相似模型相比,提出的模型预测误差最高降低了17.8%。 展开更多
关键词 车辆轨迹预测 自动驾驶 时空多头注意机制 时空特征
在线阅读 下载PDF
基于增强多头注意力机制的Optuna-BiGRU测井岩性识别 被引量:5
7
作者 王婷婷 王振豪 +1 位作者 李方 赵万春 《地球科学与环境学报》 CAS 北大核心 2024年第1期127-142,共16页
测井岩性识别是油气勘探开发中至关重要的内容。针对现有算法模型在处理测井曲线数据时,无法有效捕获曲线内部深层关联和深度方向关系、拟合能力较弱、难以准确提取关键特征、噪声干扰以及模型超参数调优过程复杂困难等问题,提出了一种... 测井岩性识别是油气勘探开发中至关重要的内容。针对现有算法模型在处理测井曲线数据时,无法有效捕获曲线内部深层关联和深度方向关系、拟合能力较弱、难以准确提取关键特征、噪声干扰以及模型超参数调优过程复杂困难等问题,提出了一种通过Optuna超参数优化双向门循环单元(Optuna-BiGRU)结合增强多头注意力机制(EMHA)的测井岩性识别模型——Optuna-BiGRU-EMHA模型。该模型引入残差机制和层归一化以改进多头注意力机制模块,并结合双向门循环单元(BiGRU)解决了处理测井数据时的问题,同时使用Optuna超参数优化框架和小波包自适应阈值方法分别解决了超参数调优和噪声干扰问题。首先通过交会图分析和敏感性箱线图分析选取自然伽马、深感应电阻率、中子-密度孔隙度、平均中子-密度孔隙度和岩性密度5个特征参数的测井数据,通过小波包自适应阈值方法对数据进行去噪,并将测井数据分割成数据块,然后利用Optuna框架优化BiGRU-EMHA模型超参数,最后通过实验对比K-近邻算法(KNN)、随机森林(RF)、极端梯度提升算法(XGBoost)、长短期记忆(LSTM)神经网络、BiGRU、双向长短期记忆(BiLSTM)神经网络、BiGRU-MHA、Optuna-BiGRU-EMHA等8种模型在测井岩性识别中的精度。结果表明:Optuna-BiGRU-EMHA模型识别准确率达到80%,相对于传统机器学习模型和深度学习模型,综合岩性识别准确率分别提高15.94%~23.14%和3.93%~15.94%,该模型为常规测井岩性识别提供了坚实的理论支持。 展开更多
关键词 岩性识别 深度学习 BiGRU 增强多头注意机制 小波包自适应阈值 超参数优化
在线阅读 下载PDF
基于多头注意力机制字词联合的中文命名实体识别 被引量:2
8
作者 王进 王猛旗 +2 位作者 张昕跃 孙开伟 朴昌浩 《江苏大学学报(自然科学版)》 CAS 北大核心 2024年第1期77-84,共8页
针对现有基于字词联合的中文命名实体识别方法会引入冗余词汇干扰、模型网络结构复杂、难以迁移的问题,提出一种基于多头注意力机制字词联合的中文命名实体识别算法.算法采用多头注意力机制融合词汇边界信息,并通过分类融合BIE词集降低... 针对现有基于字词联合的中文命名实体识别方法会引入冗余词汇干扰、模型网络结构复杂、难以迁移的问题,提出一种基于多头注意力机制字词联合的中文命名实体识别算法.算法采用多头注意力机制融合词汇边界信息,并通过分类融合BIE词集降低冗余词汇干扰.建立了多头注意力字词联合模型,包含字词匹配、多头注意力、融合等模块.与现有中文命名实体识别方法相比,本算法避免了设计复杂的序列模型,方便与现有基于字的中文命名实体识别模型结合.采用召回率、精确率以及F 1值作为评价指标,通过消融试验验证模型各个部分的效果.结果表明,本算法在MSRA和Weibo数据集上F 1值分别提升0.28、0.69,在Resume数据集上精确率提升0.07. 展开更多
关键词 中文命名实体识别 词汇冗余 词汇边界信息 字词联合 多头注意机制 BIE词集
在线阅读 下载PDF
基于多头注意力机制的CNN⁃BiLSTM高海拔多因素输电线路可听噪声预测 被引量:3
9
作者 黄悦华 张子豪 +2 位作者 陈庆 刘兴韬 涂金童 《高压电器》 CAS CSCD 北大核心 2024年第12期160-169,共10页
为了研究考虑高海拔多环境因素影响下输电线路可听噪声的预测问题,在海拔2400 m高度点的500 kV同塔双回线路下,搭建了边相外20、30、35 m三处可听噪声观测站,同时利用气象站进行多环境因素指标的数据采集。文中提出了一种基于多头注意... 为了研究考虑高海拔多环境因素影响下输电线路可听噪声的预测问题,在海拔2400 m高度点的500 kV同塔双回线路下,搭建了边相外20、30、35 m三处可听噪声观测站,同时利用气象站进行多环境因素指标的数据采集。文中提出了一种基于多头注意力机制(multi⁃head attention,MHA)的卷积神经网络(convolutional neural network,CNN)—双向长短期记忆网络(bi⁃directional long short term memory,BiLSTM)模型进行可听噪声预测。首先,采用皮尔逊相关性分析对多种环境因素数据进行相关程度计算比较与剔除;然后,为充分挖掘可听噪声数据中的时序特征,使用CNN对多环境因素数据进行特征提取;再将提取的特征向量输入到BiLSTM中进行训练,并通过在BiLSTM端引入多头注意力机制,使模型学习权重更高的数据特征,从而提升模型预测精度;结果表明,该方法构建的组合模型可以提升考虑多因素特征可听噪声数据的预测精度,且具有较好的泛化性。 展开更多
关键词 输电线路可听噪声 多环境因素 卷积神经网络 双向长短期记忆网络 多头注意机制
在线阅读 下载PDF
融合Bi-LSTM与多头注意力的分层强化学习推理方法 被引量:3
10
作者 李卫军 刘世侠 +3 位作者 刘雪洋 丁建平 苏易礌 王子怡 《计算机应用研究》 北大核心 2025年第1期71-77,共7页
知识推理作为知识图谱补全中一项重要任务,受到了学术界的广泛关注。针对知识推理可解释性差、不能利用隐藏语义信息和奖励稀疏的问题提出了一种融合Bi-LSTM与多头注意力机制的分层强化学习方法。将知识图谱通过谱聚类分簇,使智能体分... 知识推理作为知识图谱补全中一项重要任务,受到了学术界的广泛关注。针对知识推理可解释性差、不能利用隐藏语义信息和奖励稀疏的问题提出了一种融合Bi-LSTM与多头注意力机制的分层强化学习方法。将知识图谱通过谱聚类分簇,使智能体分别在簇与实体间进行推理,利用Bi-LSTM与多头注意力机制融合模块对智能体的历史信息进行处理,可以更有效地发现和利用知识图谱隐藏的语义信息。Hight智能体通过分层策略网络选择目标实体所在的簇,指导Low智能体进行实体间的推理。利用强化学习智能体可以有效地解决可解释性差的问题,并通过相互奖励机制对两个智能体的动作选择以及搜索路径给予奖励,以解决智能体奖励稀疏的问题。在FB15K-237、WN18RR、NELL-995三个公开数据集上的实验结果表明,提出的方法能够捕捉序列数据中的长期依赖关系对长路径进行推理,并且在推理任务中的性能优于同类方法。 展开更多
关键词 知识推理 分层强化学习 Bi-LSTM 多头注意机制
在线阅读 下载PDF
基于多头注意力机制与长短期记忆网络的自然场景文本识别
11
作者 姚炜 冯宪伟 《传感技术学报》 CSCD 北大核心 2024年第12期2107-2112,共6页
随着计算机视觉和自然语言处理技术的不断发展,自然场景文本检测与识别技术已成为计算机视觉领域的研究热点之一。提出了一种基于多头注意力机制与长短期记忆网络(LSTM)的自然场景文本检测与识别方法。该方法通过结合目标检测算法和序... 随着计算机视觉和自然语言处理技术的不断发展,自然场景文本检测与识别技术已成为计算机视觉领域的研究热点之一。提出了一种基于多头注意力机制与长短期记忆网络(LSTM)的自然场景文本检测与识别方法。该方法通过结合目标检测算法和序列识别算法,利用多头注意力机制对图像中的文本区域进行精确的定位和特征提取,进而通过LSTM网络对提取的特征进行编码和解码,实现对自然场景中文本的准确识别。在文本检测阶段,采用基于深度学习的目标检测算法,结合多头注意力机制,通过并行计算多个独立的注意力头来捕获图像中不同尺度和方向上的文本信息,提高文本检测的准确性和鲁棒性。在文本识别阶段,利用LSTM网络对检测到的文本区域进行序列建模,通过编码和解码过程将图像中的文本信息转化为可读的字符序列。实验结果表明,所提出的方法在自然场景文本检测与识别任务上取得了优异的性能。与现有的方法相比,所提出的方法在准确性和鲁棒性方面均有所提升,尤其是在处理复杂背景和多样化文本时表现出更好的适应性。 展开更多
关键词 文本检测与识别 多头注意机制 自然场景文本 长短期记忆网络
在线阅读 下载PDF
基于深度学习和注意力机制的漏钢预报研究 被引量:1
12
作者 吴恒 张本国 +2 位作者 余浩辰 张瑞忠 范利锋 《冶金能源》 北大核心 2025年第3期61-66,共6页
为提高漏钢预报系统准确度,分析了热电偶的单偶时间序列特征与组偶空间联动特征,采用CNN对数据进行特征提取,再将时间序列温度特征作为BIGRU输入,构建CNN-BIGRU网络,并在输出端前引入MA机制。针对CNN-BIGRU网络易陷入局部最优解问题,利... 为提高漏钢预报系统准确度,分析了热电偶的单偶时间序列特征与组偶空间联动特征,采用CNN对数据进行特征提取,再将时间序列温度特征作为BIGRU输入,构建CNN-BIGRU网络,并在输出端前引入MA机制。针对CNN-BIGRU网络易陷入局部最优解问题,利用BO算法寻找CNN-BIGRU网络最优超参数组合,建立了BO-CNN-BIGRU-MA网络模型,并将其应用到连铸漏钢预报系统。结合实际连铸生产数据,对该漏钢预报模型进行测试。结果表明,该连铸漏钢预报系统的准确率为99.5%,报出率达到100%。 展开更多
关键词 漏钢预报 卷积神经网络 双向门控循环单元网络 贝叶斯优化 多头注意机制
在线阅读 下载PDF
多头自注意力机制的Faster R-CNN目标检测算法 被引量:11
13
作者 文靖杰 王勇 +1 位作者 李金龙 张渝 《现代电子技术》 北大核心 2024年第7期8-16,共9页
文中提出一种融合多头注意力机制、ROIAlign和Soft-NMS的FasterR-CNN目标检测算法,旨在解决原始Faster R-CNN目标检测网络中存在的检测精度低、漏检、误检的问题。首先,为了提高Faster R-CNN的感知能力,提取特征图中的重要特征并降低对... 文中提出一种融合多头注意力机制、ROIAlign和Soft-NMS的FasterR-CNN目标检测算法,旨在解决原始Faster R-CNN目标检测网络中存在的检测精度低、漏检、误检的问题。首先,为了提高Faster R-CNN的感知能力,提取特征图中的重要特征并降低对无关特征的提取,在网络中嵌入注意力机制;接着,针对共享全连接层的降维操作导致的一些区域的细节信息被忽略,造成局部信息的丢失,采用一维卷积代替共享全连接层实现权重计算的任务,以捕捉更广泛的空间信息;然后为了提供更丰富的特征表达能力,在注意力机制中引入多头机制分别对特征的不同部分进行重要性的加权;为了减少在特征提取时原图信息的丢失,使用ROI Align替换ROI Pooling算法;最后,在算法后处理中引入Soft-NMS替换传统非极大抑制(NMS)算法以减少漏检和误检情况。实验证明,改进后的Faster R-CNN目标检测网络对感兴趣目标的定位能力得到提高,漏检和误检情况减少,平均检测精度得到显著提升。 展开更多
关键词 机器视觉 目标检测 Faster R-CNN ROI Align 多头注意机制 Soft-NMS
在线阅读 下载PDF
改进多头注意力机制的车道检测方法 被引量:5
14
作者 葛泽坤 陶发展 +1 位作者 付主木 宋书中 《计算机工程与应用》 CSCD 北大核心 2024年第2期264-271,共8页
针对基于卷积神经网络(convolution neural network,CNN)的车道线检测方法存在的网络处理效率低和对车道线细长结构的建模能力不佳的问题,提出一种基于改进多头注意力机制(multi-head self-attention,MHSA)的轻量级车道检测方法。引入MH... 针对基于卷积神经网络(convolution neural network,CNN)的车道线检测方法存在的网络处理效率低和对车道线细长结构的建模能力不佳的问题,提出一种基于改进多头注意力机制(multi-head self-attention,MHSA)的轻量级车道检测方法。引入MHSA,融合Fuse MBConv、MBConv模块与特征压缩模块,降低模型的参数,同时利用上下文信息嵌入模块,建立兼顾检测精度和推理速度的全局注意力网络;利用Transformer的编码和解码器以及前向反馈网络将车道线参数化,结合匈牙利拟合损失函数提高所提出方法对车道线细长结构的建模能力。在TuSimple数据集对所提出的方法进行验证,结果表明,所提出的方法识别精度达到96.3%,推理速度达到95帧/s,同时在Apollo无人驾驶平台上的运行速度达到60帧/s,能够满足实时检测的要求。 展开更多
关键词 多头注意机制 上下文信息 轻量级车道检测方法 无人驾驶平台
在线阅读 下载PDF
基于马尔可夫转换场与多头注意力机制的电能质量扰动分类方法 被引量:12
15
作者 钱倍奇 陈谦 +2 位作者 李宗源 张政伟 牛应灏 《电网技术》 EI CSCD 北大核心 2024年第2期721-729,共9页
新型电力系统中的电能质量扰动愈加复杂,为提升电能质量复杂扰动分类准确率并增强算法的噪声鲁棒性,提出了一种基于马尔可夫转换场与多头注意力机制的电能质量扰动分类方法。首先,利用马尔可夫转换场对电能质量扰动时序数据进行模态变换... 新型电力系统中的电能质量扰动愈加复杂,为提升电能质量复杂扰动分类准确率并增强算法的噪声鲁棒性,提出了一种基于马尔可夫转换场与多头注意力机制的电能质量扰动分类方法。首先,利用马尔可夫转换场对电能质量扰动时序数据进行模态变换,得到图像模态数据;然后,将图像模态数据输入卷积神经网络进行特征提取;最后,利用多头注意力机制着重关注卷积神经网络提取特征的重要部分并进行扰动分类。与常规的图像模态转换方法相比,该方法具有更好的扰动分类效果与抗噪声能力。 展开更多
关键词 电能质量扰动 深度学习 马尔可夫转换场 多头注意机制
在线阅读 下载PDF
多头注意力机制的图同构网络智能合约源码漏洞检测 被引量:1
16
作者 师自通 师智斌 +2 位作者 刘冬明 雷海卫 龚晓元 《计算机工程与应用》 CSCD 北大核心 2024年第7期258-265,共8页
针对智能合约源码转化为字节码后部分语法、语义丢失,且现有漏洞检测方法精度低、误报率高,特别是对重入漏洞和时间戳漏洞的检测能力有限等问题,提出一种多头注意力机制的图同构网络智能合约源码漏洞检测方法。使用智能合约源码,结合重... 针对智能合约源码转化为字节码后部分语法、语义丢失,且现有漏洞检测方法精度低、误报率高,特别是对重入漏洞和时间戳漏洞的检测能力有限等问题,提出一种多头注意力机制的图同构网络智能合约源码漏洞检测方法。使用智能合约源码,结合重入漏洞和时间戳漏洞特点构建图结构并将其规范化;将规范化后的图结构数据投入图同构网络进行迭代训练,利用该网络强大的节点表示和图表示能力进行漏洞检测;在图同构网络的基础上增加多头注意力机制,进一步增强图同构网络的节点表示能力。实验结果显示该方法对重入漏洞和时间戳漏洞检测准确率达到93.08%和92.30%,相较于普通图同构网络方法分别提升1.44和2.00个百分点。证明该方法对相关漏洞的检测能力要优于其他检测工具。 展开更多
关键词 智能合约 漏洞检测 重入漏洞 时间戳漏洞 图同构网络 多头注意机制
在线阅读 下载PDF
基于字词融合和注意力机制的兽药文本命名实体识别
17
作者 颜士军 朱红梅 +1 位作者 王雅童 张亮 《中国农机化学报》 北大核心 2025年第3期336-342,352,共8页
针对兽药领域信息专业性强、关联性强、局部特征明显和一词多义的特点,以及主流的命名实体识别模型未充分利用词汇信息的问题,提出一种基于字词融合和注意力机制的兽药文本命名实体识别模型。首先,将BERT预训练模型得到的字向量和Word2... 针对兽药领域信息专业性强、关联性强、局部特征明显和一词多义的特点,以及主流的命名实体识别模型未充分利用词汇信息的问题,提出一种基于字词融合和注意力机制的兽药文本命名实体识别模型。首先,将BERT预训练模型得到的字向量和Word2vec得到的词向量融合。然后,在双向长短期记忆网络中提取全局上下文特征的基础上加入多头自注意力机制挖掘序列的局部特征。最后,通过条件随机场获得最佳标签序列来完成实体识别任务。在兽药文本数据集上进行多组对比试验,结果表明,该模型识别的准确率、召回率和F 1值分别为94.73%、95.29%和95.01%,性能均优于对比模型。 展开更多
关键词 兽药文本 命名实体识别 字词融合 多头注意机制
在线阅读 下载PDF
融合坐标与多头注意力机制的交互语音情感识别 被引量:2
18
作者 高鹏淇 黄鹤鸣 樊永红 《计算机应用》 CSCD 北大核心 2024年第8期2400-2406,共7页
语音情感识别(SER)是人机交互系统中一项重要且充满挑战性的任务。针对目前SER系统中存在特征单一和特征间交互性较弱的问题,提出多输入交互注意力网络MIAN。该网络由特定特征坐标残差注意力网络和共享特征多头注意力网络两个子网络组... 语音情感识别(SER)是人机交互系统中一项重要且充满挑战性的任务。针对目前SER系统中存在特征单一和特征间交互性较弱的问题,提出多输入交互注意力网络MIAN。该网络由特定特征坐标残差注意力网络和共享特征多头注意力网络两个子网络组成。前者利用Res2Net和坐标注意力模块学习从原始语音中获取的特定特征,并生成多尺度特征表示,增强模型对情感相关信息的表征能力;后者融合前向网络所获取的特征,组成共享特征,并经双向长短时记忆(BiLSTM)网络输入至多头注意力模块,能同时关注不同特征子空间中的相关信息,增强特征之间的交互性,以捕获判别性强的特征。通过2个子网络间的协同作用,能增加模型特征的多样性,增强特征之间的交互能力。在训练过程中,应用双损失函数共同监督,使同类样本更紧凑、不同类样本更分离。实验结果表明,MIAN在EMO-DB和IEMOCAP语料库上分别取得了91.43%和76.33%的加权平均精度,相较于其他主流模型,具有更好的分类性能。 展开更多
关键词 语音情感识别 坐标注意机制 多头注意机制 特定特征学习 共享特征学习
在线阅读 下载PDF
基于LSTM和多头注意力机制的企业违约预测模型 被引量:2
19
作者 柏凤山 迟国泰 温武军 《管理工程学报》 CSSCI CSCD 北大核心 2024年第3期213-226,共14页
违约预测是指用企业过去时刻的数据和违约状态预测企业未来的违约概率。违约预测对股票投资、债券投资和银行贷款等具有极为重要的意义。本研究涉及两个科学问题:一是如何使用连续多年的企业数据预测企业违约概率;二是研究输入模型的每... 违约预测是指用企业过去时刻的数据和违约状态预测企业未来的违约概率。违约预测对股票投资、债券投资和银行贷款等具有极为重要的意义。本研究涉及两个科学问题:一是如何使用连续多年的企业数据预测企业违约概率;二是研究输入模型的每个时间窗口对违约预测状态的影响程度。用LSTM网络建立违约预测模型,用连续多年的企业数据预测违约概率,改变了违约预测建模时只用一个时间窗口预测违约概率的现状,并首次将多头注意力机制应用于违约预测模型,探索每个时间窗口对违约预测值的影响程度,避免了现有模型只做预测不揭示时间窗口对违约预测影响程度的弊端。研究表明:一是在违约预测建模时考虑企业数据的时序性更合理且会提升模型预测精度;二是违约预测的最佳时间窗口个数可以是5到10之间的数,总体上时间窗口越多违约预测精度越高;三是本文搭建的违约预测模型框架有效减少了违约预测结果的第2类错误,降低了坏客户被预测为好客户的风险。 展开更多
关键词 长短期记忆神经网络 多头注意机制 违约预测
在线阅读 下载PDF
基于卷积变分自编码和多头自注意力机制的断路器剩余机械寿命预测 被引量:3
20
作者 孙曙光 王泽伟 +2 位作者 陈静 黄光临 王景芹 《仪器仪表学报》 EI CAS CSCD 北大核心 2024年第3期106-118,共13页
针对万能式断路器退化过程的不确定性,考虑到振动信号对机械性能退化的完善表征,提出了一种基于卷积变分自编码(CVAE)和多头自注意力机制(MSA)的断路器分闸机械机构寿命预测方法。首先依据断路器不同的事件区间提取参数特征,再通过CVAE... 针对万能式断路器退化过程的不确定性,考虑到振动信号对机械性能退化的完善表征,提出了一种基于卷积变分自编码(CVAE)和多头自注意力机制(MSA)的断路器分闸机械机构寿命预测方法。首先依据断路器不同的事件区间提取参数特征,再通过CVAE挖掘信号成分中的深度特征,将参数特征与深度特征融合得到完备退化特征,最后建立GRU-MSA的定量寿命预测模型,引入了多头自注意力机制,在多个不同表征子空间中捕捉信号的不同依赖关系,对重要的时间步赋予更大的权重。最后利用3台试品的振动信号测量数据对所提断路器分闸机械机构寿命预测方法进行测试,结果表明,所提出的方法在3个数据集中寿命预测均方根误差(RMSE)分别为141.46、128.75和134.16,平均绝对误差(MAE)分别为112.17、101.52和106.22,预测精度高且稳定性好,相对于其他混合预测模型更具优势。 展开更多
关键词 万能式断路器 卷积变分自编码 多头注意机制 剩余寿命预测
在线阅读 下载PDF
上一页 1 2 14 下一页 到第
使用帮助 返回顶部