期刊文献+
共找到408篇文章
< 1 2 21 >
每页显示 20 50 100
基于循环DBSMOTE和多头注意力机制的风力发电机故障预警体系
1
作者 綦方中 蔡阮昊 曹柬 《太阳能学报》 北大核心 2025年第11期772-782,共11页
在结合传统卷积神经网络(CNN)和长短期记忆网络(LSTM)优势的基础上,提出一种基于循环DBSMOTE和多头注意力机制的风力发电机故障预警组合模型与应用体系。针对风力发电机运行数据集不平衡比率较高的问题,提出并使用一种循环DBSMOTE算法... 在结合传统卷积神经网络(CNN)和长短期记忆网络(LSTM)优势的基础上,提出一种基于循环DBSMOTE和多头注意力机制的风力发电机故障预警组合模型与应用体系。针对风力发电机运行数据集不平衡比率较高的问题,提出并使用一种循环DBSMOTE算法对数据集进行平衡处理。在组合预警模型中,使用CNN和LSTM算法来提取平衡处理后输入数据的空间维度特征和时间维度特征以增加数据挖掘的深度,同时引入多头注意力机制,极大地提升了模型的训练精度和预警性能。通过对采集自实际风场的风力发电机运行数据进行训练,模型在实验中实现了提前期长达32 h的故障预警能力。进一步地,通过消融实验、对比实验和十折交叉验证实验,表明所提出的组合预警模型具有较高的有效性和稳定性。 展开更多
关键词 风力发电机 故障预警 深度学习 循环DBSMOTE 多头注意力机制
在线阅读 下载PDF
基于改进时域卷积网络与多头自注意力机制的间歇过程质量预测模型
2
作者 赵小强 柳勇勇 +1 位作者 惠永永 刘凯 《计算机应用》 北大核心 2025年第7期2245-2252,共8页
为提高时域卷积网络(TCN)在批量大小变化时的训练稳定性,并解决间歇过程质量预测在捕捉长期依赖性和全局关联性上存在不足而导致的预测准确度不高的问题,提出一种基于批量组规范化(BGN)和Mish激活函数改进残差结构的TCN(BMTCN)与多头自... 为提高时域卷积网络(TCN)在批量大小变化时的训练稳定性,并解决间歇过程质量预测在捕捉长期依赖性和全局关联性上存在不足而导致的预测准确度不高的问题,提出一种基于批量组规范化(BGN)和Mish激活函数改进残差结构的TCN(BMTCN)与多头自注意力机制(MHSA)的间歇过程质量预测模型(BMTCN-MHSA)。首先,将间歇过程的三维数据展开为二维矩阵形式,并对数据进行归一化处理,再引入奇异谱分析法(SSA)分解重构数据;其次,在时域卷积的残差部分融入BGN以降低网络模型在批量大小变化时的敏感度,引入Mish激活函数以提高模型的泛化能力,并利用多头自注意力机制对序列中不同位置的特征信息进行关联和权重分配,从而进一步提取序列中的关键特征信息和相互依赖关系,进而更好地捕捉间歇过程的动态特征;最后,使用青霉素仿真实验数据进行实验验证。实验结果表明,相较于TCN模型,BMTCN-MHSA模型的平均绝对误差(MAE)降低了56.86%,均方误差(MSE)降低了48.80%,而决定系数(R2)达到了99.48%,这表明BMTCN-MHSA模型提高了间歇过程质量预测的准确性。 展开更多
关键词 间歇过程 质量预测 奇异谱分析法 时域卷积网络 多头注意力机制
在线阅读 下载PDF
基于改进双重压缩和激励与多头特征注意力机制的电-热负荷协同预测 被引量:1
3
作者 余强 韩静娴 +4 位作者 杨子梁 宋济东 杨德昌 齐海杰 于芃 《电力自动化设备》 北大核心 2025年第3期201-208,共8页
综合能源系统中负荷多样且存在耦合,为提升负荷预测精度,提出一种基于改进双重注意力机制的分组卷积神经网络-门控循环单元短期电-热负荷协同预测模型。通过改进的压缩和激励注意力为各输入通道加权,再对其进行分组卷积;利用多头特征注... 综合能源系统中负荷多样且存在耦合,为提升负荷预测精度,提出一种基于改进双重注意力机制的分组卷积神经网络-门控循环单元短期电-热负荷协同预测模型。通过改进的压缩和激励注意力为各输入通道加权,再对其进行分组卷积;利用多头特征注意力对卷积结果进行赋权,并利用输入门控循环单元模型对负荷进行预测。算例仿真结果表明,所提模型的平均绝对百分比误差均低于3%。 展开更多
关键词 综合能源系统 负荷预测 分组卷积神经网络 门控循环单元 改进的压缩和激励注意力机制 多头特征注意力机制
在线阅读 下载PDF
基于多头自注意力机制与MLP-Interactor的多模态情感分析
4
作者 林宜山 左景 卢树华 《浙江大学学报(工学版)》 北大核心 2025年第8期1653-1661,1679,共10页
针对多模态情感分析中单模态特征质量较差及多模态特征交互不够充分的问题,提出基于多头自注意力机制和MLP-Interactor的多模态情感分析方法.通过基于多头自注意力机制的模态内特征交互模块,实现单模态内的特征交互,提高单模态特征的质... 针对多模态情感分析中单模态特征质量较差及多模态特征交互不够充分的问题,提出基于多头自注意力机制和MLP-Interactor的多模态情感分析方法.通过基于多头自注意力机制的模态内特征交互模块,实现单模态内的特征交互,提高单模态特征的质量.通过MLP-Interactor机制实现多模态特征之间的充分交互,学习不同模态之间的一致性信息.利用提出方法,在CMU-MOSI和CMU-MOSEI 2个公开数据集上进行大量的实验验证与测试.结果表明,提出方法超越了当前诸多的先进方法,可以有效地提升多模态情感分析的准确性. 展开更多
关键词 多模态情感分析 MLP-Interactor 多头注意力机制 特征交互
在线阅读 下载PDF
基于多头注意力机制与词典特征融合的招标文件命名实体识别算法
5
作者 杨华 王宝会 《计算机科学》 北大核心 2025年第S2期56-61,共6页
招标文件的编制和审核,是确保招标过程顺利进行的重要环节。实体识别技术在招标文件审核过程中可以显著提高信息提取的准确性和效率,增强信息的可读性和可检索性。但招标文件内容复杂,专业术语多,长实体识别难度大,传统命名实体识别方... 招标文件的编制和审核,是确保招标过程顺利进行的重要环节。实体识别技术在招标文件审核过程中可以显著提高信息提取的准确性和效率,增强信息的可读性和可检索性。但招标文件内容复杂,专业术语多,长实体识别难度大,传统命名实体识别方法在此类任务中的表现欠佳。为此,提出了一种命名实体识别技术,该技术整合了多头注意力机制、词汇特征融合以及基于RoBERTa的BiLSTM-CRF模型,简称为RoBERTa-DFF-BiLSTM-MHA-CRF。此方法利用RoBERTa模型作为基础输入层,有效提升了对长距离依赖特征的识别能力;通过引入多头自注意力机制,进一步增强了对长跨度实体的识别能力;融合领域专业术语的词典特征,解决了专业术语边界不明显的问题。实验结果表明,该模型在招标文件的命名实体识别任务中显著提升了信息提取的准确性和效率,相较于BERT-BiLSTM-CRF,在Precision上提升了2.49个百分点,在Recall上提升了4.28个百分点,在F1上提升了3.37个百分点,降低了时间和人力成本,为招投标文件的信息提取提供了一种高效的新方案。 展开更多
关键词 招标文件实体识别 多头注意力机制 词典特征融合 Roberta
在线阅读 下载PDF
融合多头自注意力机制的故障命名实体识别
6
作者 王江 剡昌锋 +2 位作者 卢家伟 王瑞民 张永明 《兰州理工大学学报》 北大核心 2025年第4期33-42,共10页
在汽轮发电机组故障诊断知识图谱构建过程中,缺乏公开的命名实体标注语料数据集,案例集中的数据呈现多源异构,专业词汇的关联权重特征提取困难.对此,根据汽轮发电机组故障案例公开资料,构建了汽轮发电机组故障诊断命名实体识别标注语料... 在汽轮发电机组故障诊断知识图谱构建过程中,缺乏公开的命名实体标注语料数据集,案例集中的数据呈现多源异构,专业词汇的关联权重特征提取困难.对此,根据汽轮发电机组故障案例公开资料,构建了汽轮发电机组故障诊断命名实体识别标注语料数据集,提出了融合多头自注意力机制与BERT-BiLSTM-CRF融合的命名实体识别方法.结果表明,该方法能够有效识别专业领域故障实体类别,明显优于其他传统命名实体识别方法,可为汽轮发电机组故障诊断知识图谱和智能辅助决策系统的构建提供保障. 展开更多
关键词 汽轮发电机组 故障诊断 命名实体识别 多头注意力机制 知识图谱
在线阅读 下载PDF
基于多头注意力机制的一致性正则化网络入侵检测方法
7
作者 向泳吉 汪学明 《计算机工程与设计》 北大核心 2025年第10期2850-2857,共8页
现有网络入侵检测数据集通常包含大量弱相关特征并呈现出不平衡现象,导致现有入侵检测模型在辨识少数类别样本的能力不足,出现过拟合问题。针对以上问题提出一种基于多头注意力机制的一致性正则化网络入侵检测方法 (CRLTrans)。该方法利... 现有网络入侵检测数据集通常包含大量弱相关特征并呈现出不平衡现象,导致现有入侵检测模型在辨识少数类别样本的能力不足,出现过拟合问题。针对以上问题提出一种基于多头注意力机制的一致性正则化网络入侵检测方法 (CRLTrans)。该方法利用Transformer的多头注意力机制实现全局特征并行化提取,并采用一致性正则化方法完成模型训练和样本分类。在公开数据集UNR-IDD(2023)上进行多方面评估。实验结果表明,CRL-Trans模型对小样本数据和多数类攻击均有较高的分类准确率,优于同类模型。 展开更多
关键词 入侵检测 不平衡数据 小样本数据 对比学习 特征提取 多头注意力机制 一致性正则化
在线阅读 下载PDF
基于多头集中注意力机制的无监督视频摘要模型
8
作者 李玉洁 贾皓楠 +4 位作者 零俐 周文凯 蒋政 丁数学 谭本英 《济南大学学报(自然科学版)》 北大核心 2025年第4期558-568,共11页
针对现有视频摘要方法在建立长距离帧依赖性和并行化训练方面的局限性问题,提出一种基于多头集中注意力机制的无监督视频摘要模型(MH-CASUM)。将多头注意力机制融入集中注意力模型,改进长度正则化损失函数,优化损失阈值以选择模型参数,... 针对现有视频摘要方法在建立长距离帧依赖性和并行化训练方面的局限性问题,提出一种基于多头集中注意力机制的无监督视频摘要模型(MH-CASUM)。将多头注意力机制融入集中注意力模型,改进长度正则化损失函数,优化损失阈值以选择模型参数,并结合视频帧的唯一性与多样性来丰富摘要信息,从而更高效地完成视频摘要任务。通过在SumMe和TVSum数据集上进行的F_(1)值、Kendall相关系数和Spearman相关系数的评估实验,验证MH-CASUM模型的性能。结果表明:引入的多头注意力机制及在模型参数选择上损失阈值的改进方法使得MH-CASUM模型的视频摘要性能显著提升;与之前表现最佳的无监督视频摘要模型CASUM相比,MH-CASUM在TVSum数据集中的F_(1)值提升0.98%,证明了其在视频摘要任务中的优越性和竞争力。 展开更多
关键词 视频摘要 注意力机制 多头集中注意力 无监督方法
在线阅读 下载PDF
基于多头注意力机制和TCN-BiLSTM的IGBT剩余寿命预测方法
9
作者 田源 高树国 +2 位作者 邢超 朱瑞敏 姜士哲 《电气工程学报》 北大核心 2025年第3期69-77,共9页
针对电力电子设备精准运维和半导体功率器件的态势感知需求,提出一种基于多头注意力机制(Multi-head attention mechanism,MA)和时域卷积网络(Temporal convolutional network,TCN)-双向长短时记忆(Bidirectional long short-term memor... 针对电力电子设备精准运维和半导体功率器件的态势感知需求,提出一种基于多头注意力机制(Multi-head attention mechanism,MA)和时域卷积网络(Temporal convolutional network,TCN)-双向长短时记忆(Bidirectional long short-term memory,BiLSTM)网络融合的IGBT剩余寿命预测方法。首先,基于IGBT封装模块老化机理的深入分析,设计并搭建加速老化试验平台,通过控制功率循环过程中的结温波动,施加电流加速IGBT模块的老化进程,采用高精度数据采集系统获取特征参量集-射极饱和压降Vce(sat)老化数据。其次,以TCN模型为基础,引入MA和BiLSTM神经网络构建预测模型,对IGBT劣化特征序列进行预测验证。结果表明,在相同条件下,所提模型相对于传统时序预测模型,在不显著增加模型复杂度和计算负担的情况下,具有更高的精度,充分验证了该模型在工程实践中应用于IGBT剩余寿命在线预测的可行性与高效性。 展开更多
关键词 IGBT 时域卷积网络 双向长短时记忆网络 多头注意力机制 老化预测
在线阅读 下载PDF
面向多模态皮肤病语料库的可变形分区注意力黑色素瘤识别方法
10
作者 林玉萍 刘梦皎 +3 位作者 王明豪 张栋 许美凤 李策 《兰州理工大学学报》 北大核心 2025年第5期92-99,共8页
针对黑色素瘤图像诊断问题,提出一种基于可变形分区注意力机制的黑色素瘤识别方法.该方法采用由粗到细的特征提取与识别策略准确区分黑色素瘤和普通痣并建立相应语义标签,在此基础上结合病例文本构建多模态皮肤病语料库.首先,为解决良... 针对黑色素瘤图像诊断问题,提出一种基于可变形分区注意力机制的黑色素瘤识别方法.该方法采用由粗到细的特征提取与识别策略准确区分黑色素瘤和普通痣并建立相应语义标签,在此基础上结合病例文本构建多模态皮肤病语料库.首先,为解决良性与恶性子类别间差异过大导致模型训练困难及识别效率低的问题,构建了一个从粗类到细类层级深入的学习架构;其次,针对病灶边缘模糊、分布不均以及特征提取难的问题,提出了一种融合注意力机制与可变形卷积的可变形分区注意力模块,通过由粗到细的特征提取策略实现了全局与局部特征的有效结合;此外,引入了联合损失函数优化模型识别精准性.实验结果表明,该算法在自建数据集上展现了高敏感性和高特异性,有效提升了病例文本和医学影像匹配构建多模态皮肤病语料库的准确性. 展开更多
关键词 医学图像处理 黑色素瘤识别 可变形卷积 注意力机制 深度学习 多模态语料库
在线阅读 下载PDF
基于ConvNeXt和可变形交叉注意力的多模态3D目标检测方法
11
作者 周鹏 宋志强 +2 位作者 胡凯 宋利鹏 李明阳 《电子测量技术》 北大核心 2025年第12期63-70,共8页
近年来,随着新能源汽车的快速发展,3D目标检测作为自动驾驶技术的核心基础正变得愈发重要。融合雷达点云与图像等多模态信息的策略,能够显著提升目标检测的准确性与鲁棒性。受BEVDet启发,本研究提出了一种基于BEV(鸟瞰图)视角的改进多... 近年来,随着新能源汽车的快速发展,3D目标检测作为自动驾驶技术的核心基础正变得愈发重要。融合雷达点云与图像等多模态信息的策略,能够显著提升目标检测的准确性与鲁棒性。受BEVDet启发,本研究提出了一种基于BEV(鸟瞰图)视角的改进多模态融合3D目标检测方法。该方法采用ConvNeXt网络结合FPN-DCN结构高效提取图像特征,并通过可变形交叉注意力机制实现图像与点云数据的深度融合,从而进一步提升模型的检测精度。在nuScenes自动驾驶数据集上的实验表明,本研究模型性能优异,在测试集上的NDS达到了64.9%,显著超越了大多数现有检测方法。 展开更多
关键词 自动驾驶 3D目标检测 多模态融合 可变形交叉注意力机制
在线阅读 下载PDF
基于多头注意力机制字词联合的中文命名实体识别 被引量:4
12
作者 王进 王猛旗 +2 位作者 张昕跃 孙开伟 朴昌浩 《江苏大学学报(自然科学版)》 CAS 北大核心 2024年第1期77-84,共8页
针对现有基于字词联合的中文命名实体识别方法会引入冗余词汇干扰、模型网络结构复杂、难以迁移的问题,提出一种基于多头注意力机制字词联合的中文命名实体识别算法.算法采用多头注意力机制融合词汇边界信息,并通过分类融合BIE词集降低... 针对现有基于字词联合的中文命名实体识别方法会引入冗余词汇干扰、模型网络结构复杂、难以迁移的问题,提出一种基于多头注意力机制字词联合的中文命名实体识别算法.算法采用多头注意力机制融合词汇边界信息,并通过分类融合BIE词集降低冗余词汇干扰.建立了多头注意力字词联合模型,包含字词匹配、多头注意力、融合等模块.与现有中文命名实体识别方法相比,本算法避免了设计复杂的序列模型,方便与现有基于字的中文命名实体识别模型结合.采用召回率、精确率以及F 1值作为评价指标,通过消融试验验证模型各个部分的效果.结果表明,本算法在MSRA和Weibo数据集上F 1值分别提升0.28、0.69,在Resume数据集上精确率提升0.07. 展开更多
关键词 中文命名实体识别 词汇冗余 词汇边界信息 字词联合 多头注意力机制 BIE词集
在线阅读 下载PDF
基于增强多头注意力机制的Optuna-BiGRU测井岩性识别 被引量:7
13
作者 王婷婷 王振豪 +1 位作者 李方 赵万春 《地球科学与环境学报》 CAS 北大核心 2024年第1期127-142,共16页
测井岩性识别是油气勘探开发中至关重要的内容。针对现有算法模型在处理测井曲线数据时,无法有效捕获曲线内部深层关联和深度方向关系、拟合能力较弱、难以准确提取关键特征、噪声干扰以及模型超参数调优过程复杂困难等问题,提出了一种... 测井岩性识别是油气勘探开发中至关重要的内容。针对现有算法模型在处理测井曲线数据时,无法有效捕获曲线内部深层关联和深度方向关系、拟合能力较弱、难以准确提取关键特征、噪声干扰以及模型超参数调优过程复杂困难等问题,提出了一种通过Optuna超参数优化双向门循环单元(Optuna-BiGRU)结合增强多头注意力机制(EMHA)的测井岩性识别模型——Optuna-BiGRU-EMHA模型。该模型引入残差机制和层归一化以改进多头注意力机制模块,并结合双向门循环单元(BiGRU)解决了处理测井数据时的问题,同时使用Optuna超参数优化框架和小波包自适应阈值方法分别解决了超参数调优和噪声干扰问题。首先通过交会图分析和敏感性箱线图分析选取自然伽马、深感应电阻率、中子-密度孔隙度、平均中子-密度孔隙度和岩性密度5个特征参数的测井数据,通过小波包自适应阈值方法对数据进行去噪,并将测井数据分割成数据块,然后利用Optuna框架优化BiGRU-EMHA模型超参数,最后通过实验对比K-近邻算法(KNN)、随机森林(RF)、极端梯度提升算法(XGBoost)、长短期记忆(LSTM)神经网络、BiGRU、双向长短期记忆(BiLSTM)神经网络、BiGRU-MHA、Optuna-BiGRU-EMHA等8种模型在测井岩性识别中的精度。结果表明:Optuna-BiGRU-EMHA模型识别准确率达到80%,相对于传统机器学习模型和深度学习模型,综合岩性识别准确率分别提高15.94%~23.14%和3.93%~15.94%,该模型为常规测井岩性识别提供了坚实的理论支持。 展开更多
关键词 岩性识别 深度学习 BiGRU 增强多头注意力机制 小波包自适应阈值 超参数优化
在线阅读 下载PDF
融合Bi-LSTM与多头注意力的分层强化学习推理方法 被引量:3
14
作者 李卫军 刘世侠 +3 位作者 刘雪洋 丁建平 苏易礌 王子怡 《计算机应用研究》 北大核心 2025年第1期71-77,共7页
知识推理作为知识图谱补全中一项重要任务,受到了学术界的广泛关注。针对知识推理可解释性差、不能利用隐藏语义信息和奖励稀疏的问题提出了一种融合Bi-LSTM与多头注意力机制的分层强化学习方法。将知识图谱通过谱聚类分簇,使智能体分... 知识推理作为知识图谱补全中一项重要任务,受到了学术界的广泛关注。针对知识推理可解释性差、不能利用隐藏语义信息和奖励稀疏的问题提出了一种融合Bi-LSTM与多头注意力机制的分层强化学习方法。将知识图谱通过谱聚类分簇,使智能体分别在簇与实体间进行推理,利用Bi-LSTM与多头注意力机制融合模块对智能体的历史信息进行处理,可以更有效地发现和利用知识图谱隐藏的语义信息。Hight智能体通过分层策略网络选择目标实体所在的簇,指导Low智能体进行实体间的推理。利用强化学习智能体可以有效地解决可解释性差的问题,并通过相互奖励机制对两个智能体的动作选择以及搜索路径给予奖励,以解决智能体奖励稀疏的问题。在FB15K-237、WN18RR、NELL-995三个公开数据集上的实验结果表明,提出的方法能够捕捉序列数据中的长期依赖关系对长路径进行推理,并且在推理任务中的性能优于同类方法。 展开更多
关键词 知识推理 分层强化学习 Bi-LSTM 多头注意力机制
在线阅读 下载PDF
融合CBAM注意力机制与可变形卷积的车道线检测 被引量:3
15
作者 胡丹丹 张忠婷 牛国臣 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2024年第7期2150-2160,共11页
为满足自动驾驶及汽车高级驾驶辅助系统(ADAS)对车道线检测准确性和实时性的要求,提出一种融合卷积块注意力机制(CBAM)与可变形卷积网络(DCN)的车道线检测方法CADCN。在特征提取模块中嵌入CBAM注意力机制,增强有用特征并抑制无用特征响... 为满足自动驾驶及汽车高级驾驶辅助系统(ADAS)对车道线检测准确性和实时性的要求,提出一种融合卷积块注意力机制(CBAM)与可变形卷积网络(DCN)的车道线检测方法CADCN。在特征提取模块中嵌入CBAM注意力机制,增强有用特征并抑制无用特征响应;引入可变形卷积替换常规卷积,用带偏移的采样学习车道线的几何形变,提高卷积核的建模能力;基于行锚分类思想,对行方向上的位置进行选择和分类分析,预测车道线的位置信息,提高车道线检测模型的实时性。在车道线公开数据集上对所提CADCN方法进行训练及验证,在满足实时性的情况下,CADCN方法在TuSimple数据集上准确率达到96.63%,在CULane数据集上综合评估指标F1平均值达到74.4%,验证了所提方法的有效性。 展开更多
关键词 车道线检测 特征提取 注意力机制 可变形卷积网络 行锚分类
在线阅读 下载PDF
基于深度学习和注意力机制的漏钢预报研究 被引量:1
16
作者 吴恒 张本国 +2 位作者 余浩辰 张瑞忠 范利锋 《冶金能源》 北大核心 2025年第3期61-66,共6页
为提高漏钢预报系统准确度,分析了热电偶的单偶时间序列特征与组偶空间联动特征,采用CNN对数据进行特征提取,再将时间序列温度特征作为BIGRU输入,构建CNN-BIGRU网络,并在输出端前引入MA机制。针对CNN-BIGRU网络易陷入局部最优解问题,利... 为提高漏钢预报系统准确度,分析了热电偶的单偶时间序列特征与组偶空间联动特征,采用CNN对数据进行特征提取,再将时间序列温度特征作为BIGRU输入,构建CNN-BIGRU网络,并在输出端前引入MA机制。针对CNN-BIGRU网络易陷入局部最优解问题,利用BO算法寻找CNN-BIGRU网络最优超参数组合,建立了BO-CNN-BIGRU-MA网络模型,并将其应用到连铸漏钢预报系统。结合实际连铸生产数据,对该漏钢预报模型进行测试。结果表明,该连铸漏钢预报系统的准确率为99.5%,报出率达到100%。 展开更多
关键词 漏钢预报 卷积神经网络 双向门控循环单元网络 贝叶斯优化 多头注意力机制
在线阅读 下载PDF
基于多头注意力机制与长短期记忆网络的自然场景文本识别 被引量:2
17
作者 姚炜 冯宪伟 《传感技术学报》 CSCD 北大核心 2024年第12期2107-2112,共6页
随着计算机视觉和自然语言处理技术的不断发展,自然场景文本检测与识别技术已成为计算机视觉领域的研究热点之一。提出了一种基于多头注意力机制与长短期记忆网络(LSTM)的自然场景文本检测与识别方法。该方法通过结合目标检测算法和序... 随着计算机视觉和自然语言处理技术的不断发展,自然场景文本检测与识别技术已成为计算机视觉领域的研究热点之一。提出了一种基于多头注意力机制与长短期记忆网络(LSTM)的自然场景文本检测与识别方法。该方法通过结合目标检测算法和序列识别算法,利用多头注意力机制对图像中的文本区域进行精确的定位和特征提取,进而通过LSTM网络对提取的特征进行编码和解码,实现对自然场景中文本的准确识别。在文本检测阶段,采用基于深度学习的目标检测算法,结合多头注意力机制,通过并行计算多个独立的注意力头来捕获图像中不同尺度和方向上的文本信息,提高文本检测的准确性和鲁棒性。在文本识别阶段,利用LSTM网络对检测到的文本区域进行序列建模,通过编码和解码过程将图像中的文本信息转化为可读的字符序列。实验结果表明,所提出的方法在自然场景文本检测与识别任务上取得了优异的性能。与现有的方法相比,所提出的方法在准确性和鲁棒性方面均有所提升,尤其是在处理复杂背景和多样化文本时表现出更好的适应性。 展开更多
关键词 文本检测与识别 多头注意力机制 自然场景文本 长短期记忆网络
在线阅读 下载PDF
基于多头注意力机制的CNN⁃BiLSTM高海拔多因素输电线路可听噪声预测 被引量:7
18
作者 黄悦华 张子豪 +2 位作者 陈庆 刘兴韬 涂金童 《高压电器》 CAS CSCD 北大核心 2024年第12期160-169,共10页
为了研究考虑高海拔多环境因素影响下输电线路可听噪声的预测问题,在海拔2400 m高度点的500 kV同塔双回线路下,搭建了边相外20、30、35 m三处可听噪声观测站,同时利用气象站进行多环境因素指标的数据采集。文中提出了一种基于多头注意... 为了研究考虑高海拔多环境因素影响下输电线路可听噪声的预测问题,在海拔2400 m高度点的500 kV同塔双回线路下,搭建了边相外20、30、35 m三处可听噪声观测站,同时利用气象站进行多环境因素指标的数据采集。文中提出了一种基于多头注意力机制(multi⁃head attention,MHA)的卷积神经网络(convolutional neural network,CNN)—双向长短期记忆网络(bi⁃directional long short term memory,BiLSTM)模型进行可听噪声预测。首先,采用皮尔逊相关性分析对多种环境因素数据进行相关程度计算比较与剔除;然后,为充分挖掘可听噪声数据中的时序特征,使用CNN对多环境因素数据进行特征提取;再将提取的特征向量输入到BiLSTM中进行训练,并通过在BiLSTM端引入多头注意力机制,使模型学习权重更高的数据特征,从而提升模型预测精度;结果表明,该方法构建的组合模型可以提升考虑多因素特征可听噪声数据的预测精度,且具有较好的泛化性。 展开更多
关键词 输电线路可听噪声 多环境因素 卷积神经网络 双向长短期记忆网络 多头注意力机制
在线阅读 下载PDF
多头注意力结合时间卷积的情绪识别方法
19
作者 李柯 刘云清 +2 位作者 李棋 颜飞 张琼 《吉林大学学报(理学版)》 北大核心 2025年第5期1366-1378,共13页
针对情绪产生过程中脑电信号的通道和时间片段中蕴含丰富的情绪信息,并且不同的时间片段在情绪识别中的重要性不同,如何捕获关键特征、突出关键时间片段信息的难题,提出一种脑电多维度特征情绪识别方法.该方法充分利用生理信号的频率、... 针对情绪产生过程中脑电信号的通道和时间片段中蕴含丰富的情绪信息,并且不同的时间片段在情绪识别中的重要性不同,如何捕获关键特征、突出关键时间片段信息的难题,提出一种脑电多维度特征情绪识别方法.该方法充分利用生理信号的频率、空间、时间特征和注意力信息,通过构建四维特征矩阵结合深度可分离网络,内嵌卷积滑动窗口,自适应提取脑电信号的空间-频率特征.同时,将多头注意力机制集成到时序卷积神经网络中,突出重要时间序列信息,实现情绪识别.该方法在数据集DEAP上唤醒和效价的准确率分别达97.49%,97.36%,在数据集SEED上的准确率达96.60%,较主流方法约提升了3%,实验结果验证了模型在生理信号情绪识别中的优越性. 展开更多
关键词 情绪识别 脑电信号 时序卷积网络 多头注意力机制
在线阅读 下载PDF
基于字词融合和注意力机制的兽药文本命名实体识别
20
作者 颜士军 朱红梅 +1 位作者 王雅童 张亮 《中国农机化学报》 北大核心 2025年第3期336-342,352,共8页
针对兽药领域信息专业性强、关联性强、局部特征明显和一词多义的特点,以及主流的命名实体识别模型未充分利用词汇信息的问题,提出一种基于字词融合和注意力机制的兽药文本命名实体识别模型。首先,将BERT预训练模型得到的字向量和Word2... 针对兽药领域信息专业性强、关联性强、局部特征明显和一词多义的特点,以及主流的命名实体识别模型未充分利用词汇信息的问题,提出一种基于字词融合和注意力机制的兽药文本命名实体识别模型。首先,将BERT预训练模型得到的字向量和Word2vec得到的词向量融合。然后,在双向长短期记忆网络中提取全局上下文特征的基础上加入多头自注意力机制挖掘序列的局部特征。最后,通过条件随机场获得最佳标签序列来完成实体识别任务。在兽药文本数据集上进行多组对比试验,结果表明,该模型识别的准确率、召回率和F 1值分别为94.73%、95.29%和95.01%,性能均优于对比模型。 展开更多
关键词 兽药文本 命名实体识别 字词融合 多头注意力机制
在线阅读 下载PDF
上一页 1 2 21 下一页 到第
使用帮助 返回顶部