期刊文献+
共找到158篇文章
< 1 2 8 >
每页显示 20 50 100
融合MacBERT和Talking⁃Heads Attention实体关系联合抽取模型 被引量:1
1
作者 王春亮 姚洁仪 李昭 《现代电子技术》 北大核心 2024年第5期127-131,共5页
针对现有的医学文本关系抽取任务模型在训练过程中存在语义理解能力不足,可能导致关系抽取的效果不尽人意的问题,文中提出一种融合MacBERT和Talking⁃Heads Attention的实体关系联合抽取模型。该模型首先利用MacBERT语言模型来获取动态... 针对现有的医学文本关系抽取任务模型在训练过程中存在语义理解能力不足,可能导致关系抽取的效果不尽人意的问题,文中提出一种融合MacBERT和Talking⁃Heads Attention的实体关系联合抽取模型。该模型首先利用MacBERT语言模型来获取动态字向量表达,MacBERT作为改进的BERT模型,能够减少预训练和微调阶段之间的差异,从而提高模型的泛化能力;然后,将这些动态字向量表达输入到双向门控循环单元(BiGRU)中,以便提取文本的上下文特征。BiGRU是一种改进的循环神经网络(RNN),具有更好的长期依赖捕获能力。在获取文本上下文特征之后,使用Talking⁃Heads Attention来获取全局特征。Talking⁃Heads Attention是一种自注意力机制,可以捕获文本中不同位置之间的关系,从而提高关系抽取的准确性。实验结果表明,与实体关系联合抽取模型GRTE相比,该模型F1值提升1%,precision值提升0.4%,recall值提升1.5%。 展开更多
关键词 MacBERT BiGRU 关系抽取 医学文本 talking⁃heads attention 深度学习 全局特征 神经网络
在线阅读 下载PDF
Attention-GRU在PM_(2.5)浓度预测中的应用研究
2
作者 张黎鹏 刘庆杰 《现代信息科技》 2025年第4期74-79,86,共7页
针对PM_(2.5)浓度预测问题,选取北京市顺义监测站的每小时空气质量数据及其对应的气象数据作为研究样本,提出了一种融合多头注意力机制的GRU模型(Attention-GRU)。该模型利用门控循环单元(GRU)捕捉时间序列中与目标特征的长期依赖关系,... 针对PM_(2.5)浓度预测问题,选取北京市顺义监测站的每小时空气质量数据及其对应的气象数据作为研究样本,提出了一种融合多头注意力机制的GRU模型(Attention-GRU)。该模型利用门控循环单元(GRU)捕捉时间序列中与目标特征的长期依赖关系,并通过多头注意力策略来优化多特征与PM_(2.5)浓度的权重分布,关注影响较大的特征因素,从而提升预测的准确性。实验结果表明,与传统方法相比,融合多头注意力机制的GRU模型在均方根误差(RMSE)、平均绝对百分比误差(MAPE)和决定系数(R^(2))等指标上表现优异,验证了该方法的有效性和优越性。 展开更多
关键词 多头注意力机制 PM_(2.5)预测 门控循环单元(GRU) 空气质量
在线阅读 下载PDF
基于Viseme的连续语音识别系统及Talking Head 被引量:2
3
作者 蒋冬梅 谢磊 +3 位作者 Ilse Ravyse 赵荣椿 Hichem Sahli Jan Cornelis 《电子与信息学报》 EI CSCD 北大核心 2004年第3期375-381,共7页
为实现听觉/视觉驱动的说话人头部动画,该文给出了一个基于viseme(说话时的基本嘴形单位)的连续语音识别系统。它训练viseme隐马尔可夫模型(HMM),识别语音为viseme图像序列。建模采用triseme的概念来考虑viseme的上下文相关性,但它需要... 为实现听觉/视觉驱动的说话人头部动画,该文给出了一个基于viseme(说话时的基本嘴形单位)的连续语音识别系统。它训练viseme隐马尔可夫模型(HMM),识别语音为viseme图像序列。建模采用triseme的概念来考虑viseme的上下文相关性,但它需要超大量的训练数据。该文根据viseme图像及其相似度权值(VSW)定义视觉问题集,用来建立triseme决策树,以实现triseme的状态捆绑及HMM参数共享。为比较系统性能,基于phoneme(听觉领域的语音基本单位)的语音识别结果也被映射为viseme序列。在评价准则上,定义viseme图像相似度加权识别精度,更全面地考虑输出和参考图像序列的差别,并用嘴形圆度和VSW曲线中的突变点来评估所得viseme序列的平滑性。结果表明,基于viseme的语音识别系统能给出更平滑和合理的嘴形图像序列。 展开更多
关键词 说话人头部动画 Viseme 连续语音识别 Triseme决策树 图像相似度加权 嘴形圆度
在线阅读 下载PDF
基于多尺度和多头注意力的图像去雨算法
4
作者 陈海秀 何珊珊 +2 位作者 陆康 房威志 黄仔洁 《信息技术》 2025年第3期28-34,41,共8页
针对现有图像去雨方法存在雨纹去除不干净、图像中细节信息丢失等问题,文中提出一种基于多尺度和多头注意力的图像去雨算法。通过在网络架构中引入跨尺度特征融合模块并运用门控循环单元来连接不同尺度的雨纹特征,提升网络捕获和融合多... 针对现有图像去雨方法存在雨纹去除不干净、图像中细节信息丢失等问题,文中提出一种基于多尺度和多头注意力的图像去雨算法。通过在网络架构中引入跨尺度特征融合模块并运用门控循环单元来连接不同尺度的雨纹特征,提升网络捕获和融合多尺度雨纹特征的能力;并运用多头注意力模块作为编码器-解码器之间的桥梁,获取雨纹更多的全局信息并打破卷积神经网络感受视野的局限性。在合成和真实的有雨图像数据集上与其他算法进行比照,实验结果表明,所提方法在图像雨纹去除和细节信息保留方面均优于比较算法。 展开更多
关键词 图像去雨 多尺度 特征融合 编码器-解码器 多头注意力
在线阅读 下载PDF
基于特征增强和多头注意力融合的表情识别
5
作者 于霞 武家逸 +3 位作者 杨畅 杨海波 付琪 孙佳毓 《沈阳大学学报(自然科学版)》 2025年第1期44-52,F0003,共10页
为了解决近年来基于深度学习的人脸表情识别研究主要依赖实验室受控环境,难以反映现实场景中的自发性和无约束性的问题,同时针对人脸表情变化受多个关键区域影响以及表情数据存在显著类间相似性与类内差异性的挑战,提出了一种基于特征... 为了解决近年来基于深度学习的人脸表情识别研究主要依赖实验室受控环境,难以反映现实场景中的自发性和无约束性的问题,同时针对人脸表情变化受多个关键区域影响以及表情数据存在显著类间相似性与类内差异性的挑战,提出了一种基于特征增强和多头注意力融合的人脸表情识别模型。设计改进中心损失函数来增强面部特征的可区分性,增大类间差异,减小类内差异;通过多头注意力学习表情变化的区域相关性;进行注意力融合,提出融合损失函数避免注意力区域重叠,输出表情类别。在基于真实场景的RAF-DB和AffectNet数据集上取得了89.37%和65.31%的准确率,与现有模型相比,有效提高了表情识别精度。 展开更多
关键词 表情识别 真实场景 特征增强 多头注意力 注意力融合
在线阅读 下载PDF
基于改进Yolov8的绝缘子缺陷检测
6
作者 于瓅 刘云 《佳木斯大学学报(自然科学版)》 2025年第1期16-19,57,共5页
针对无人机航拍图像中存在缺陷目标较小且背景复杂问题,提出了一种基于YOLOv8模型的绝缘子缺陷检测的算法CSSD_YOLOv8。首先使用SAConv代替Conv,设计全新的SA_C2f模块代替部分C2f,提高模型对多尺度目标的特征提取能力;其次,引入SPPF_LSK... 针对无人机航拍图像中存在缺陷目标较小且背景复杂问题,提出了一种基于YOLOv8模型的绝缘子缺陷检测的算法CSSD_YOLOv8。首先使用SAConv代替Conv,设计全新的SA_C2f模块代替部分C2f,提高模型对多尺度目标的特征提取能力;其次,引入SPPF_LSKA模块,丰富多尺度特征表达;另外,设计一种DWR_Detect检测头替换原Detect结构,有效地降低小目标的漏检率;同时为优化小目标检测效果,添加小目标检测层,增强深层语义信息与浅层语义信息的结合。实验结果表明,改进后的绝缘子缺陷检测网络精度为92.1%,召回率为90.2%,mAP为93.8%,较原YOLOv8网络分别提高了0.7,3.9,3.1个百分点,提高了模型的检测效果,证明了该改进算法的有效性。 展开更多
关键词 小目标检测 YOLOv8算法 DWR_Detect检测头 LSKA注意力
在线阅读 下载PDF
基于YOLOv5s的舰船小目标检测方法研究
7
作者 师红宇 蔡自桂 +1 位作者 杜文 张哲于 《舰船电子工程》 2025年第2期34-38,73,共6页
海面舰船目标检测容易受陆地、海浪等背景的干扰。针对舰船小目标检测精度低和鲁棒性差的问题,提出一种改进的舰船目标检测模型CWMA-YOLOv5s。首先,设计具有多分支跨层连接的C2f模块丰富多目标舰船梯度流信息。然后,设计并实现了残差多... 海面舰船目标检测容易受陆地、海浪等背景的干扰。针对舰船小目标检测精度低和鲁棒性差的问题,提出一种改进的舰船目标检测模型CWMA-YOLOv5s。首先,设计具有多分支跨层连接的C2f模块丰富多目标舰船梯度流信息。然后,设计并实现了残差多头自注意力融合模块优化特征融合效果。其次,改进Predection网络,设计SCP结构,提高了舰船目标的显著度。最后,引入改进的WIOU损失函数解决CIOU损失函数带来的梯度爆炸和模型提前退化问题。实验结果表明,与YOLOv5s模型相比,该模型在MASATI-v2数据集上,精度提高了13.1%,召回率提高了12.8%,mAP@50提高了6.8%。与其他同类型检测算法相比,该算法拥有更好的学习能力,整体检测精度达到了82.3%,具有较强的鲁棒性。 展开更多
关键词 舰船检测 多头自注意力机制 空间上下文金字塔 WIOU损失函数
在线阅读 下载PDF
基于改进YOLOv8的航拍未爆弹检测
8
作者 周子扬 王黎明 +2 位作者 侯佳欣 王朝红 廖冬杰 《海军工程大学学报》 北大核心 2025年第1期59-64,共6页
针对航拍未爆弹图像中未爆弹检测精度不高的问题,提出了一种改进的IP-YOLOv8目标检测算法。该算法旨在提高对航拍未爆弹图像检测的准确性和鲁棒性。首先,通过在骨干网络的C2f模块中集成可变形卷积DCNv2,形成C2f_DCNv2模块,以增强感受野... 针对航拍未爆弹图像中未爆弹检测精度不高的问题,提出了一种改进的IP-YOLOv8目标检测算法。该算法旨在提高对航拍未爆弹图像检测的准确性和鲁棒性。首先,通过在骨干网络的C2f模块中集成可变形卷积DCNv2,形成C2f_DCNv2模块,以增强感受野和特征提取能力;然后,结合大型可分离核注意力机制,引入SPPF_L模块,以增强算法对复杂环境的适应性;最后,通过引入Dynamic Head检测头,融合尺度、空间和任务3种注意力机制,从而提升检测性能。实验结果表明:与传统YOLOv8算法相比,所提算法在未爆弹检测的P mA,50-95上实现了2%的提升,准确度有显著提升,验证了算法的有效性。 展开更多
关键词 未爆弹检测 YOLOv8 可变形卷积 注意力机制 动态检测头
在线阅读 下载PDF
一种融合时空特征的物联网入侵检测方法
9
作者 翁铜铜 矫桂娥 张文俊 《信息安全研究》 北大核心 2025年第3期241-248,共8页
针对不平衡的物联网流量数据集中攻击样本不足且类别较多降低了检测模型的分类准确率和泛化能力等问题,提出一种融合时空特征的物联网入侵检测方法(BGAREU).首先对数据进行规范化处理,并采用SMOTEENN方法改善训练样本的数据分布;然后通... 针对不平衡的物联网流量数据集中攻击样本不足且类别较多降低了检测模型的分类准确率和泛化能力等问题,提出一种融合时空特征的物联网入侵检测方法(BGAREU).首先对数据进行规范化处理,并采用SMOTEENN方法改善训练样本的数据分布;然后通过双向门控循环单元(BiGRU)和多头注意力(multi-head attention)提取时序特征和全局信息,并结合ResNext网络和U-Net网络构建多尺度的空间特征提取网络,再将高效通道注意力(ECA-Net)加入残差单元中以增强局部表征能力;最后将融合的特征输入Softmax分类器进行多分类.实验表明,在物联网流量数据集UNSW-NB15,NSL-KDD,WSN-DS上与其他模型相比,该模型在各项指标上均有2%以上的提升.此外,还通过对比多种注意力机制验证了ECA-Net具有更强的表征能力,并探索了多头注意力中不同数量的注意力头对模型性能的影响. 展开更多
关键词 入侵检测 双向门控循环单元 多头注意力 多尺度特征提取 高效通道注意力
在线阅读 下载PDF
改进YOLOv8n的无人机航拍小目标检测算法
10
作者 雷帮军 余翱 +1 位作者 吴正平 余快 《现代电子技术》 北大核心 2025年第3期26-34,共9页
针对无人机航拍图像目标密集、尺度小、特征信息易丢失、漏检和误检严重,提出一种基于YOLOv8n改进的航拍小目标检测算法GI⁃YOLOv8n。GI⁃YOLOv8n重新设计网络结构,改进特征融合网络,加入跨层连接,最大化保留小目标位置细节信息和语义信息... 针对无人机航拍图像目标密集、尺度小、特征信息易丢失、漏检和误检严重,提出一种基于YOLOv8n改进的航拍小目标检测算法GI⁃YOLOv8n。GI⁃YOLOv8n重新设计网络结构,改进特征融合网络,加入跨层连接,最大化保留小目标位置细节信息和语义信息,新增极小目标检测层,提高检测精度;引入基于注意力机制的动态检测头,并用轻量化卷积模块GSConv进行改进,在尺度感知、空间感知、任务感知方面加强小目标的定位性能;最后引入Inner⁃CIoU损失函数,使用辅助边界框计算损失,加快模型回归速度,提高检测性能。实验结果表明,在VisDrone2019数据集上,GI⁃YOLOv8n的精确率、召回率、平均检测精度分别为50.7%、39.8%、41.5%,相较于YOLOv8n分别提高了7.1%、7.4%、8.7%,检测速度为81 f/s,满足航拍目标检测实时性要求。对比其他航拍目标检测算法,检测精度和速度均有提升。 展开更多
关键词 无人机航拍 特征融合 小目标检测层 注意力机制 动态检测头 损失函数
在线阅读 下载PDF
基于LSTM和多头注意力的气体绝缘开关柜局部放电检测框架
11
作者 杨正盛 刘芳 《河南理工大学学报(自然科学版)》 北大核心 2025年第2期108-115,共8页
目的为了实现电器设备的长期稳定运行,方法提出基于长短时记忆(long short-term memory,LSTM)网络和多头注意力机制的气体绝缘开关柜(gas insulated switchgear,GIS)局部放电检测分类框架。首先,将局部放电相位(phase resolved partial ... 目的为了实现电器设备的长期稳定运行,方法提出基于长短时记忆(long short-term memory,LSTM)网络和多头注意力机制的气体绝缘开关柜(gas insulated switchgear,GIS)局部放电检测分类框架。首先,将局部放电相位(phase resolved partial discharge,PRPD)分析作为输入序列,利用LSTM学习PRPD信号中的时间关联;其次,将LSTM的结果输入到多头注意力模块中,通过结合多头自注意力和LSTM网络,重点分析与PRPD的不同相位集相对应的不同表征子空间的信息,其中,自注意力机制可识别输入和输出序列之间的重要信息,利用多头自注意力网络捕捉故障PRPD的高阶特征;最后,利用分类层在GIS中进行故障检测。结果结果表明:线性SVM的性能最差,传统的机器学习分类算法不能很好地捕捉到数据中的微小差异;CNN+LSTM实现了对多元时序数据的时间依赖性捕捉,性能比SVM方法显著提高;AL+DCNN通过对抗学习框架提高了对数据集不平衡性的处理能力,并改善了提取出特征的通用性;所提方法比AL+DCNN方法的F_(1)分数提升了2.96%,证明结合LSTM和多头注意力机制,能够有效提高GIS中局部放电故障的识别性能,在精度、召回率和F_(1)分数指标上均取得了最好性能。这是因为所提方法通过结合LSTM与注意力网络实现了有效的性能互补,取得了优于其他先进方法的开关柜异常检测性能。结论所提方法可以有效检测局部放电故障,有助于确保电力设备的长期稳定运行。 展开更多
关键词 长短时记忆网络 气体绝缘开关柜 局部放电相位分析 异常检测 多头注意力
在线阅读 下载PDF
融合多源因素的编码器-解码器沉降长时预测模型
12
作者 徐浩钧 顾敏明 +2 位作者 程洪福 李晨露 胡伏原 《微电子学与计算机》 2025年第2期39-49,共11页
石质文物假山长期曝露于室外,受多源因素影响易形成不均匀沉降,因此假山沉降传感器监测与长时精准预测对石质文物保护十分必要。现有沉降长时预测方法难以有效解决噪声和瞬时波动造成的精度降低与应用可靠性问题。为此,本文提出一种融... 石质文物假山长期曝露于室外,受多源因素影响易形成不均匀沉降,因此假山沉降传感器监测与长时精准预测对石质文物保护十分必要。现有沉降长时预测方法难以有效解决噪声和瞬时波动造成的精度降低与应用可靠性问题。为此,本文提出一种融合多源因素的编码器-解码器沉降长时预测模型。在多源因素编码器中设计动态多源因素融合模块将深度特征进行融合并实时计算沉降、温度、振动、裂缝等多源因素与目标数据的动态相关性;在时域增强解码器中构建多头自适应平滑模块,通过多头注意力的方法自适应学习各时间步的平滑指数,保留时间序列长期趋势,减少传感器带来的噪声和瞬时波动。本模型以环秀山庄沉降监测系统的实测数据集进行验证,结果表明该模型相较于基线方法在评价指标均方根误差(Root Mean Squared Error,RMSE)指标、平均绝对误差(Mean Absolute Error,MAE)指标以及连续排序概率评分(Continuous Ranked Probability Score,CRPS)最高分别提升了19.1%、19%以及16.3%,且符合实际应用需求。 展开更多
关键词 沉降长时预测 多源因素 编码器-解码器 注意力机制 多头自适应平滑 石质文物保护
在线阅读 下载PDF
基于Involution Prediction Head的小目标检测算法 被引量:1
13
作者 安鹤男 邓武才 +1 位作者 管聪 姜邦彦 《电子技术应用》 2022年第11期19-23,共5页
针对通用目标检测算法在检测小目标时存在错检和漏检等问题,提出了一种小目标检测算法IPH(Involution Prediction Head),将其运用在YOLOv4和YOLOv5的检测头部分,在VOC2007数据集上的实验结果表明,运用IPH后的YOLOv4小目标检测精度APs(AP... 针对通用目标检测算法在检测小目标时存在错检和漏检等问题,提出了一种小目标检测算法IPH(Involution Prediction Head),将其运用在YOLOv4和YOLOv5的检测头部分,在VOC2007数据集上的实验结果表明,运用IPH后的YOLOv4小目标检测精度APs(AP for small objects)相比原始算法提升了1.1%,在YOLOv5上的APs更是提升了5.9%。经智能交通检测数据集进一步检验,IPH算法和去下采样能有效提升小目标检测精度,减少错检和漏检的情况。 展开更多
关键词 YOLOv4 IPH 小目标检测 特征提取 注意力机制
在线阅读 下载PDF
基于光流引导Transformer模型的重载铁路监控压缩视频质量增强方法
14
作者 王文斌 宋宗莹 +2 位作者 柴雪松 凌烈鹏 李健超 《铁路计算机应用》 2025年第1期27-33,共7页
重载铁路视频监控系统的不断扩增,使得铁路视频数据急剧增长,对数据存储和传输等能力的要求更高。为此,提出了一种基于光流引导Transformer模型的重载铁路监控压缩视频质量增强方法。通过光流补全网络提取帧间运动信息,指导Transformer... 重载铁路视频监控系统的不断扩增,使得铁路视频数据急剧增长,对数据存储和传输等能力的要求更高。为此,提出了一种基于光流引导Transformer模型的重载铁路监控压缩视频质量增强方法。通过光流补全网络提取帧间运动信息,指导Transformer模型关注视频序列中的重要特征;结合多头自注意力机制和时间空间特征融合策略,有效提取视频帧的时空特征;通过在Transformer模型结构中融入光流引导的特征增强模块,进一步提升视频质量增强的准确性和效率。基于实际采集的重载铁路监控视频数据集的实验结果表明,该方法显著优于现有的视频质量增强方法,具有实用价值。 展开更多
关键词 重载铁路 视频增强 光流 Transformer模型 多头自注意力机制
在线阅读 下载PDF
面向航拍图像的轻量化目标检测算法
15
作者 何戚天 李为相 +2 位作者 程明 孙圆 陈闯 《电光与控制》 北大核心 2025年第3期56-61,81,共7页
针对无人机航拍图像背景复杂、目标物较小且模型部署困难的问题,提出了面向航拍图像的轻量化目标检测算法。在YOLOv5m的主干网络中引入FasterNet轻量化模块替换C3模块,压缩模型参数量,提升模型的推理速度;在特征融合网络,采用改进的CBA... 针对无人机航拍图像背景复杂、目标物较小且模型部署困难的问题,提出了面向航拍图像的轻量化目标检测算法。在YOLOv5m的主干网络中引入FasterNet轻量化模块替换C3模块,压缩模型参数量,提升模型的推理速度;在特征融合网络,采用改进的CBAM_L机制,专注于捕捉航拍图像中的小目标信息的同时提高了模型的目标识别精度;将检测网络中检测头替换成解耦头,解决航拍图像输出变量时分类和回归的冲突问题,并把网络中损失函数替换成EIoU,有效提升了模型回归精度。在公开数据集VisDrone上验证结果表明,改进后模型的平均精度均值(mAP@0.5)提高了0.014,参数量缩减到原模型的34.3%,计算量缩减到原模型的32.4%,检测速率达到77帧/s,表明该算法在检测准确性和速度上都取得出色的性能。 展开更多
关键词 YOLOv5m FasterNet 轻量化 注意力机制 解耦头 EIoU
在线阅读 下载PDF
基于卷积视觉Transformer的木薯叶病识别模型
16
作者 谢聪 谢聪 +1 位作者 王天顺 姬少培 《现代电子技术》 北大核心 2025年第3期61-68,共8页
近年来,由于气候变化、室外空气污染物的增加以及全球变暖,木薯叶片病害变得更加普遍,及时和准确地检测木薯叶部病害对于防止其蔓延和确保农业生产的可持续性至关重要。然而,现有的木薯叶病检测模型很容易受到环境背景噪声的影响,这使... 近年来,由于气候变化、室外空气污染物的增加以及全球变暖,木薯叶片病害变得更加普遍,及时和准确地检测木薯叶部病害对于防止其蔓延和确保农业生产的可持续性至关重要。然而,现有的木薯叶病检测模型很容易受到环境背景噪声的影响,这使得其由于无法有效提取出木薯叶病图片的特征,而导致其识别检测精度较低。针对该问题,文中设计了一种卷积视觉Transformer的木薯叶病检测模型——CViT,并提出了一种最小注意力裁剪算法(LeIAP)来选择Transformer模型中每一层最重要的注意力头,以提高模型的性能。该模型在Transformer的基础上利用多头注意力模块来提取图像高级特征,利用软分割标记嵌入捕获局部信息,这不仅可以提高学习到的信息的丰富度,也有利于细粒度的特征学习。此外,该模型还使用了一种焦点角度间隔惩罚损失函数(F⁃Softmax),通过更好地学习类间距离,以改善模型在不同类别疾病数据上的识别精度。实验结果表明,该模型在2021年的Kaggle比赛数据集上的准确率均优于现有的主流模型。 展开更多
关键词 木薯叶病检测 视觉Transformer 多头注意力 损失函数 识别精度 最小注意力裁剪
在线阅读 下载PDF
基于时间卷积网络的无监督入侵检测模型
17
作者 廖金菊 丁嘉伟 冯光辉 《电信科学》 北大核心 2025年第1期164-173,共10页
现有的多数入侵检测模型通过长短期记忆(long short-term memory,LSTM)网络评估数据之间的时间依赖性。然而,LSTM网络处理序列数据增加了训练模型的计算复杂度和存储成本。为此,提出了基于多头注意力机制和时间卷积网络的无监督入侵检... 现有的多数入侵检测模型通过长短期记忆(long short-term memory,LSTM)网络评估数据之间的时间依赖性。然而,LSTM网络处理序列数据增加了训练模型的计算复杂度和存储成本。为此,提出了基于多头注意力机制和时间卷积网络的无监督入侵检测模型(unsupervised intrusion detection model based on multihead attention mechanism or temporal convolutional network,UDMT)。UDMT不依赖于LSTM网络,它利用时间卷积网络和多头注意力机制构建生成对抗网络的生成器和决策器,实现计算的并行化,进而降低复杂度。同时,UDMT不依赖于标签的攻击数据,它具有检测已知攻击和未知攻击的能力。此外,UDMT采用不同的隐藏层模式,配置灵活,以满足不同的检测率和检测时延的要求。相比于两个同类的检测模型,提出的UDMT能获取更高的检测率和更低的检测时延。 展开更多
关键词 入侵检测模型 长短期记忆网络 生成对抗网络 多头注意力机制 时间卷积网络
在线阅读 下载PDF
基于多尺度注意力机制的红外与可见光图像融合研究
18
作者 杨涛 刘福华 《无线互联科技》 2025年第5期46-52,共7页
红外与可见光图像的融合旨在提取和整合源图像中的信息,以生成包含重要且互补信息的结果。然而,目前的融合规则在有效提取最有价值的信息方面存在不足,无法很好地保留关键信息。文章在DenseFuse网络中引入了多头注意力模块(Multi-scale ... 红外与可见光图像的融合旨在提取和整合源图像中的信息,以生成包含重要且互补信息的结果。然而,目前的融合规则在有效提取最有价值的信息方面存在不足,无法很好地保留关键信息。文章在DenseFuse网络中引入了多头注意力模块(Multi-scale Attention Block,MAB)。该模块通过多尺度大核注意力机制,更有效地捕捉全局与局部信息。这使得融合后的图像具有更加丰富的语义信息,从而提升其在后续高层次视觉任务中的表现。 展开更多
关键词 图像融合 多尺度注意力机制 多头注意力模块
在线阅读 下载PDF
基于Transformer多头注意力机制的文本分类模型
19
作者 林云 《现代信息科技》 2025年第6期100-104,共5页
在信息化时代,文本自动分类对提升信息检索效率十分重要。然而,传统的分类模型,如朴素贝叶斯、支持向量机(SVM)和逻辑回归,在处理长文本和深层语义理解方面存在不足。因此,该研究提出基于Transformer的文本分类模型,通过多头注意力机制... 在信息化时代,文本自动分类对提升信息检索效率十分重要。然而,传统的分类模型,如朴素贝叶斯、支持向量机(SVM)和逻辑回归,在处理长文本和深层语义理解方面存在不足。因此,该研究提出基于Transformer的文本分类模型,通过多头注意力机制有效提取文本中的关键信息和语义联系,从而提升文本分类性能。实验表明,该模型在多个数据集上的表现均优于传统的卷积神经网络(CNN)和长短期记忆网络(LSTM),准确率最高可达94.62%,验证了其在文本分类任务中的有效性。 展开更多
关键词 机器学习 自然语言理解 多头注意力机制 文本分类 TRANSFORMER
在线阅读 下载PDF
基于改进GRU的SCADA网络入侵检测方法研究
20
作者 鞠函函 《油气田地面工程》 2025年第1期51-56,共6页
石油作为我国的能源支柱,其能源系统安全运行才能保证其他相关行业正常运行,一旦网络系统受到攻击或是网络崩溃,极大可能导致油气田及其他相关产业的生产作业陷入崩溃,所以油气站场工业控制系统的网络安全十分重要。但从站场上收集到的... 石油作为我国的能源支柱,其能源系统安全运行才能保证其他相关行业正常运行,一旦网络系统受到攻击或是网络崩溃,极大可能导致油气田及其他相关产业的生产作业陷入崩溃,所以油气站场工业控制系统的网络安全十分重要。但从站场上收集到的网络流量数据集极不平衡,正常流量远多于异常流量,造成网络入侵检测困难,且支持向量机、决策树、BP神经网络等传统机器学习算法不能有效处理监控与数据采集(SCADA)系统中大量、高纬度、时序性强等网络流量数据的问题。针对上述情况,提出了融合注意力机制的改进GRU模型。传统的注意力机制仅从单一层面上获取注意力信息和注意力特征,改进GRU模型使用多头注意力机制,其获取信息的能力更全面,经过GRU模型建模后的流量数据再通过注意力机制,模型可以充分学习异常流量数据特征,以便在不平衡的数据集中精准识别出异常流量数据。实验证明,相比于决策树、支持向量机及BP神经网络等传统方法,改进的GRU模型针对网络入侵检测的召回率达99%,可以准确识别到99%的异常情况,能够解决SCADA网络入侵检测问题,为SCADA系统的入侵检测提供了一种新的方案。 展开更多
关键词 SCADA GRU 多头注意力机制 入侵检测 网络安全
在线阅读 下载PDF
上一页 1 2 8 下一页 到第
使用帮助 返回顶部