期刊文献+
共找到278篇文章
< 1 2 14 >
每页显示 20 50 100
基于改进时域卷积网络与多头自注意力机制的间歇过程质量预测模型
1
作者 赵小强 柳勇勇 +1 位作者 惠永永 刘凯 《计算机应用》 北大核心 2025年第7期2245-2252,共8页
为提高时域卷积网络(TCN)在批量大小变化时的训练稳定性,并解决间歇过程质量预测在捕捉长期依赖性和全局关联性上存在不足而导致的预测准确度不高的问题,提出一种基于批量组规范化(BGN)和Mish激活函数改进残差结构的TCN(BMTCN)与多头自... 为提高时域卷积网络(TCN)在批量大小变化时的训练稳定性,并解决间歇过程质量预测在捕捉长期依赖性和全局关联性上存在不足而导致的预测准确度不高的问题,提出一种基于批量组规范化(BGN)和Mish激活函数改进残差结构的TCN(BMTCN)与多头自注意力机制(MHSA)的间歇过程质量预测模型(BMTCN-MHSA)。首先,将间歇过程的三维数据展开为二维矩阵形式,并对数据进行归一化处理,再引入奇异谱分析法(SSA)分解重构数据;其次,在时域卷积的残差部分融入BGN以降低网络模型在批量大小变化时的敏感度,引入Mish激活函数以提高模型的泛化能力,并利用多头自注意力机制对序列中不同位置的特征信息进行关联和权重分配,从而进一步提取序列中的关键特征信息和相互依赖关系,进而更好地捕捉间歇过程的动态特征;最后,使用青霉素仿真实验数据进行实验验证。实验结果表明,相较于TCN模型,BMTCN-MHSA模型的平均绝对误差(MAE)降低了56.86%,均方误差(MSE)降低了48.80%,而决定系数(R2)达到了99.48%,这表明BMTCN-MHSA模型提高了间歇过程质量预测的准确性。 展开更多
关键词 间歇过程 质量预测 奇异谱分析法 时域卷积网络 多头自注意力机制
在线阅读 下载PDF
基于多头自注意力机制与MLP-Interactor的多模态情感分析
2
作者 林宜山 左景 卢树华 《浙江大学学报(工学版)》 北大核心 2025年第8期1653-1661,1679,共10页
针对多模态情感分析中单模态特征质量较差及多模态特征交互不够充分的问题,提出基于多头自注意力机制和MLP-Interactor的多模态情感分析方法.通过基于多头自注意力机制的模态内特征交互模块,实现单模态内的特征交互,提高单模态特征的质... 针对多模态情感分析中单模态特征质量较差及多模态特征交互不够充分的问题,提出基于多头自注意力机制和MLP-Interactor的多模态情感分析方法.通过基于多头自注意力机制的模态内特征交互模块,实现单模态内的特征交互,提高单模态特征的质量.通过MLP-Interactor机制实现多模态特征之间的充分交互,学习不同模态之间的一致性信息.利用提出方法,在CMU-MOSI和CMU-MOSEI 2个公开数据集上进行大量的实验验证与测试.结果表明,提出方法超越了当前诸多的先进方法,可以有效地提升多模态情感分析的准确性. 展开更多
关键词 多模态情感分析 MLP-Interactor 多头自注意力机制 特征交互
在线阅读 下载PDF
基于改进双重压缩和激励与多头特征注意力机制的电-热负荷协同预测
3
作者 余强 韩静娴 +4 位作者 杨子梁 宋济东 杨德昌 齐海杰 于芃 《电力自动化设备》 北大核心 2025年第3期201-208,共8页
综合能源系统中负荷多样且存在耦合,为提升负荷预测精度,提出一种基于改进双重注意力机制的分组卷积神经网络-门控循环单元短期电-热负荷协同预测模型。通过改进的压缩和激励注意力为各输入通道加权,再对其进行分组卷积;利用多头特征注... 综合能源系统中负荷多样且存在耦合,为提升负荷预测精度,提出一种基于改进双重注意力机制的分组卷积神经网络-门控循环单元短期电-热负荷协同预测模型。通过改进的压缩和激励注意力为各输入通道加权,再对其进行分组卷积;利用多头特征注意力对卷积结果进行赋权,并利用输入门控循环单元模型对负荷进行预测。算例仿真结果表明,所提模型的平均绝对百分比误差均低于3%。 展开更多
关键词 综合能源系统 负荷预测 分组卷积神经网络 门控循环单元 改进的压缩和激励注意力机制 多头特征注意力机制
在线阅读 下载PDF
融合多头自注意力机制的故障命名实体识别
4
作者 王江 剡昌锋 +2 位作者 卢家伟 王瑞民 张永明 《兰州理工大学学报》 北大核心 2025年第4期33-42,共10页
在汽轮发电机组故障诊断知识图谱构建过程中,缺乏公开的命名实体标注语料数据集,案例集中的数据呈现多源异构,专业词汇的关联权重特征提取困难.对此,根据汽轮发电机组故障案例公开资料,构建了汽轮发电机组故障诊断命名实体识别标注语料... 在汽轮发电机组故障诊断知识图谱构建过程中,缺乏公开的命名实体标注语料数据集,案例集中的数据呈现多源异构,专业词汇的关联权重特征提取困难.对此,根据汽轮发电机组故障案例公开资料,构建了汽轮发电机组故障诊断命名实体识别标注语料数据集,提出了融合多头自注意力机制与BERT-BiLSTM-CRF融合的命名实体识别方法.结果表明,该方法能够有效识别专业领域故障实体类别,明显优于其他传统命名实体识别方法,可为汽轮发电机组故障诊断知识图谱和智能辅助决策系统的构建提供保障. 展开更多
关键词 汽轮发电机组 故障诊断 命名实体识别 多头自注意力机制 知识图谱
在线阅读 下载PDF
基于多头集中注意力机制的无监督视频摘要模型
5
作者 李玉洁 贾皓楠 +4 位作者 零俐 周文凯 蒋政 丁数学 谭本英 《济南大学学报(自然科学版)》 北大核心 2025年第4期558-568,共11页
针对现有视频摘要方法在建立长距离帧依赖性和并行化训练方面的局限性问题,提出一种基于多头集中注意力机制的无监督视频摘要模型(MH-CASUM)。将多头注意力机制融入集中注意力模型,改进长度正则化损失函数,优化损失阈值以选择模型参数,... 针对现有视频摘要方法在建立长距离帧依赖性和并行化训练方面的局限性问题,提出一种基于多头集中注意力机制的无监督视频摘要模型(MH-CASUM)。将多头注意力机制融入集中注意力模型,改进长度正则化损失函数,优化损失阈值以选择模型参数,并结合视频帧的唯一性与多样性来丰富摘要信息,从而更高效地完成视频摘要任务。通过在SumMe和TVSum数据集上进行的F_(1)值、Kendall相关系数和Spearman相关系数的评估实验,验证MH-CASUM模型的性能。结果表明:引入的多头注意力机制及在模型参数选择上损失阈值的改进方法使得MH-CASUM模型的视频摘要性能显著提升;与之前表现最佳的无监督视频摘要模型CASUM相比,MH-CASUM在TVSum数据集中的F_(1)值提升0.98%,证明了其在视频摘要任务中的优越性和竞争力。 展开更多
关键词 视频摘要 注意力机制 多头集中注意力 无监督方法
在线阅读 下载PDF
基于多头注意力机制和TCN-BiLSTM的IGBT剩余寿命预测方法
6
作者 田源 高树国 +2 位作者 邢超 朱瑞敏 姜士哲 《电气工程学报》 北大核心 2025年第3期69-77,共9页
针对电力电子设备精准运维和半导体功率器件的态势感知需求,提出一种基于多头注意力机制(Multi-head attention mechanism,MA)和时域卷积网络(Temporal convolutional network,TCN)-双向长短时记忆(Bidirectional long short-term memor... 针对电力电子设备精准运维和半导体功率器件的态势感知需求,提出一种基于多头注意力机制(Multi-head attention mechanism,MA)和时域卷积网络(Temporal convolutional network,TCN)-双向长短时记忆(Bidirectional long short-term memory,BiLSTM)网络融合的IGBT剩余寿命预测方法。首先,基于IGBT封装模块老化机理的深入分析,设计并搭建加速老化试验平台,通过控制功率循环过程中的结温波动,施加电流加速IGBT模块的老化进程,采用高精度数据采集系统获取特征参量集-射极饱和压降Vce(sat)老化数据。其次,以TCN模型为基础,引入MA和BiLSTM神经网络构建预测模型,对IGBT劣化特征序列进行预测验证。结果表明,在相同条件下,所提模型相对于传统时序预测模型,在不显著增加模型复杂度和计算负担的情况下,具有更高的精度,充分验证了该模型在工程实践中应用于IGBT剩余寿命在线预测的可行性与高效性。 展开更多
关键词 IGBT 时域卷积网络 双向长短时记忆网络 多头注意力机制 老化预测
在线阅读 下载PDF
融合Bi-LSTM与多头注意力的分层强化学习推理方法 被引量:3
7
作者 李卫军 刘世侠 +3 位作者 刘雪洋 丁建平 苏易礌 王子怡 《计算机应用研究》 北大核心 2025年第1期71-77,共7页
知识推理作为知识图谱补全中一项重要任务,受到了学术界的广泛关注。针对知识推理可解释性差、不能利用隐藏语义信息和奖励稀疏的问题提出了一种融合Bi-LSTM与多头注意力机制的分层强化学习方法。将知识图谱通过谱聚类分簇,使智能体分... 知识推理作为知识图谱补全中一项重要任务,受到了学术界的广泛关注。针对知识推理可解释性差、不能利用隐藏语义信息和奖励稀疏的问题提出了一种融合Bi-LSTM与多头注意力机制的分层强化学习方法。将知识图谱通过谱聚类分簇,使智能体分别在簇与实体间进行推理,利用Bi-LSTM与多头注意力机制融合模块对智能体的历史信息进行处理,可以更有效地发现和利用知识图谱隐藏的语义信息。Hight智能体通过分层策略网络选择目标实体所在的簇,指导Low智能体进行实体间的推理。利用强化学习智能体可以有效地解决可解释性差的问题,并通过相互奖励机制对两个智能体的动作选择以及搜索路径给予奖励,以解决智能体奖励稀疏的问题。在FB15K-237、WN18RR、NELL-995三个公开数据集上的实验结果表明,提出的方法能够捕捉序列数据中的长期依赖关系对长路径进行推理,并且在推理任务中的性能优于同类方法。 展开更多
关键词 知识推理 分层强化学习 Bi-LSTM 多头注意力机制
在线阅读 下载PDF
基于增强多头注意力机制的Optuna-BiGRU测井岩性识别 被引量:5
8
作者 王婷婷 王振豪 +1 位作者 李方 赵万春 《地球科学与环境学报》 CAS 北大核心 2024年第1期127-142,共16页
测井岩性识别是油气勘探开发中至关重要的内容。针对现有算法模型在处理测井曲线数据时,无法有效捕获曲线内部深层关联和深度方向关系、拟合能力较弱、难以准确提取关键特征、噪声干扰以及模型超参数调优过程复杂困难等问题,提出了一种... 测井岩性识别是油气勘探开发中至关重要的内容。针对现有算法模型在处理测井曲线数据时,无法有效捕获曲线内部深层关联和深度方向关系、拟合能力较弱、难以准确提取关键特征、噪声干扰以及模型超参数调优过程复杂困难等问题,提出了一种通过Optuna超参数优化双向门循环单元(Optuna-BiGRU)结合增强多头注意力机制(EMHA)的测井岩性识别模型——Optuna-BiGRU-EMHA模型。该模型引入残差机制和层归一化以改进多头注意力机制模块,并结合双向门循环单元(BiGRU)解决了处理测井数据时的问题,同时使用Optuna超参数优化框架和小波包自适应阈值方法分别解决了超参数调优和噪声干扰问题。首先通过交会图分析和敏感性箱线图分析选取自然伽马、深感应电阻率、中子-密度孔隙度、平均中子-密度孔隙度和岩性密度5个特征参数的测井数据,通过小波包自适应阈值方法对数据进行去噪,并将测井数据分割成数据块,然后利用Optuna框架优化BiGRU-EMHA模型超参数,最后通过实验对比K-近邻算法(KNN)、随机森林(RF)、极端梯度提升算法(XGBoost)、长短期记忆(LSTM)神经网络、BiGRU、双向长短期记忆(BiLSTM)神经网络、BiGRU-MHA、Optuna-BiGRU-EMHA等8种模型在测井岩性识别中的精度。结果表明:Optuna-BiGRU-EMHA模型识别准确率达到80%,相对于传统机器学习模型和深度学习模型,综合岩性识别准确率分别提高15.94%~23.14%和3.93%~15.94%,该模型为常规测井岩性识别提供了坚实的理论支持。 展开更多
关键词 岩性识别 深度学习 BiGRU 增强多头注意力机制 小波包自适应阈值 超参数优化
在线阅读 下载PDF
基于多头注意力机制字词联合的中文命名实体识别 被引量:2
9
作者 王进 王猛旗 +2 位作者 张昕跃 孙开伟 朴昌浩 《江苏大学学报(自然科学版)》 CAS 北大核心 2024年第1期77-84,共8页
针对现有基于字词联合的中文命名实体识别方法会引入冗余词汇干扰、模型网络结构复杂、难以迁移的问题,提出一种基于多头注意力机制字词联合的中文命名实体识别算法.算法采用多头注意力机制融合词汇边界信息,并通过分类融合BIE词集降低... 针对现有基于字词联合的中文命名实体识别方法会引入冗余词汇干扰、模型网络结构复杂、难以迁移的问题,提出一种基于多头注意力机制字词联合的中文命名实体识别算法.算法采用多头注意力机制融合词汇边界信息,并通过分类融合BIE词集降低冗余词汇干扰.建立了多头注意力字词联合模型,包含字词匹配、多头注意力、融合等模块.与现有中文命名实体识别方法相比,本算法避免了设计复杂的序列模型,方便与现有基于字的中文命名实体识别模型结合.采用召回率、精确率以及F 1值作为评价指标,通过消融试验验证模型各个部分的效果.结果表明,本算法在MSRA和Weibo数据集上F 1值分别提升0.28、0.69,在Resume数据集上精确率提升0.07. 展开更多
关键词 中文命名实体识别 词汇冗余 词汇边界信息 字词联合 多头注意力机制 BIE词集
在线阅读 下载PDF
基于深度学习和注意力机制的漏钢预报研究 被引量:1
10
作者 吴恒 张本国 +2 位作者 余浩辰 张瑞忠 范利锋 《冶金能源》 北大核心 2025年第3期61-66,共6页
为提高漏钢预报系统准确度,分析了热电偶的单偶时间序列特征与组偶空间联动特征,采用CNN对数据进行特征提取,再将时间序列温度特征作为BIGRU输入,构建CNN-BIGRU网络,并在输出端前引入MA机制。针对CNN-BIGRU网络易陷入局部最优解问题,利... 为提高漏钢预报系统准确度,分析了热电偶的单偶时间序列特征与组偶空间联动特征,采用CNN对数据进行特征提取,再将时间序列温度特征作为BIGRU输入,构建CNN-BIGRU网络,并在输出端前引入MA机制。针对CNN-BIGRU网络易陷入局部最优解问题,利用BO算法寻找CNN-BIGRU网络最优超参数组合,建立了BO-CNN-BIGRU-MA网络模型,并将其应用到连铸漏钢预报系统。结合实际连铸生产数据,对该漏钢预报模型进行测试。结果表明,该连铸漏钢预报系统的准确率为99.5%,报出率达到100%。 展开更多
关键词 漏钢预报 卷积神经网络 双向门控循环单元网络 贝叶斯优化 多头自注意力机制
在线阅读 下载PDF
基于多头注意力机制的CNN⁃BiLSTM高海拔多因素输电线路可听噪声预测 被引量:3
11
作者 黄悦华 张子豪 +2 位作者 陈庆 刘兴韬 涂金童 《高压电器》 CAS CSCD 北大核心 2024年第12期160-169,共10页
为了研究考虑高海拔多环境因素影响下输电线路可听噪声的预测问题,在海拔2400 m高度点的500 kV同塔双回线路下,搭建了边相外20、30、35 m三处可听噪声观测站,同时利用气象站进行多环境因素指标的数据采集。文中提出了一种基于多头注意... 为了研究考虑高海拔多环境因素影响下输电线路可听噪声的预测问题,在海拔2400 m高度点的500 kV同塔双回线路下,搭建了边相外20、30、35 m三处可听噪声观测站,同时利用气象站进行多环境因素指标的数据采集。文中提出了一种基于多头注意力机制(multi⁃head attention,MHA)的卷积神经网络(convolutional neural network,CNN)—双向长短期记忆网络(bi⁃directional long short term memory,BiLSTM)模型进行可听噪声预测。首先,采用皮尔逊相关性分析对多种环境因素数据进行相关程度计算比较与剔除;然后,为充分挖掘可听噪声数据中的时序特征,使用CNN对多环境因素数据进行特征提取;再将提取的特征向量输入到BiLSTM中进行训练,并通过在BiLSTM端引入多头注意力机制,使模型学习权重更高的数据特征,从而提升模型预测精度;结果表明,该方法构建的组合模型可以提升考虑多因素特征可听噪声数据的预测精度,且具有较好的泛化性。 展开更多
关键词 输电线路可听噪声 多环境因素 卷积神经网络 双向长短期记忆网络 多头注意力机制
在线阅读 下载PDF
基于多头自注意力扩散模型的雷达图像海杂波抑制
12
作者 马迪 杜晓林 +3 位作者 陈小龙 荣尧 于爽 万训杨 《电波科学学报》 北大核心 2025年第2期252-260,共9页
为解决海杂波对雷达回波信号的严重干扰问题,提出了一种基于多头自注意力(multi-head self-attention,MHA)扩散模型的雷达图像海杂波抑制方法。以扩散模型为基础,融入MHA机制,构建MHA扩散网络模型(MHA diffusion network model,MHA-DNe... 为解决海杂波对雷达回波信号的严重干扰问题,提出了一种基于多头自注意力(multi-head self-attention,MHA)扩散模型的雷达图像海杂波抑制方法。以扩散模型为基础,融入MHA机制,构建MHA扩散网络模型(MHA diffusion network model,MHA-DNet),进行特征提取并学习到海杂波的特性。在IPIX雷达杂波数据集基础上仿真构建海杂波时频图像的不同目标,得到具有大数据量和随机性的图像数据集,提高模型的泛化能力,使其更具鲁棒性。在本文新提出的峰值信噪比-结构相似性指数(peak signal-to-noise ratio structural similarity index,PSNR-SSIM,简称P-S)评价指标上,MHA-DNet与传统卷积方法相比性能提升了4%,与生成对抗网络(generative adversarial network,GAN)方法相比性能提升了1.1%,与原始的扩散模型相比,MHA-DNet也展现出了0.2%的优势,验证了本文所提方法在海杂波抑制方面具有一定的有效性。 展开更多
关键词 海杂波抑制 扩散模型 深度学习 多头自注意力(mha)机制 海杂波时频图
在线阅读 下载PDF
基于字词融合和注意力机制的兽药文本命名实体识别
13
作者 颜士军 朱红梅 +1 位作者 王雅童 张亮 《中国农机化学报》 北大核心 2025年第3期336-342,352,共8页
针对兽药领域信息专业性强、关联性强、局部特征明显和一词多义的特点,以及主流的命名实体识别模型未充分利用词汇信息的问题,提出一种基于字词融合和注意力机制的兽药文本命名实体识别模型。首先,将BERT预训练模型得到的字向量和Word2... 针对兽药领域信息专业性强、关联性强、局部特征明显和一词多义的特点,以及主流的命名实体识别模型未充分利用词汇信息的问题,提出一种基于字词融合和注意力机制的兽药文本命名实体识别模型。首先,将BERT预训练模型得到的字向量和Word2vec得到的词向量融合。然后,在双向长短期记忆网络中提取全局上下文特征的基础上加入多头自注意力机制挖掘序列的局部特征。最后,通过条件随机场获得最佳标签序列来完成实体识别任务。在兽药文本数据集上进行多组对比试验,结果表明,该模型识别的准确率、召回率和F 1值分别为94.73%、95.29%和95.01%,性能均优于对比模型。 展开更多
关键词 兽药文本 命名实体识别 字词融合 多头自注意力机制
在线阅读 下载PDF
基于多头注意力机制与长短期记忆网络的自然场景文本识别
14
作者 姚炜 冯宪伟 《传感技术学报》 CSCD 北大核心 2024年第12期2107-2112,共6页
随着计算机视觉和自然语言处理技术的不断发展,自然场景文本检测与识别技术已成为计算机视觉领域的研究热点之一。提出了一种基于多头注意力机制与长短期记忆网络(LSTM)的自然场景文本检测与识别方法。该方法通过结合目标检测算法和序... 随着计算机视觉和自然语言处理技术的不断发展,自然场景文本检测与识别技术已成为计算机视觉领域的研究热点之一。提出了一种基于多头注意力机制与长短期记忆网络(LSTM)的自然场景文本检测与识别方法。该方法通过结合目标检测算法和序列识别算法,利用多头注意力机制对图像中的文本区域进行精确的定位和特征提取,进而通过LSTM网络对提取的特征进行编码和解码,实现对自然场景中文本的准确识别。在文本检测阶段,采用基于深度学习的目标检测算法,结合多头注意力机制,通过并行计算多个独立的注意力头来捕获图像中不同尺度和方向上的文本信息,提高文本检测的准确性和鲁棒性。在文本识别阶段,利用LSTM网络对检测到的文本区域进行序列建模,通过编码和解码过程将图像中的文本信息转化为可读的字符序列。实验结果表明,所提出的方法在自然场景文本检测与识别任务上取得了优异的性能。与现有的方法相比,所提出的方法在准确性和鲁棒性方面均有所提升,尤其是在处理复杂背景和多样化文本时表现出更好的适应性。 展开更多
关键词 文本检测与识别 多头注意力机制 自然场景文本 长短期记忆网络
在线阅读 下载PDF
基于融合注意力机制的盾构姿态组合预测模型研究 被引量:1
15
作者 刘哲 许超 熊栋栋 《隧道建设(中英文)》 北大核心 2025年第1期139-150,共12页
针对盾构姿态预测模型存在易过拟合、预测精度低的问题,提出一种基于融合注意力机制的盾构姿态组合预测模型。为强化有效特征的提取,抑制冗余特征信息的表达,引入基于选择性卷积核网络(selective kernel networks,SKNet)的特征注意力机... 针对盾构姿态预测模型存在易过拟合、预测精度低的问题,提出一种基于融合注意力机制的盾构姿态组合预测模型。为强化有效特征的提取,抑制冗余特征信息的表达,引入基于选择性卷积核网络(selective kernel networks,SKNet)的特征注意力机制提取网络,消除固定尺寸卷积核带来的限制,并自适应形成带有注意力的特征映射。为更好地捕捉长期信息和特征模式,通过双向长短期记忆网络(bidirectional long short-term memory,BiLSTM)、门控循环单元(gated recurrent unit, GRU)得到2组隐含输出结果,再利用多头注意力机制,捕获组合模型输出的隐含特征与模型输出的盾构姿态之间的依赖关系,进一步提高预测模型对重要隐含特征的信息抓捕能力;同时,为解决地质勘察钻孔数据连续性差、精确性不足,难以应用于机器学习模型训练的问题,将基于人工先验知识的二级特征引入模型特征输入,提升模型对地层信息的感知能力。最后,基于广州地铁12号线官洲站—大学城北站盾构实例,对模型不同参数结构下的性能进行研究,并进行对比试验验证模型性能,采用可解释性试验评估特征对预测结果的影响。试验结果表明,相比其他预测模型,所提出的预测模型优越性更好,预测精度更高,解决了长时间序列高特征维度数据在传统模型下易过拟合且预测精度较低的问题。 展开更多
关键词 盾构姿态预测 选择性卷积核网络 特征注意力 组合模型 多头注意力机制
在线阅读 下载PDF
基于交叉多头注意力的查询式文本摘要生成
16
作者 何东欢 李旸 王素格 《中文信息学报》 北大核心 2025年第7期138-147,共10页
生成是一项根据给定文档和查询,生成与查询相关摘要的任务。该文将查询式摘要生成任务转换为阅读理解任务,将文档与查询进行交互,建立了基于交叉多头注意力的Transformer架构的多源指针生成式摘要新模型。该模型通过BERT预训练模型,建... 生成是一项根据给定文档和查询,生成与查询相关摘要的任务。该文将查询式摘要生成任务转换为阅读理解任务,将文档与查询进行交互,建立了基于交叉多头注意力的Transformer架构的多源指针生成式摘要新模型。该模型通过BERT预训练模型,建立文档、查询和摘要的嵌入表示,再在Transformer架构中,通过交叉的多头注意力机制,建立查询与文档的交互深层语义表示。在此基础上,使用多源指针生成网络,使生成的摘要与文档和查询内容具有语义一致性和表达连贯性。最后,在查询式文本摘要生成数据集Debatepedia和Querysum-data上,与已有方法进行对比实验,实验结果验证了该文摘要生成模型CMAT-PG的有效性。 展开更多
关键词 查询式文本摘要生成 机器阅读理解 交叉多头注意力机制 多源指针生成网络
在线阅读 下载PDF
基于多头自注意力融合的4D雷达三维目标检测
17
作者 赵宇波 方铖 +3 位作者 张拓 普聪远 陈健 李飞 《计算机工程与设计》 北大核心 2025年第5期1473-1479,共7页
针对4D毫米波雷达在应用中存在点云稀疏和噪声的问题,提出一种基于多头自注意力机制的融合检测方法。利用多头自注意力机制聚焦于缺失点周围的相关点,推断缺失点的特征,减少整体点云的稀疏性;通过调整注意力权重,抑制噪声点的干扰;通过... 针对4D毫米波雷达在应用中存在点云稀疏和噪声的问题,提出一种基于多头自注意力机制的融合检测方法。利用多头自注意力机制聚焦于缺失点周围的相关点,推断缺失点的特征,减少整体点云的稀疏性;通过调整注意力权重,抑制噪声点的干扰;通过融合全局特征与局部特征,增强对体素柱的空间表示,应对复杂场景中的目标识别问题。通过VoD数据集和Dual-Radar数据集的测试和验证,实验结果表明,所提方法改善了由于毫米波雷达点云稀疏性和噪声引起的漏检和误检问题,提高了目标检测精度。 展开更多
关键词 计算机应用技术 毫米波雷达 三维目标检测 多头自注意力机制 融合网络 噪声抑制 点云稀疏性
在线阅读 下载PDF
多头自注意力机制的Faster R-CNN目标检测算法 被引量:11
18
作者 文靖杰 王勇 +1 位作者 李金龙 张渝 《现代电子技术》 北大核心 2024年第7期8-16,共9页
文中提出一种融合多头注意力机制、ROIAlign和Soft-NMS的FasterR-CNN目标检测算法,旨在解决原始Faster R-CNN目标检测网络中存在的检测精度低、漏检、误检的问题。首先,为了提高Faster R-CNN的感知能力,提取特征图中的重要特征并降低对... 文中提出一种融合多头注意力机制、ROIAlign和Soft-NMS的FasterR-CNN目标检测算法,旨在解决原始Faster R-CNN目标检测网络中存在的检测精度低、漏检、误检的问题。首先,为了提高Faster R-CNN的感知能力,提取特征图中的重要特征并降低对无关特征的提取,在网络中嵌入注意力机制;接着,针对共享全连接层的降维操作导致的一些区域的细节信息被忽略,造成局部信息的丢失,采用一维卷积代替共享全连接层实现权重计算的任务,以捕捉更广泛的空间信息;然后为了提供更丰富的特征表达能力,在注意力机制中引入多头机制分别对特征的不同部分进行重要性的加权;为了减少在特征提取时原图信息的丢失,使用ROI Align替换ROI Pooling算法;最后,在算法后处理中引入Soft-NMS替换传统非极大抑制(NMS)算法以减少漏检和误检情况。实验证明,改进后的Faster R-CNN目标检测网络对感兴趣目标的定位能力得到提高,漏检和误检情况减少,平均检测精度得到显著提升。 展开更多
关键词 机器视觉 目标检测 Faster R-CNN ROI Align 多头注意力机制 Soft-NMS
在线阅读 下载PDF
改进多头注意力机制的车道检测方法 被引量:5
19
作者 葛泽坤 陶发展 +1 位作者 付主木 宋书中 《计算机工程与应用》 CSCD 北大核心 2024年第2期264-271,共8页
针对基于卷积神经网络(convolution neural network,CNN)的车道线检测方法存在的网络处理效率低和对车道线细长结构的建模能力不佳的问题,提出一种基于改进多头注意力机制(multi-head self-attention,MHSA)的轻量级车道检测方法。引入MH... 针对基于卷积神经网络(convolution neural network,CNN)的车道线检测方法存在的网络处理效率低和对车道线细长结构的建模能力不佳的问题,提出一种基于改进多头注意力机制(multi-head self-attention,MHSA)的轻量级车道检测方法。引入MHSA,融合Fuse MBConv、MBConv模块与特征压缩模块,降低模型的参数,同时利用上下文信息嵌入模块,建立兼顾检测精度和推理速度的全局注意力网络;利用Transformer的编码和解码器以及前向反馈网络将车道线参数化,结合匈牙利拟合损失函数提高所提出方法对车道线细长结构的建模能力。在TuSimple数据集对所提出的方法进行验证,结果表明,所提出的方法识别精度达到96.3%,推理速度达到95帧/s,同时在Apollo无人驾驶平台上的运行速度达到60帧/s,能够满足实时检测的要求。 展开更多
关键词 多头注意力机制 上下文信息 轻量级车道检测方法 无人驾驶平台
在线阅读 下载PDF
基于马尔可夫转换场与多头注意力机制的电能质量扰动分类方法 被引量:12
20
作者 钱倍奇 陈谦 +2 位作者 李宗源 张政伟 牛应灏 《电网技术》 EI CSCD 北大核心 2024年第2期721-729,共9页
新型电力系统中的电能质量扰动愈加复杂,为提升电能质量复杂扰动分类准确率并增强算法的噪声鲁棒性,提出了一种基于马尔可夫转换场与多头注意力机制的电能质量扰动分类方法。首先,利用马尔可夫转换场对电能质量扰动时序数据进行模态变换... 新型电力系统中的电能质量扰动愈加复杂,为提升电能质量复杂扰动分类准确率并增强算法的噪声鲁棒性,提出了一种基于马尔可夫转换场与多头注意力机制的电能质量扰动分类方法。首先,利用马尔可夫转换场对电能质量扰动时序数据进行模态变换,得到图像模态数据;然后,将图像模态数据输入卷积神经网络进行特征提取;最后,利用多头注意力机制着重关注卷积神经网络提取特征的重要部分并进行扰动分类。与常规的图像模态转换方法相比,该方法具有更好的扰动分类效果与抗噪声能力。 展开更多
关键词 电能质量扰动 深度学习 马尔可夫转换场 多头注意力机制
在线阅读 下载PDF
上一页 1 2 14 下一页 到第
使用帮助 返回顶部