期刊文献+
共找到48篇文章
< 1 2 3 >
每页显示 20 50 100
基于稀疏注意力的时空交互车辆轨迹预测
1
作者 高凯 刘欣宇 +3 位作者 胡林 黄向明 邹铁方 刘鹏 《汽车工程》 北大核心 2025年第5期809-819,共11页
在混合交通环境中,准确预测周边车辆轨迹对自动驾驶汽车安全至关重要。然而,现有技术在长时预测方面仍存在精度低和计算量大的问题。本文提出了一种结合意图概率的时空交互稀疏注意力模型,通过高效的编码-解码结构进行轨迹预测。模型首... 在混合交通环境中,准确预测周边车辆轨迹对自动驾驶汽车安全至关重要。然而,现有技术在长时预测方面仍存在精度低和计算量大的问题。本文提出了一种结合意图概率的时空交互稀疏注意力模型,通过高效的编码-解码结构进行轨迹预测。模型首先构建位置掩码矩阵提取历史轨迹中的位置信息,利用稀疏注意力机制筛选出关键特征,并通过意图行为分析模块提高意图识别的准确率。最终将时空特征、位置特征和意图特征融合输入解码器,以多任务学习方式训练模型。试验结果表明,该模型在HighD和NGSIM数据集上相较于当前最优算法,在3~5 s长时预测的均方根误差均有降低,显著提升了预测效果。此外,通过实车试验对模型在实际场景中的表现进行验证,进一步展示了其在复杂交通环境中的应用潜力。 展开更多
关键词 交通工程 轨迹预测 稀疏注意力 深度学习
在线阅读 下载PDF
基于稀疏注意力的红外弱小目标检测方法
2
作者 张兴旺 李大威 +1 位作者 蔺素珍 禄晓飞 《红外技术》 北大核心 2025年第3期342-350,共9页
针对复杂背景下红外弱小目标像素占比少,细节纹理特征匮乏导致特征提取困难、检测率低、虚警率高的问题,提出一种基于稀疏注意力和多尺度特征融合的红外弱小目标检测网络。该网络利用Resnest的分割注意力提取不同尺度特征,引入Biformer... 针对复杂背景下红外弱小目标像素占比少,细节纹理特征匮乏导致特征提取困难、检测率低、虚警率高的问题,提出一种基于稀疏注意力和多尺度特征融合的红外弱小目标检测网络。该网络利用Resnest的分割注意力提取不同尺度特征,引入Biformer注意力模块学习目标与背景之间的远程关系,采用融合模块将高、低层特征进行融合,经过Head模块输出检测结果二值图。实验结果表明,本文方法在IoU和F_(measure)这两项指标中均取得最优,与DNANet方法相比,所提方法的交并比(IoU)提高3.9%、F_(measure)提高5.6%;与ABCNet方法相比,所提方法的IoU提高5.8%、F_(measure)提高10%;并且在不同复杂背景下均可有效检测出红外弱小目标,体现良好的鲁棒性和适应性,可以有效应用于复杂背景中的红外弱小目标检测。 展开更多
关键词 红外弱小目标检测 稀疏注意力 特征融合 鲁棒性
在线阅读 下载PDF
改进稀疏注意力和Autogram的滚动轴承微弱特征提取
3
作者 毛勇 黄勇波 +2 位作者 侯修群 苗碧琪 张钊光 《噪声与振动控制》 北大核心 2025年第1期158-164,235,共8页
滚动轴承故障信息在分析域中呈现稀疏分布的特点,针对复杂无关信息会严重干扰声发射信号特征提取的问题,提出一种改进稀疏注意力机制结合Autogram的滚动轴承微弱特征提取方法。对声发射时域信号进行平方包络,利用基于改进深度稀疏注意... 滚动轴承故障信息在分析域中呈现稀疏分布的特点,针对复杂无关信息会严重干扰声发射信号特征提取的问题,提出一种改进稀疏注意力机制结合Autogram的滚动轴承微弱特征提取方法。对声发射时域信号进行平方包络,利用基于改进深度稀疏注意力机制的多尺度卷积神经网络(Convolutional neural networks,CNN),挖掘关键频段信息;将关键频段作为滤波依据进行滤波处理,获取注意力增强信号;进一步,考虑到滚动轴承缺陷引起的声发射信号具有强周期性与脉冲性,引入Autogram方法,利用平方包络的自相关峭度作为筛选指标优选解调频带,以解决谱峭度等方法在低信噪比及非高斯噪声干扰情况下特征提取效果不佳的问题;最后,计算最优解调子信号的平方包络谱,实现滚动轴承微弱故障特征提取。基于滚动轴承内圈、外圈故障实测信号进行验证,并与Kurtogram、Autogram方法进行对比,证明所提方法可实现滚动轴承声发射信号微弱特征增强与故障特征提取。 展开更多
关键词 故障诊断 稀疏注意力机制 Autogram 特征增强 滚动轴承
在线阅读 下载PDF
融合稀疏注意力机制在DDoS攻击检测中的应用 被引量:2
4
作者 王博 万良 +2 位作者 叶金贤 刘明盛 孙菡迪 《计算机工程与设计》 北大核心 2024年第5期1312-1320,共9页
针对现有的DDoS(distributed denial of service)攻击检测模型面临大量数据时,呈现出检测效率低的问题。为适应当前网络环境,通过研究DDoS攻击检测模型、提取流量特征、计算攻击密度,提出一种基于融合稀疏注意力机制的DDoS攻击检测模型G... 针对现有的DDoS(distributed denial of service)攻击检测模型面临大量数据时,呈现出检测效率低的问题。为适应当前网络环境,通过研究DDoS攻击检测模型、提取流量特征、计算攻击密度,提出一种基于融合稀疏注意力机制的DDoS攻击检测模型GVBNet(global variable block net),使用攻击密度自适应计算稀疏注意力。利用信息熵以及信息增益分析提取攻击流量的连续字节作为特征向量,通过构建基于GVBNet的网络模型在两种数据集上进行训练。实验结果表明,该方法具有良好的识别效果、检测速度以及抗干扰能力,在不同的环境下具有应用价值。 展开更多
关键词 分布式拒绝服务攻击 稀疏注意力机制 攻击密度 信息熵 信息增益 模型优化 攻击检测
在线阅读 下载PDF
基于动态稀疏注意力的地铁客流预测模型 被引量:5
5
作者 马茜 梁奕 +1 位作者 段毅 曾尚琦 《城市轨道交通研究》 北大核心 2022年第4期22-26,共5页
地铁客流预测是随时间演变的多维时间序列数据,不同序列之间存在复杂的动态相互依赖关系。为挖掘多种监测指标之间存在的内在复杂关系,提出动态稀疏注意力模型:利用全局变量注意力自动选择相关驱动序列,增强模型预测的判别性;根据局部... 地铁客流预测是随时间演变的多维时间序列数据,不同序列之间存在复杂的动态相互依赖关系。为挖掘多种监测指标之间存在的内在复杂关系,提出动态稀疏注意力模型:利用全局变量注意力自动选择相关驱动序列,增强模型预测的判别性;根据局部紧密相关和全局稀疏相关的先验知识,对历史时间步和相关变量分别卷积和稀疏卷积,提取局部时间和局部变量特征;设计了稀疏注意力对相关时间步加权和变量加权,提高预测表现。结果表明,与其他常用客流预测模型相比,动态稀疏注意力模型能高度准确地预测客流。 展开更多
关键词 地铁 客流预测 动态稀疏注意力模型
在线阅读 下载PDF
一种基于时空稀疏注意力的时空图挖掘算法 被引量:1
6
作者 谢毅 王强 +4 位作者 李海宏 金诚 任洪润 薛雯 熊贇 《计算机工程》 CAS CSCD 北大核心 2023年第4期108-113,共6页
当前用于时空图挖掘的算法通常基于专家预定义或者经过特征增强的静态图结构,这些静态的图结构往往依赖于主观先验知识构建,并且不包含时间动态性的变化。为完成自动获取时空图数据中动态图特征的任务,提出一种基于时空稀疏注意力的时... 当前用于时空图挖掘的算法通常基于专家预定义或者经过特征增强的静态图结构,这些静态的图结构往往依赖于主观先验知识构建,并且不包含时间动态性的变化。为完成自动获取时空图数据中动态图特征的任务,提出一种基于时空稀疏注意力的时空图挖掘算法(STSAN)。构造空间稀疏注意力层,通过对每个时间片上节点间的关系进行度量生成稀疏图,并在各个稀疏图结构上使用注意力机制完成节点空间(纵向)特征的提取。时间稀疏注意力层通过类似的方式完成节点时序(横向)特征的提取。在此基础上,将空间稀疏注意力层和时间稀疏注意力层堆叠为时空稀疏Transformer模块,完成时空依赖关系建模。实验结果表明,与DCRNN、STGCN等方法相比,该算法在2个公开的交通数据集上能够获得2.65%~16.35%的性能提升,将所提出的空间稀疏注意力层直接用于替换现有算法的空间特征模块,能够在原算法基础上获得平均3.18%~9.14%的性能提升。 展开更多
关键词 时空图 稀疏注意力 图结构 时空依赖 动态性
在线阅读 下载PDF
融合稀疏注意力和时间查询的视频目标检测 被引量:1
7
作者 梅思怡 刘彦隆 《计算机工程与应用》 CSCD 北大核心 2023年第20期192-199,共8页
在视频目标检测任务中,检测精度受到多重因素影响,包括检测对象随时间的外观变化、视频文件的抖动、散焦导致单帧图像的模糊、重影等,为提高视频文件的目标检测精度、改善目标边缘检测模糊的问题,提出一种改进的端到端的视频目标检测网... 在视频目标检测任务中,检测精度受到多重因素影响,包括检测对象随时间的外观变化、视频文件的抖动、散焦导致单帧图像的模糊、重影等,为提高视频文件的目标检测精度、改善目标边缘检测模糊的问题,提出一种改进的端到端的视频目标检测网络。一方面,通过引入稀疏注意力机制使目标前景更加聚焦,减少注意力分散和背景干扰,提升边缘检测的精准度;另一方面,引入时间融合查询模块,利用具有更多信息的浅层编码器链接参考帧的时间查询,实现跨时间上下文的特征融合和目标帧的特征增强。此外,通过利用远近距离稀疏地选取参考帧来补充目标的运动模糊,同时减少冗余。在ImageNet VID和UA-DETRAC这两个数据集上分别对模型进行评估,准确率可达到92.3%和90.9%。实验结果表明,所提模型在视频目标检测任务上效果更好,综合性能较其他先进网络有所提升。 展开更多
关键词 目标检测 视频目标检测 稀疏注意力机制 对象查询
在线阅读 下载PDF
融合稀疏图注意力的多元时间序列异常检测方法 被引量:1
8
作者 衡红军 代栋炜 《计算机工程与设计》 北大核心 2025年第3期841-849,共9页
为解决时序数据中时空依赖关系不明确而导致多元时间序列异常检测效果较差的问题,提出一种基于稀疏图注意力网络的异常检测模型PSGAT-AD(ProbSparse graph attention networks anomaly detection)。采用卷积神经网络(convolutional neur... 为解决时序数据中时空依赖关系不明确而导致多元时间序列异常检测效果较差的问题,提出一种基于稀疏图注意力网络的异常检测模型PSGAT-AD(ProbSparse graph attention networks anomaly detection)。采用卷积神经网络(convolutional neural networks,CNN)提取时间戳上下文信息并使用全局时间戳编码和Transformer位置编码增强序列之间的联系。利用稀疏自注意力关注重要的时间戳与特征,通过自注意力蒸馏(self-attention distillation)降低输入规模,使重要的特征更加突出,以学习时间和特征两个维度的复杂依赖关系,提升表示学习质量。通过构建基于预测和重构的综合损失函数,对模型参数进行优化。将综合损失误差作为异常得分实现异常判定。实验结果表明,PSGAT-AD模型在4个公开数据集上的F1得分提升1.47%~6.52%。 展开更多
关键词 异常检测 多元时间序列 注意力网络 时间戳编码 稀疏注意力 注意力蒸馏 综合损失误差
在线阅读 下载PDF
融合RNN与稀疏自注意力的文本摘要方法 被引量:1
9
作者 刘钟 唐宏 +1 位作者 王宁喆 朱传润 《计算机工程》 北大核心 2025年第1期312-320,共9页
随着深度学习的高速发展,基于序列到序列(Seq2Seq)架构的文本摘要方法成为研究焦点,但现有大多数文本摘要模型受限于长期依赖,忽略了注意力机制复杂度以及词序信息对文本摘要生成的影响,生成的摘要丢失关键信息,偏离原文内容与意图,影... 随着深度学习的高速发展,基于序列到序列(Seq2Seq)架构的文本摘要方法成为研究焦点,但现有大多数文本摘要模型受限于长期依赖,忽略了注意力机制复杂度以及词序信息对文本摘要生成的影响,生成的摘要丢失关键信息,偏离原文内容与意图,影响用户体验。为了解决上述问题,提出一种基于Transformer改进的融合递归神经网络(RNN)与稀疏自注意力的文本摘要方法。首先采用窗口RNN模块,将输入文本按窗口划分,每个RNN对窗口内词序信息进行压缩,并通过窗口级别的表示整合为整个文本的表示,进而增强模型捕获局部依赖的能力;其次采用基于递归循环机制的缓存模块,循环缓存上一文本片段的信息到当前片段,允许模型更好地捕获长期依赖和全局信息;最后采用稀疏自注意力模块,通过块稀疏矩阵对注意力矩阵按块划分,关注并筛选出重要令牌对,而不是在所有令牌对上平均分配注意力,从而降低注意力的时间复杂度,提高长文本摘要任务的效率。实验结果表明,该方法在数据集text8、enwik8上的BPC分数相比于LoBART模型降低了0.02,在数据集wikitext-103以及ptb上的PPL分数相比于LoBART模型分别降低了1.0以上,验证了该方法的可行性与有效性。 展开更多
关键词 序列到序列架构 文本摘要 Transformer模型 递归神经网络 递归循环机制 稀疏注意力机制
在线阅读 下载PDF
基于稀疏自注意力图神经网络的三维目标检测
10
作者 彭志辰 封岸松 +2 位作者 王天柱 邵鑫喆 库涛 《计算机工程与应用》 北大核心 2025年第3期295-305,共11页
三维目标检测是自动驾驶环境感知中最重要的技术之一。为了解决远距离漏检问题,提升三维目标检测的效果,提出一种基于稀疏自注意力图神经网络的三维目标检测方法(SSA-GNN),在采样关键点阶段,提出动态区域并行采样法,通过采样区域过滤,... 三维目标检测是自动驾驶环境感知中最重要的技术之一。为了解决远距离漏检问题,提升三维目标检测的效果,提出一种基于稀疏自注意力图神经网络的三维目标检测方法(SSA-GNN),在采样关键点阶段,提出动态区域并行采样法,通过采样区域过滤,场景划分为扇区,融合动态最远体素采样的方式,以保持关键点均匀分布、加速采样同时提升前景点比例。在细化建议框阶段,利用图神经网络在点之间建立联系,通过迭代的消息传递来更好地建模上下文信息和聚合领域信息,并改进多头自注意机制来更好地关注特征聚合后领域中的重要关系,从而提高算法检测性能。SSA-GNN在KITTI公开数据集上进行测试,与基线网络PointPillars、SECOND和PointRCNN相比,在困难等级指标下,Car类平均精度分别提升了7.95、5.50、6.94个百分点,结果表明SSA-GNN可有效提升三维目标检测性能。 展开更多
关键词 三维目标检测 关键点采样 图神经网络 稀疏注意力
在线阅读 下载PDF
集双向标准化和稀疏自注意力的点云分割
11
作者 张蕊 武益超 +1 位作者 黄官龙 金玮 《计算机工程与应用》 北大核心 2025年第15期189-198,共10页
随着激光雷达点云在智慧城市规划、自动导航与驾驶、同步定位与高精度制图等领域的广泛应用,点云特征提取作为场景感知与解译的基础而备受关注。然而激光雷达点云存在稀疏、无序、非结构等特性以及点云地物目标之间存在遮挡、远稀近密... 随着激光雷达点云在智慧城市规划、自动导航与驾驶、同步定位与高精度制图等领域的广泛应用,点云特征提取作为场景感知与解译的基础而备受关注。然而激光雷达点云存在稀疏、无序、非结构等特性以及点云地物目标之间存在遮挡、远稀近密等问题,使得点云特征提取面临严峻挑战。当前深度学习模型在捕获点云几何信息时,难以有效提取海量非结构化数据的细粒度特征;在捕获语义信息时,稀疏数据环境下对局部空间关系的建模准确度不高。针对以上局限性,构建了一种全新的点云语义分割模型PointDTNet,该模型为解决特征编码阶段分组采样点不规则问题,设计出一种点云双向标准化模块,通过点标准化和逆向点标准化操作,以自适应地方式优化分组点和采样点的密度分布,有效阻止了不规则数据特征的传递。为增强模型对空间关系的建模能力,设计了一种作用于点云局部邻域的Transformer稀疏自注意力模块,该模块为平衡计算效率与模型复杂度,仅允许每个点与其邻域内的点进行交互,并通过位置嵌入的方式对局部邻域内点的相对位置进行编码,以自适应地分配每个点的特征权重。实验结果表明,PointDTNet模型在点云语义分割任务中取得了显著效果,其在S3DIS数据集“Area 5”上的OA、mAcc、mIoU分别达到84.68%、65.11%、54.98%;在相同实验条件下,与基模型PointNet++相比OA、mAcc、mIoU分别提高了1.23、7.72、2.07个百分点。 展开更多
关键词 激光雷达点云 语义分割 双向标准化 稀疏注意力 多特征融合
在线阅读 下载PDF
基于注意力时间卷积神经网络的光伏功率概率预测
12
作者 李青 《太阳能学报》 北大核心 2025年第2期326-332,共7页
针对确定性光伏功率预测无法计算预测结果概率和波动范围的问题,采用改进时间卷积神经网络(TCNN)开展光伏功率概率预测。TCNN已用于各种时序预测任务,但其在输入序列很长情况下需增加卷积层来提升预测性能。在TCNN中引入稀疏注意力机制... 针对确定性光伏功率预测无法计算预测结果概率和波动范围的问题,采用改进时间卷积神经网络(TCNN)开展光伏功率概率预测。TCNN已用于各种时序预测任务,但其在输入序列很长情况下需增加卷积层来提升预测性能。在TCNN中引入稀疏注意力机制,构建注意力时间卷积神经网络(ATCNN),通过分层卷积结构提取时间依赖关系,利用稀疏注意力关注重要的时间步,构建的稀疏注意力层无需更深的架构即可扩展感受野,并使预测结果更具可解释性。在两个光伏数据集上的功率概率预测结果表明,ATCNN的预测准确性优于TCNN、时间融合解码器(TFT)等先进深度学习模型,同时对于感受野的扩展,ATCNN比TCNN需要的卷积层更少、训练速度更快,并能可视化预测过程中最重要的时间步。同卷积层情况下,ATCNN比TCNN的点预测损失小15.7%,概率预测损失小15.9%。 展开更多
关键词 光伏功率 预测 时间卷积网络 稀疏注意力机制 可解释性
在线阅读 下载PDF
基于双向长短期记忆网络与稀疏自注意力的票据文本识别方法
13
作者 冯宪伟 姚炜 《传感技术学报》 CAS CSCD 北大核心 2024年第11期1946-1951,共6页
提出了一种基于双向长短期记忆网络(BiLSTM)与稀疏自注意力机制的票据文本识别方法。针对票据文本识别中面临的复杂布局、多变字体及背景噪声干扰等挑战,采用深度卷积神经网络进行预处理,准确提取文本区域,并将图像数据转换为序列数据... 提出了一种基于双向长短期记忆网络(BiLSTM)与稀疏自注意力机制的票据文本识别方法。针对票据文本识别中面临的复杂布局、多变字体及背景噪声干扰等挑战,采用深度卷积神经网络进行预处理,准确提取文本区域,并将图像数据转换为序列数据输入到BiLSTM模型中。BiLSTM通过其双向结构,能够同时捕捉文本序列中的前向和后向信息,有效提高了文本理解的准确性。为了进一步提升识别性能,引入了稀疏自注意力机制,通过计算序列中不同位置之间的相关性得分,形成稀疏的注意力矩阵,从而捕捉文本中的长距离依赖关系。这种机制不仅降低了计算复杂度,还提高了模型对关键信息的关注度。实验结果表明,所提出的票据文本识别方法在处理复杂票据文本时表现出色,具有较高的识别精度和效率。与传统方法相比,所提方法能够更好地适应票据文本的多样性和复杂性,并在实际应用中展现出良好的鲁棒性和泛化能力。 展开更多
关键词 稀疏注意力机制 双向长短期记忆网络 票据文本识别 光学字符识别
在线阅读 下载PDF
基于局部全局自注意与空间通道稀疏增强的红外船舶目标检测算法研究
14
作者 黎煜培 王忠华 《红外与激光工程》 北大核心 2025年第3期339-351,共13页
针对红外船舶图像检测中存在目标尺度变化大、密集堆叠目标多、小目标细节丢失等问题,提出了一种基于局部全局自注意与空间通道稀疏增强的红外船舶目标检测算法。首先,在YOLOv8s主干网络中融入局部全局自注意力模块,以获取更丰富的局部... 针对红外船舶图像检测中存在目标尺度变化大、密集堆叠目标多、小目标细节丢失等问题,提出了一种基于局部全局自注意与空间通道稀疏增强的红外船舶目标检测算法。首先,在YOLOv8s主干网络中融入局部全局自注意力模块,以获取更丰富的局部和全局特征,解决深度特征提取过程中的信息稀释丢失问题,实现细致化聚焦目标特征,增强特征间依赖关系,提高小目标的特征提取能力。其次,在颈部网络中加入空间通道稀疏注意力模块,将分块特征提取与通道稀疏策略深度融合,提升多尺度目标的空间信息捕获能力,重构通道信息,再对特征重标定,强化重要特征信息的影响,增强多尺度特征融合能力。最后,采用引入了递减置信度惩罚因子的Soft-NMS改进NMS,优化堆叠目标与小目标误检漏检的问题。实验结果表明,改进后的YOLOv8s模型相较于基准模型,在mAP0.5和mAP0.5∶0.95评价指标上分别提高了2.1%和4.4%,达到95.7%和72.8%,进一步验证了该算法在提升红外船舶目标检测精度上的有效性。同时,与其他经典模型和最新的YOLOv11模型相比,该算法在检测精度方面具有更好的性能。 展开更多
关键词 YOLOv8s 局部全局自注意力 空间通道稀疏注意力 Soft-NMS
在线阅读 下载PDF
基于概率稀疏自注意力的航空发动机剩余寿命预测 被引量:1
15
作者 王欣 黄佳琪 许雅玺 《科学技术与工程》 北大核心 2024年第6期2424-2433,共10页
航空发动机剩余寿命预测对其健康管理具有重要意义,针对长序列、多维度的航空发动机监测参数,提出一种基于概率稀疏自注意力(ProbSparse Self-Attention)的Transformer模型以实现航空发动机剩余寿命的准确预测。用ProbSparse Self-Atten... 航空发动机剩余寿命预测对其健康管理具有重要意义,针对长序列、多维度的航空发动机监测参数,提出一种基于概率稀疏自注意力(ProbSparse Self-Attention)的Transformer模型以实现航空发动机剩余寿命的准确预测。用ProbSparse Self-Attention取代原始Transformer中的常规自注意力机制,使得模型更关注时间序列中重要的时间节点,大幅缩减时间维度,减小了时间和空间复杂度;通过注意力层整合后的信息,进一步通过前馈神经网络层和卷积层,提取传感器的空间特征,编码层之间通过扩张因果卷积相连接,扩大了感受野,提高了模型对长序列信息的捕获能力。在新公开的N-CMAPSS数据集上验证算法,实验结果表明,相比于实验中的对比模型,所提模型的RMSE和Score值均有提升,推理速度也优于其他模型。 展开更多
关键词 概率稀疏注意力 剩余寿命预测 航空发动机 TRANSFORMER 深度学习
在线阅读 下载PDF
基于稀疏自注意力和可见-近红外光谱的土壤氮含量预测 被引量:3
16
作者 冀荣华 李常昊 +1 位作者 郑立华 宋丽芬 《农业机械学报》 EI CAS CSCD 北大核心 2024年第10期392-398,409,共8页
氮是影响作物生长的关键因素,精准获取土壤氮含量是实施各类农田水肥管理技术的基础。利用可见-近红外光谱技术可以快速检测土壤氮含量,预测模型精度和泛化能力是制约将光谱技术应用于土壤氮含量检测的瓶颈。为此,提出了一种基于稀疏自... 氮是影响作物生长的关键因素,精准获取土壤氮含量是实施各类农田水肥管理技术的基础。利用可见-近红外光谱技术可以快速检测土壤氮含量,预测模型精度和泛化能力是制约将光谱技术应用于土壤氮含量检测的瓶颈。为此,提出了一种基于稀疏自注意力和可见-近红外光谱的土壤氮含量预测模型(Visible-near-infrared reflection spectrum and sparse transformer,VNIRSformer)用于提升预测精度和泛化能力。模型由输入层、嵌入层、编码器、解码器、预测层和输出层组成。采用大型公开数据集(Land use/cover area frame statistical survey,LUCAS)训练模型以提升模型泛化能力。实验测试VNIRSformer模型在15种不同光谱波长间隔下的性能,发现:随着波长间隔增加,预测精度先升后降,模型规模不断变小。波长间隔为1 nm时模型预测精度最低,RMSE为0.47 g/kg,R^(2)为0.78。波长间隔为5 nm时模型预测精度最高,RMSE为0.35 g/kg,R^(2)为0.89。当波长间隔从0.5 nm增加至1 nm时,模型规模下降最快,下降比例约为72%。当增加至5 nm后,模型规模匀速下降,下降比例约为5%。综合考虑模型规模及性能,最佳波长间隔设为5 nm。与6种不同预测模型(2种卷积神经网络、传统自注意力模型、偏最小二乘回归、支持向量机回归和K近邻回归)进行对比实验,发现:VNIRSformer模型性能最佳,RMSE为0.35 g/kg,R^(2)为0.89,RPD为2.95。测试VNIRSformer对不同等级的土壤氮含量预测能力,发现:VNIRSformer模型能够较好预测小于5 g/kg的土壤氮含量。将VNIRSformer模型直接应用于自采数据集,发现:R^(2)下降约0.17,表明模型具有一定泛化能力。研究表明,选取波长间隔为5 nm的光谱数据作为VNIRSformer模型输入,预测性能最佳,规模适中;稀疏注意力机制有助于提升模型预测精度,降低模型训练时间;预测模型具有一定泛化能力。研究结果可为基于可见-近红外光谱的土壤氮含量预测技术田间实际应用提供理论支持。 展开更多
关键词 土壤氮含量 预测模型 稀疏注意力机制 可见-近红外光谱
在线阅读 下载PDF
基于稀疏自注意力的偏振表面法线估计
17
作者 于智超 万振华 赵开春 《光学精密工程》 EI CAS CSCD 北大核心 2024年第20期2987-2998,共12页
对于物体表面法线的准确估计在各种计算机视觉任务中扮演着重要角色。采用基于物理的偏振表面法线估计方法存在诸多限制,限制了其实用性。相反,基于深度学习的偏振表面法线估计方法在精度和适用性上均超越了基于物理的方法,为了进一步... 对于物体表面法线的准确估计在各种计算机视觉任务中扮演着重要角色。采用基于物理的偏振表面法线估计方法存在诸多限制,限制了其实用性。相反,基于深度学习的偏振表面法线估计方法在精度和适用性上均超越了基于物理的方法,为了进一步提高基于深度学习的偏振表面法线估计精度,以使其能适用于更多的实际任务,本文提出了一种新的方法。首先,结合斯托克斯矢量提出了一种新的偏振信息表示方法,旨在提高模型对偏振物理先验信息的提取能力。随后结合基于双层路由的稀疏自注意力机制,以改进模型对全局上下文信息的感知能力,来更好地对局部偏振信息消歧。在DeepSfP数据集和自建测试数据进行测试。实验结果表明:提出的方法在DeepSfP数据集上平均角度误差为13.37°,并在精度和角度误差等所有测试指标上均优于现有方法,证明了该方法在估计法线效果方面的显著改进。通过引入新的偏振信息表示方法和稀疏自注意力机制,我们的方法提高了偏振表面法线估计的精度和适用性,为实际任务的应用提供了更强的支持。 展开更多
关键词 偏振信息表达 稀疏注意力机制 偏振表面法线估计
在线阅读 下载PDF
基于概率化稀疏自注意力LSTM的锂离子电池健康状态预测 被引量:1
18
作者 关燕鹏 刘成刚 +1 位作者 相洪涛 张晓宇 《控制工程》 CSCD 北大核心 2024年第10期1833-1840,共8页
针对锂离子电池健康状态(state of health,SOH)预测,提出了一种基于概率化稀疏自注意力机制(probsparseself-attentionmechanism,PSM)和长短期记忆(longshort-term memory,LSTM)神经网络的预测模型。首先,提取锂离子电池容量数据并进行... 针对锂离子电池健康状态(state of health,SOH)预测,提出了一种基于概率化稀疏自注意力机制(probsparseself-attentionmechanism,PSM)和长短期记忆(longshort-term memory,LSTM)神经网络的预测模型。首先,提取锂离子电池容量数据并进行窗口化处理,利用位置嵌入获取高维数据之间的特征信息并对数据进行位置编码。然后,引入PSM对输入数据的权重进行稀疏性判断,增加对SOH预测具有关键影响的因素的权重。最后,利用LSTM神经网络捕获数据之间的时序特征进行锂离子电池SOH预测。实验结果表明,与其他常用的锂离子电池SOH预测模型相比,所提模型可以减少预测误差,具有更好的预测性能。 展开更多
关键词 锂离子电池 LSTM神经网络 健康状态 概率化稀疏注意力机制
在线阅读 下载PDF
频率引导的双稀疏自注意力单图像去雨算法 被引量:4
19
作者 文渊博 高涛 +1 位作者 陈婷 张千禧 《电子学报》 EI CAS CSCD 北大核心 2023年第10期2812-2820,共9页
现有基于自注意力网络Transformer的单图像去雨算法尽管在合成雨图上在取得良好效果,但却造成巨大的计算负担,且无法有效处理真实雨图.对此,本文提出一种频率引导的双稀疏自注意力单图像去雨算法(Frequen⁃cy-guided Dual Sparse self-At... 现有基于自注意力网络Transformer的单图像去雨算法尽管在合成雨图上在取得良好效果,但却造成巨大的计算负担,且无法有效处理真实雨图.对此,本文提出一种频率引导的双稀疏自注意力单图像去雨算法(Frequen⁃cy-guided Dual Sparse self-Attention TransFormer,FDSATFormer).首先,该算法利用空间稀疏因子和通道降维因子在提取准确全局信息的同时减少计算量,进而提出双稀疏自注意力特征学习网络(Dual Sparse self-attention Feature Leran⁃ing,DSFL)以解决Transformer在高分辨率雨图上难以表征自注意力的问题.其次,该算法通过探究图像去雨前后的频谱变化,提出频率引导的特征增强模块(Frequency-guided Feature Enhancer,FFE),其利用频域的全局信息指导特征编码阶段对空域特征的学习.此外,现有去雨网络的编解码结构采用相近的设计,这导致网络的整体计算负担倍增.对此,本文提出层级特征解码重建网络(Hierarchical Feature Decoding and Reconstructing network,HFDR),其利用无参的空间邻域移位操作(Spatial Neighborhood Shift,SNS)构建特征解码网络,在取得良好效果的同时进一步减少整体的计算负担.实验表明,相比表现优秀的Uformer和Restormer,本文算法所得结果的平均峰值信噪比分别提升3.13 dB和0.12 dB,平均结构相似性分别提升1.39%和1.07%. 展开更多
关键词 计算机视觉 图像去雨 注意力网络 稀疏注意力 空间移位 频率引导学习
在线阅读 下载PDF
采用稀疏自注意力机制和BiLSTM模型的细粒度情感分析 被引量:3
20
作者 曹卫东 潘红坤 《计算机应用与软件》 北大核心 2022年第12期187-194,共8页
使用Word2vec训练词向量、循环神经网络和注意力机制进行情感分析时,存在着文本特征提取不全面、计算资源消耗过多、计算时间较长的问题。为解决这些问题,提出新的CBSA网络模型。该模型使用Cw2vec预训练的词向量作为输入,双向长短期记... 使用Word2vec训练词向量、循环神经网络和注意力机制进行情感分析时,存在着文本特征提取不全面、计算资源消耗过多、计算时间较长的问题。为解决这些问题,提出新的CBSA网络模型。该模型使用Cw2vec预训练的词向量作为输入,双向长短期记忆网络(BiLSTM)来对这些具有时序信息的文本进行全面特征的提取;使用分解后的稀疏自注意力机制(Sparse Self-Attention)再次对这些文本特征进行权重赋予;由Softmax对文本进行情感的分类。实验结果表明,使用Cw2vec训练的词向量相比Word2vec, F1-Score大约提高0.3%;CBSA模型相比未分解的自注意力机制(Self-Attention),内存消耗减少了大约200 MB,训练时间缩短了210 s。 展开更多
关键词 Cw2vec 细粒度情感分析 循环神经网络 双向长短期记忆网络 稀疏注意力机制
在线阅读 下载PDF
上一页 1 2 3 下一页 到第
使用帮助 返回顶部