期刊文献+
共找到88篇文章
< 1 2 5 >
每页显示 20 50 100
基于注意力时间卷积神经网络的光伏功率概率预测
1
作者 李青 《太阳能学报》 北大核心 2025年第2期326-332,共7页
针对确定性光伏功率预测无法计算预测结果概率和波动范围的问题,采用改进时间卷积神经网络(TCNN)开展光伏功率概率预测。TCNN已用于各种时序预测任务,但其在输入序列很长情况下需增加卷积层来提升预测性能。在TCNN中引入稀疏注意力机制... 针对确定性光伏功率预测无法计算预测结果概率和波动范围的问题,采用改进时间卷积神经网络(TCNN)开展光伏功率概率预测。TCNN已用于各种时序预测任务,但其在输入序列很长情况下需增加卷积层来提升预测性能。在TCNN中引入稀疏注意力机制,构建注意力时间卷积神经网络(ATCNN),通过分层卷积结构提取时间依赖关系,利用稀疏注意力关注重要的时间步,构建的稀疏注意力层无需更深的架构即可扩展感受野,并使预测结果更具可解释性。在两个光伏数据集上的功率概率预测结果表明,ATCNN的预测准确性优于TCNN、时间融合解码器(TFT)等先进深度学习模型,同时对于感受野的扩展,ATCNN比TCNN需要的卷积层更少、训练速度更快,并能可视化预测过程中最重要的时间步。同卷积层情况下,ATCNN比TCNN的点预测损失小15.7%,概率预测损失小15.9%。 展开更多
关键词 光伏功率 预测 时间卷积网络 稀疏注意力机制 可解释性
在线阅读 下载PDF
基于概率稀疏自注意力的航空发动机剩余寿命预测 被引量:1
2
作者 王欣 黄佳琪 许雅玺 《科学技术与工程》 北大核心 2024年第6期2424-2433,共10页
航空发动机剩余寿命预测对其健康管理具有重要意义,针对长序列、多维度的航空发动机监测参数,提出一种基于概率稀疏自注意力(ProbSparse Self-Attention)的Transformer模型以实现航空发动机剩余寿命的准确预测。用ProbSparse Self-Atten... 航空发动机剩余寿命预测对其健康管理具有重要意义,针对长序列、多维度的航空发动机监测参数,提出一种基于概率稀疏自注意力(ProbSparse Self-Attention)的Transformer模型以实现航空发动机剩余寿命的准确预测。用ProbSparse Self-Attention取代原始Transformer中的常规自注意力机制,使得模型更关注时间序列中重要的时间节点,大幅缩减时间维度,减小了时间和空间复杂度;通过注意力层整合后的信息,进一步通过前馈神经网络层和卷积层,提取传感器的空间特征,编码层之间通过扩张因果卷积相连接,扩大了感受野,提高了模型对长序列信息的捕获能力。在新公开的N-CMAPSS数据集上验证算法,实验结果表明,相比于实验中的对比模型,所提模型的RMSE和Score值均有提升,推理速度也优于其他模型。 展开更多
关键词 概率稀疏自注意力 剩余寿命预测 航空发动机 TRANSFORMER 深度学习
在线阅读 下载PDF
融合RNN与稀疏自注意力的文本摘要方法 被引量:1
3
作者 刘钟 唐宏 +1 位作者 王宁喆 朱传润 《计算机工程》 北大核心 2025年第1期312-320,共9页
随着深度学习的高速发展,基于序列到序列(Seq2Seq)架构的文本摘要方法成为研究焦点,但现有大多数文本摘要模型受限于长期依赖,忽略了注意力机制复杂度以及词序信息对文本摘要生成的影响,生成的摘要丢失关键信息,偏离原文内容与意图,影... 随着深度学习的高速发展,基于序列到序列(Seq2Seq)架构的文本摘要方法成为研究焦点,但现有大多数文本摘要模型受限于长期依赖,忽略了注意力机制复杂度以及词序信息对文本摘要生成的影响,生成的摘要丢失关键信息,偏离原文内容与意图,影响用户体验。为了解决上述问题,提出一种基于Transformer改进的融合递归神经网络(RNN)与稀疏自注意力的文本摘要方法。首先采用窗口RNN模块,将输入文本按窗口划分,每个RNN对窗口内词序信息进行压缩,并通过窗口级别的表示整合为整个文本的表示,进而增强模型捕获局部依赖的能力;其次采用基于递归循环机制的缓存模块,循环缓存上一文本片段的信息到当前片段,允许模型更好地捕获长期依赖和全局信息;最后采用稀疏自注意力模块,通过块稀疏矩阵对注意力矩阵按块划分,关注并筛选出重要令牌对,而不是在所有令牌对上平均分配注意力,从而降低注意力的时间复杂度,提高长文本摘要任务的效率。实验结果表明,该方法在数据集text8、enwik8上的BPC分数相比于LoBART模型降低了0.02,在数据集wikitext-103以及ptb上的PPL分数相比于LoBART模型分别降低了1.0以上,验证了该方法的可行性与有效性。 展开更多
关键词 序列到序列架构 文本摘要 Transformer模型 递归神经网络 递归循环机制 稀疏自注意力机制
在线阅读 下载PDF
激光雷达稀疏图像的残差通道注意力机制复原重建方法研究
4
作者 严伟 杨韬 +5 位作者 吴志祥 刘岩 胡淑姬 王春勇 来建成 李振华 《电子测量与仪器学报》 CSCD 北大核心 2024年第12期35-42,共8页
稀疏采样与图像复原相结合不但可以压缩数据容量,而且还可以提高成像速度,对于发展高分辨率激光雷达成像技术具有重要意义。为了改善稀疏采样图像的复原效果,本文设计了一种新的残差通道注意力机制网络块,并将残差通道注意力机制引入到... 稀疏采样与图像复原相结合不但可以压缩数据容量,而且还可以提高成像速度,对于发展高分辨率激光雷达成像技术具有重要意义。为了改善稀疏采样图像的复原效果,本文设计了一种新的残差通道注意力机制网络块,并将残差通道注意力机制引入到基于压缩感知迭代软阈值方法的深度展开网络中,抑制图像复原重建中因缺失高频信息而导致的模糊现象,形成了一种新的激光雷达稀疏采样图像的复原重建方法。该方法结合了传统压缩感知重建方法和神经网络方法的优势,与传统压缩感知重建方法相比,具有更快的重建速度;与现有神经网络方法相比,增强了结构洞察力,改进了重建图像模糊问题。以Middlebury Stereo Data 2006为测试数据集的验证计算表明,本文提出的方法与SDA、ReconNet、TVAL3、D-AMP和IRCNN等方法相比不但具有更好的图像重建质量,而且具有较高的计算效率;当稀疏采样比率为25%时,复原后图像的峰值信噪比要比其他方法高1.6 d B以上,是一种综合性能较理想的激光雷达稀疏图像复原方法。 展开更多
关键词 激光雷达 图像复原 稀疏图像 注意力机制 残差通道
在线阅读 下载PDF
基于关联交互和双边注意力的稀疏目标检测器
5
作者 周泽政 陈东方 王晓峰 《计算机工程与设计》 北大核心 2025年第1期206-213,共8页
稀疏目标检测器Sparse R-CNN算法缺少对目标间关系的建模,导致网络对全局特征信息的利用较差,使检测效果不佳。为解决上述问题,提出关联交互模块,通过融合可学习的参数和与图像数据相关的目标间关联特征数据,增强目标之间的关联性;提出... 稀疏目标检测器Sparse R-CNN算法缺少对目标间关系的建模,导致网络对全局特征信息的利用较差,使检测效果不佳。为解决上述问题,提出关联交互模块,通过融合可学习的参数和与图像数据相关的目标间关联特征数据,增强目标之间的关联性;提出双边注意力机制,通过融合实例交互注意力信息和物体与物体间的关联注意力信息,增强对全局特征的交互。基于PASCAL VOC和MS COCO数据集的实验结果表明,该方法能够有效提升检测精度,整体性能优于原方法。 展开更多
关键词 目标检测 深度学习 稀疏网络 关联 实例交互 全局特征 注意力机制
在线阅读 下载PDF
改进自注意力机制的滚动轴承寿命预测方法
6
作者 史竞成 吴占涛 +1 位作者 程军圣 杨宇 《噪声与振动控制》 北大核心 2025年第2期90-96,104,共8页
针对现有的卷积、循环模型预测滚动轴承剩余使用寿命(Residual Life,RL)精度低的问题,提出一种基于改进自注意力机制的RL预测模型。首先,针对Transformer模型中自注意力机制内存占用高、信号存在噪声信息的问题,在窗口自注意力机制(Wind... 针对现有的卷积、循环模型预测滚动轴承剩余使用寿命(Residual Life,RL)精度低的问题,提出一种基于改进自注意力机制的RL预测模型。首先,针对Transformer模型中自注意力机制内存占用高、信号存在噪声信息的问题,在窗口自注意力机制(Window Based Multi-head Self-attention,W-MSA)的基础上,提出概率窗口自注意力机制(Probwindow Based Multi-head Self-attention,PW-MSA);然后,针对多头信息不匹配和缺少局部信息的问题,采用Talking Head方法实现多头信息融合,并在前馈神经网络层加入深度可分离卷积提取局部信息,从而提升模型的预测精度。采用PHM2012轴承数据集将改进前后的自注意力机制模型进行比较,并和现有的先进预测模型对比,结果表明,改进自注意力机制模型可使预测精度提升13.04%。 展开更多
关键词 故障诊断 滚动轴承 剩余使用寿命预测 概率窗口自注意力机制 Transformer模型
在线阅读 下载PDF
融合特征金字塔和自注意力机制的SAR三维点云目标识别方法
7
作者 管浩良 张广滨 王岩 《信号处理》 北大核心 2025年第1期70-83,共14页
合成孔径雷达(Synthetic Aperture Radar, SAR)能够获取目标散射特征图像,是目标识别的重要途径,但传统SAR二维图像存在高度维叠掩问题,严重影响目标识别精度。SAR三维成像通过多次观测在高度维形成合成孔径、提高分辨率,能够区分叠掩目... 合成孔径雷达(Synthetic Aperture Radar, SAR)能够获取目标散射特征图像,是目标识别的重要途径,但传统SAR二维图像存在高度维叠掩问题,严重影响目标识别精度。SAR三维成像通过多次观测在高度维形成合成孔径、提高分辨率,能够区分叠掩目标,是SAR领域的前沿方向。由于SAR三维图像采用间隔不定、无序排列的点云数据格式,而基于卷积神经网络架构的SAR二维方法聚焦等间隔、固定排列的像素数据格式,难以直接扩展至SAR三维点云识别。现有SAR三维识别方法将光学识别网络直接迁移,但由于SAR三维图像具有点云稀疏、散射强度分布不均匀等特征,而光学识别网络多面向稠密点云,且通常难以充分利用散射强弱信息,导致在SAR三维识别应用中性能下降。为此,本文提出一种融合特征金字塔和自注意力机制的SAR三维点云目标识别神经网络。该方法利用特征金字塔构建并融合多层级特征,同时提升对点云浅层特征和深层特征的利用能力,解决SAR三维点云稀疏导致的信息损失问题;利用自注意力机制自适应调整目标点云局部语义联系,增强网络对强散射区域特征提取能力,降低弱散射区域特征的影响,解决SAR三维点云散射强度分布不均匀导致网络目标识别精度下降问题。搭建微波暗室缩比成像系统,采集8类地面车辆目标三维数据制作数据集,开展目标识别性能对比实验、消融实验与特征低维可视化实验,实验结果验证了所提方法在识别精度上的优势。 展开更多
关键词 合成孔径雷达 三维识别 点云稀疏 散射强度分布不均匀 特征金字塔 自注意力机制
在线阅读 下载PDF
改进稀疏注意力和Autogram的滚动轴承微弱特征提取
8
作者 毛勇 黄勇波 +2 位作者 侯修群 苗碧琪 张钊光 《噪声与振动控制》 北大核心 2025年第1期158-164,235,共8页
滚动轴承故障信息在分析域中呈现稀疏分布的特点,针对复杂无关信息会严重干扰声发射信号特征提取的问题,提出一种改进稀疏注意力机制结合Autogram的滚动轴承微弱特征提取方法。对声发射时域信号进行平方包络,利用基于改进深度稀疏注意... 滚动轴承故障信息在分析域中呈现稀疏分布的特点,针对复杂无关信息会严重干扰声发射信号特征提取的问题,提出一种改进稀疏注意力机制结合Autogram的滚动轴承微弱特征提取方法。对声发射时域信号进行平方包络,利用基于改进深度稀疏注意力机制的多尺度卷积神经网络(Convolutional neural networks,CNN),挖掘关键频段信息;将关键频段作为滤波依据进行滤波处理,获取注意力增强信号;进一步,考虑到滚动轴承缺陷引起的声发射信号具有强周期性与脉冲性,引入Autogram方法,利用平方包络的自相关峭度作为筛选指标优选解调频带,以解决谱峭度等方法在低信噪比及非高斯噪声干扰情况下特征提取效果不佳的问题;最后,计算最优解调子信号的平方包络谱,实现滚动轴承微弱故障特征提取。基于滚动轴承内圈、外圈故障实测信号进行验证,并与Kurtogram、Autogram方法进行对比,证明所提方法可实现滚动轴承声发射信号微弱特征增强与故障特征提取。 展开更多
关键词 故障诊断 稀疏注意力机制 Autogram 特征增强 滚动轴承
在线阅读 下载PDF
融合稀疏注意力机制在DDoS攻击检测中的应用 被引量:2
9
作者 王博 万良 +2 位作者 叶金贤 刘明盛 孙菡迪 《计算机工程与设计》 北大核心 2024年第5期1312-1320,共9页
针对现有的DDoS(distributed denial of service)攻击检测模型面临大量数据时,呈现出检测效率低的问题。为适应当前网络环境,通过研究DDoS攻击检测模型、提取流量特征、计算攻击密度,提出一种基于融合稀疏注意力机制的DDoS攻击检测模型G... 针对现有的DDoS(distributed denial of service)攻击检测模型面临大量数据时,呈现出检测效率低的问题。为适应当前网络环境,通过研究DDoS攻击检测模型、提取流量特征、计算攻击密度,提出一种基于融合稀疏注意力机制的DDoS攻击检测模型GVBNet(global variable block net),使用攻击密度自适应计算稀疏注意力。利用信息熵以及信息增益分析提取攻击流量的连续字节作为特征向量,通过构建基于GVBNet的网络模型在两种数据集上进行训练。实验结果表明,该方法具有良好的识别效果、检测速度以及抗干扰能力,在不同的环境下具有应用价值。 展开更多
关键词 分布式拒绝服务攻击 稀疏注意力机制 攻击密度 信息熵 信息增益 模型优化 攻击检测
在线阅读 下载PDF
基于时序注意力机制的电动汽车灵活性概率建模 被引量:1
10
作者 王昊天 刘栋 +3 位作者 秦继朔 史锐 但扬清 孙英云 《电力系统自动化》 EI CSCD 北大核心 2024年第7期94-102,共9页
电动汽车是一种可以向电力系统提供灵活性的柔性负荷。现有研究对电动汽车灵活性进行建模时,多数仅考虑了充电行为的不确定性以及分时电价的影响,忽略了日前电价与实时电价的偏差,缺少对实时电价、充电负荷多时间尺度时序特征的建模。... 电动汽车是一种可以向电力系统提供灵活性的柔性负荷。现有研究对电动汽车灵活性进行建模时,多数仅考虑了充电行为的不确定性以及分时电价的影响,忽略了日前电价与实时电价的偏差,缺少对实时电价、充电负荷多时间尺度时序特征的建模。针对此问题,文中总结了电动汽车灵活性的表现形式与影响因素,考虑面向电价的响应不确定性以及充电行为不确定性,提出基于时序注意力机制的电动汽车灵活性概率建模方法。通过时序注意力机制提取不同时序权重,设计基于时序卷积网络的多时间尺度特征提取网络学习充电行为、电价等不确定性,提取多时间尺度灵活性波动特征。算例表明,所提模型能够有效学习充电行为不确定性与面向电价的响应不确定性,其概率建模效果具有更高的可靠性与精度。 展开更多
关键词 电力系统 灵活性 电动汽车 概率建模 多时间尺度 时序注意力机制 时序卷积网络
在线阅读 下载PDF
基于概率化稀疏自注意力LSTM的锂离子电池健康状态预测 被引量:1
11
作者 关燕鹏 刘成刚 +1 位作者 相洪涛 张晓宇 《控制工程》 CSCD 北大核心 2024年第10期1833-1840,共8页
针对锂离子电池健康状态(state of health,SOH)预测,提出了一种基于概率化稀疏自注意力机制(probsparseself-attentionmechanism,PSM)和长短期记忆(longshort-term memory,LSTM)神经网络的预测模型。首先,提取锂离子电池容量数据并进行... 针对锂离子电池健康状态(state of health,SOH)预测,提出了一种基于概率化稀疏自注意力机制(probsparseself-attentionmechanism,PSM)和长短期记忆(longshort-term memory,LSTM)神经网络的预测模型。首先,提取锂离子电池容量数据并进行窗口化处理,利用位置嵌入获取高维数据之间的特征信息并对数据进行位置编码。然后,引入PSM对输入数据的权重进行稀疏性判断,增加对SOH预测具有关键影响的因素的权重。最后,利用LSTM神经网络捕获数据之间的时序特征进行锂离子电池SOH预测。实验结果表明,与其他常用的锂离子电池SOH预测模型相比,所提模型可以减少预测误差,具有更好的预测性能。 展开更多
关键词 锂离子电池 LSTM神经网络 健康状态 概率稀疏自注意力机制
在线阅读 下载PDF
基于稀疏重构注意力机制的绝缘子缺陷检测方法 被引量:3
12
作者 刘敏 周国亮 +1 位作者 王红旭 郑怿 《广东电力》 北大核心 2024年第5期104-111,共8页
针对当前输电线路绝缘子缺陷样本数量少、缺陷目标背景复杂干扰导致检测过程中出现的特征冗余以及检测精度低等问题,提出基于稀疏重构注意力(sparse reconstruction dual attention,SRDA)机制的目标检测模型。首先,为了降低深层特征冗... 针对当前输电线路绝缘子缺陷样本数量少、缺陷目标背景复杂干扰导致检测过程中出现的特征冗余以及检测精度低等问题,提出基于稀疏重构注意力(sparse reconstruction dual attention,SRDA)机制的目标检测模型。首先,为了降低深层特征冗余对模型的影响,采用稀疏重构机制对模型的深层特征层进行筛选和过滤;其次,为了增强模型对不同背景下目标区域的表达能力,提出位置注意力机制来捕获浅层特征目标区域的上下文信息,并引入通道注意力机制在深层特征层上加强对特定类别语义的特征表示,增强缺陷目标的语义信息;最后,通过对无人机拍摄采集的输电线路绝缘子图像进行缺陷检测实验,证明该模型能够获取精确的缺陷特征,提高绝缘子缺陷检测精度,与其他模型相比,该模型具有一定的优越性。 展开更多
关键词 稀疏重构 绝缘子缺陷检测 注意力机制 语义信息
在线阅读 下载PDF
基于边缘增强的交叉注意力医学影像分割方法
13
作者 陆秋 张云磊 +1 位作者 邵铧泽 黄琳 《桂林理工大学学报》 北大核心 2025年第1期111-119,共9页
为了在复杂的腹部多器官MRI和CT医学影像中解决目标区域与背景的边缘误分割问题,提出一种以ResUNet网络为基架,包含二维分轴的交叉注意力机制和两阶段边缘增强模块的网络模型(REAUp-L)。第1阶段的边缘信息增强模块用于下采样阶段,以更... 为了在复杂的腹部多器官MRI和CT医学影像中解决目标区域与背景的边缘误分割问题,提出一种以ResUNet网络为基架,包含二维分轴的交叉注意力机制和两阶段边缘增强模块的网络模型(REAUp-L)。第1阶段的边缘信息增强模块用于下采样阶段,以更好地提取边缘信息;第2阶段的不确定性概率边缘区域增强模块用于上采样阶段,以更好地保留边缘信息和降低噪声造成的误差;跳跃连接阶段使用一种二维分轴交叉注意力机制,以更好地捕获全局依赖关系。在腹部多器官数据集上进行的实验结果表明:该网络模型较基于UNet改进的3种主流网络模型在Dice和IoU评价指标中都有了一定的提升;边缘增强能有效提取医学影像的边缘信息,得到更加清晰的边缘曲线,有利于进一步提升分割性能。 展开更多
关键词 医学影像分割 交叉注意力机制 不确定性 像素点概率机制
在线阅读 下载PDF
基于双向长短期记忆网络与稀疏自注意力的票据文本识别方法
14
作者 冯宪伟 姚炜 《传感技术学报》 CAS CSCD 北大核心 2024年第11期1946-1951,共6页
提出了一种基于双向长短期记忆网络(BiLSTM)与稀疏自注意力机制的票据文本识别方法。针对票据文本识别中面临的复杂布局、多变字体及背景噪声干扰等挑战,采用深度卷积神经网络进行预处理,准确提取文本区域,并将图像数据转换为序列数据... 提出了一种基于双向长短期记忆网络(BiLSTM)与稀疏自注意力机制的票据文本识别方法。针对票据文本识别中面临的复杂布局、多变字体及背景噪声干扰等挑战,采用深度卷积神经网络进行预处理,准确提取文本区域,并将图像数据转换为序列数据输入到BiLSTM模型中。BiLSTM通过其双向结构,能够同时捕捉文本序列中的前向和后向信息,有效提高了文本理解的准确性。为了进一步提升识别性能,引入了稀疏自注意力机制,通过计算序列中不同位置之间的相关性得分,形成稀疏的注意力矩阵,从而捕捉文本中的长距离依赖关系。这种机制不仅降低了计算复杂度,还提高了模型对关键信息的关注度。实验结果表明,所提出的票据文本识别方法在处理复杂票据文本时表现出色,具有较高的识别精度和效率。与传统方法相比,所提方法能够更好地适应票据文本的多样性和复杂性,并在实际应用中展现出良好的鲁棒性和泛化能力。 展开更多
关键词 稀疏注意力机制 双向长短期记忆网络 票据文本识别 光学字符识别
在线阅读 下载PDF
基于稀疏自注意力和可见-近红外光谱的土壤氮含量预测 被引量:3
15
作者 冀荣华 李常昊 +1 位作者 郑立华 宋丽芬 《农业机械学报》 EI CAS CSCD 北大核心 2024年第10期392-398,409,共8页
氮是影响作物生长的关键因素,精准获取土壤氮含量是实施各类农田水肥管理技术的基础。利用可见-近红外光谱技术可以快速检测土壤氮含量,预测模型精度和泛化能力是制约将光谱技术应用于土壤氮含量检测的瓶颈。为此,提出了一种基于稀疏自... 氮是影响作物生长的关键因素,精准获取土壤氮含量是实施各类农田水肥管理技术的基础。利用可见-近红外光谱技术可以快速检测土壤氮含量,预测模型精度和泛化能力是制约将光谱技术应用于土壤氮含量检测的瓶颈。为此,提出了一种基于稀疏自注意力和可见-近红外光谱的土壤氮含量预测模型(Visible-near-infrared reflection spectrum and sparse transformer,VNIRSformer)用于提升预测精度和泛化能力。模型由输入层、嵌入层、编码器、解码器、预测层和输出层组成。采用大型公开数据集(Land use/cover area frame statistical survey,LUCAS)训练模型以提升模型泛化能力。实验测试VNIRSformer模型在15种不同光谱波长间隔下的性能,发现:随着波长间隔增加,预测精度先升后降,模型规模不断变小。波长间隔为1 nm时模型预测精度最低,RMSE为0.47 g/kg,R^(2)为0.78。波长间隔为5 nm时模型预测精度最高,RMSE为0.35 g/kg,R^(2)为0.89。当波长间隔从0.5 nm增加至1 nm时,模型规模下降最快,下降比例约为72%。当增加至5 nm后,模型规模匀速下降,下降比例约为5%。综合考虑模型规模及性能,最佳波长间隔设为5 nm。与6种不同预测模型(2种卷积神经网络、传统自注意力模型、偏最小二乘回归、支持向量机回归和K近邻回归)进行对比实验,发现:VNIRSformer模型性能最佳,RMSE为0.35 g/kg,R^(2)为0.89,RPD为2.95。测试VNIRSformer对不同等级的土壤氮含量预测能力,发现:VNIRSformer模型能够较好预测小于5 g/kg的土壤氮含量。将VNIRSformer模型直接应用于自采数据集,发现:R^(2)下降约0.17,表明模型具有一定泛化能力。研究表明,选取波长间隔为5 nm的光谱数据作为VNIRSformer模型输入,预测性能最佳,规模适中;稀疏注意力机制有助于提升模型预测精度,降低模型训练时间;预测模型具有一定泛化能力。研究结果可为基于可见-近红外光谱的土壤氮含量预测技术田间实际应用提供理论支持。 展开更多
关键词 土壤氮含量 预测模型 稀疏自注意力机制 可见-近红外光谱
在线阅读 下载PDF
基于综合几何关系稀疏自注意力机制的图像标注方法研究 被引量:6
16
作者 李艳 金小峰 《计算机应用研究》 CSCD 北大核心 2022年第4期1132-1136,共5页
针对基于Transformer框架的图像标注任务中提取视觉特征容易引入噪声问题且为了进一步提高视觉的上下文信息,提出了一种基于综合几何关系稀疏自注意力机制的图像标注方法。首先通过结合图像区域的绝对位置、相对位置和空间包含关系提取... 针对基于Transformer框架的图像标注任务中提取视觉特征容易引入噪声问题且为了进一步提高视觉的上下文信息,提出了一种基于综合几何关系稀疏自注意力机制的图像标注方法。首先通过结合图像区域的绝对位置、相对位置和空间包含关系提取详细全面的视觉表示,获取图像中潜在的上下文信息;其次提出了注意力层权重矩阵的稀疏化方法,该方法解决了Transformer忽略图像区域的局部性并引入噪声信息的问题;最后,采用了强化学习方法作为指导策略,实现模型在句子级别优化目标序列。通过在MS-COCO数据集上进行的对比实验结果表明,提出的方法在BLEU1、BLEU4、METEOR、ROUGE-L、CIDEr和SPICE指标上分别比基线模型提升了0.2、0.7、0.1、0.3、1.2和0.4,有效提升了图像自动标注的性能。 展开更多
关键词 图像标注 TRANSFORMER 自注意力机制 稀疏化方法
在线阅读 下载PDF
基于注意力机制的稀疏化剪枝方法 被引量:2
17
作者 叶汉民 李志波 +1 位作者 程小辉 陶小梅 《计算机工程与设计》 北大核心 2023年第12期3642-3648,共7页
为在资源受限设备中部署先进神经网络模型,提出一种基于通道和空间注意力机制的网络稀疏化剪枝训练方法,将剪枝训练过程转化为约束优化问题。将通道和空间注意力融入稀疏化剪枝训练过程,利用连续空间损失变化情况评估不同网络层重要程度... 为在资源受限设备中部署先进神经网络模型,提出一种基于通道和空间注意力机制的网络稀疏化剪枝训练方法,将剪枝训练过程转化为约束优化问题。将通道和空间注意力融入稀疏化剪枝训练过程,利用连续空间损失变化情况评估不同网络层重要程度,通过稀疏化训练与动态计算及更新掩码矩阵和权重矩阵完成剪枝操作。方法实验基于CIFAR10、CIFAR100数据集上进行,实验结果表明,该方法在较为复杂数据集CIFAR100上剪枝率为90%、95%、98%时,分类准确率可达到69.91%、67.15%、60.18%,与同类方法相比,在不同数据集和剪枝率的条件下仍具有较高的分类精度。 展开更多
关键词 资源受限设备 深度神经网络 模型压缩 注意力机制 稀疏化训练 网络剪枝 掩码
在线阅读 下载PDF
基于自注意力和曲率的点云生成对抗网络
18
作者 申超凡 熊风光 +2 位作者 孔煜 张志强 胡明月 《计算机工程与设计》 北大核心 2025年第7期1890-1897,共8页
为生成更精细的三维点云数据,提高模型的训练效率,研究生成对抗网络在三维领域的应用,提出一种基于自注意力和曲率的点云生成对抗网络。该模型能够更好捕捉点云数据的全局和局部特征,提高生成器生成真实点云数据的能力。通过对比实验验... 为生成更精细的三维点云数据,提高模型的训练效率,研究生成对抗网络在三维领域的应用,提出一种基于自注意力和曲率的点云生成对抗网络。该模型能够更好捕捉点云数据的全局和局部特征,提高生成器生成真实点云数据的能力。通过对比实验验证了提出方法的有效性,相比目前最优的几个GAN模型,JSD、MMD和COV这3类指标均得到了改善。实验结果表明,所提方法在点云生成任务中取得了明显改进,为点云数据生成领域的研究和应用提供了一种思路和方法。 展开更多
关键词 三维点云 深度学习 生成对抗网络 生成模型 注意力机制 曲率 概率分布
在线阅读 下载PDF
基于多头自注意力融合的4D雷达三维目标检测
19
作者 赵宇波 方铖 +3 位作者 张拓 普聪远 陈健 李飞 《计算机工程与设计》 北大核心 2025年第5期1473-1479,共7页
针对4D毫米波雷达在应用中存在点云稀疏和噪声的问题,提出一种基于多头自注意力机制的融合检测方法。利用多头自注意力机制聚焦于缺失点周围的相关点,推断缺失点的特征,减少整体点云的稀疏性;通过调整注意力权重,抑制噪声点的干扰;通过... 针对4D毫米波雷达在应用中存在点云稀疏和噪声的问题,提出一种基于多头自注意力机制的融合检测方法。利用多头自注意力机制聚焦于缺失点周围的相关点,推断缺失点的特征,减少整体点云的稀疏性;通过调整注意力权重,抑制噪声点的干扰;通过融合全局特征与局部特征,增强对体素柱的空间表示,应对复杂场景中的目标识别问题。通过VoD数据集和Dual-Radar数据集的测试和验证,实验结果表明,所提方法改善了由于毫米波雷达点云稀疏性和噪声引起的漏检和误检问题,提高了目标检测精度。 展开更多
关键词 计算机应用技术 毫米波雷达 三维目标检测 多头自注意力机制 融合网络 噪声抑制 点云稀疏
在线阅读 下载PDF
采用稀疏自注意力机制和BiLSTM模型的细粒度情感分析 被引量:3
20
作者 曹卫东 潘红坤 《计算机应用与软件》 北大核心 2022年第12期187-194,共8页
使用Word2vec训练词向量、循环神经网络和注意力机制进行情感分析时,存在着文本特征提取不全面、计算资源消耗过多、计算时间较长的问题。为解决这些问题,提出新的CBSA网络模型。该模型使用Cw2vec预训练的词向量作为输入,双向长短期记... 使用Word2vec训练词向量、循环神经网络和注意力机制进行情感分析时,存在着文本特征提取不全面、计算资源消耗过多、计算时间较长的问题。为解决这些问题,提出新的CBSA网络模型。该模型使用Cw2vec预训练的词向量作为输入,双向长短期记忆网络(BiLSTM)来对这些具有时序信息的文本进行全面特征的提取;使用分解后的稀疏自注意力机制(Sparse Self-Attention)再次对这些文本特征进行权重赋予;由Softmax对文本进行情感的分类。实验结果表明,使用Cw2vec训练的词向量相比Word2vec, F1-Score大约提高0.3%;CBSA模型相比未分解的自注意力机制(Self-Attention),内存消耗减少了大约200 MB,训练时间缩短了210 s。 展开更多
关键词 Cw2vec 细粒度情感分析 循环神经网络 双向长短期记忆网络 稀疏自注意力机制
在线阅读 下载PDF
上一页 1 2 5 下一页 到第
使用帮助 返回顶部