期刊文献+
共找到11篇文章
< 1 >
每页显示 20 50 100
基于概率化稀疏自注意力LSTM的锂离子电池健康状态预测 被引量:2
1
作者 关燕鹏 刘成刚 +1 位作者 相洪涛 张晓宇 《控制工程》 CSCD 北大核心 2024年第10期1833-1840,共8页
针对锂离子电池健康状态(state of health,SOH)预测,提出了一种基于概率化稀疏自注意力机制(probsparseself-attentionmechanism,PSM)和长短期记忆(longshort-term memory,LSTM)神经网络的预测模型。首先,提取锂离子电池容量数据并进行... 针对锂离子电池健康状态(state of health,SOH)预测,提出了一种基于概率化稀疏自注意力机制(probsparseself-attentionmechanism,PSM)和长短期记忆(longshort-term memory,LSTM)神经网络的预测模型。首先,提取锂离子电池容量数据并进行窗口化处理,利用位置嵌入获取高维数据之间的特征信息并对数据进行位置编码。然后,引入PSM对输入数据的权重进行稀疏性判断,增加对SOH预测具有关键影响的因素的权重。最后,利用LSTM神经网络捕获数据之间的时序特征进行锂离子电池SOH预测。实验结果表明,与其他常用的锂离子电池SOH预测模型相比,所提模型可以减少预测误差,具有更好的预测性能。 展开更多
关键词 锂离子电池 LSTM神经网络 健康状态 概率化稀疏自注意力机制
在线阅读 下载PDF
基于注意力机制的稀疏化剪枝方法 被引量:2
2
作者 叶汉民 李志波 +1 位作者 程小辉 陶小梅 《计算机工程与设计》 北大核心 2023年第12期3642-3648,共7页
为在资源受限设备中部署先进神经网络模型,提出一种基于通道和空间注意力机制的网络稀疏化剪枝训练方法,将剪枝训练过程转化为约束优化问题。将通道和空间注意力融入稀疏化剪枝训练过程,利用连续空间损失变化情况评估不同网络层重要程度... 为在资源受限设备中部署先进神经网络模型,提出一种基于通道和空间注意力机制的网络稀疏化剪枝训练方法,将剪枝训练过程转化为约束优化问题。将通道和空间注意力融入稀疏化剪枝训练过程,利用连续空间损失变化情况评估不同网络层重要程度,通过稀疏化训练与动态计算及更新掩码矩阵和权重矩阵完成剪枝操作。方法实验基于CIFAR10、CIFAR100数据集上进行,实验结果表明,该方法在较为复杂数据集CIFAR100上剪枝率为90%、95%、98%时,分类准确率可达到69.91%、67.15%、60.18%,与同类方法相比,在不同数据集和剪枝率的条件下仍具有较高的分类精度。 展开更多
关键词 资源受限设备 深度神经网络 模型压缩 注意力机制 稀疏训练 网络剪枝 掩码
在线阅读 下载PDF
基于综合几何关系稀疏自注意力机制的图像标注方法研究 被引量:6
3
作者 李艳 金小峰 《计算机应用研究》 CSCD 北大核心 2022年第4期1132-1136,共5页
针对基于Transformer框架的图像标注任务中提取视觉特征容易引入噪声问题且为了进一步提高视觉的上下文信息,提出了一种基于综合几何关系稀疏自注意力机制的图像标注方法。首先通过结合图像区域的绝对位置、相对位置和空间包含关系提取... 针对基于Transformer框架的图像标注任务中提取视觉特征容易引入噪声问题且为了进一步提高视觉的上下文信息,提出了一种基于综合几何关系稀疏自注意力机制的图像标注方法。首先通过结合图像区域的绝对位置、相对位置和空间包含关系提取详细全面的视觉表示,获取图像中潜在的上下文信息;其次提出了注意力层权重矩阵的稀疏化方法,该方法解决了Transformer忽略图像区域的局部性并引入噪声信息的问题;最后,采用了强化学习方法作为指导策略,实现模型在句子级别优化目标序列。通过在MS-COCO数据集上进行的对比实验结果表明,提出的方法在BLEU1、BLEU4、METEOR、ROUGE-L、CIDEr和SPICE指标上分别比基线模型提升了0.2、0.7、0.1、0.3、1.2和0.4,有效提升了图像自动标注的性能。 展开更多
关键词 图像标注 TRANSFORMER 自注意力机制 稀疏方法
在线阅读 下载PDF
参数稀疏的复杂交通场景图像车辆检测
4
作者 韩雪娟 瞿中 《电讯技术》 北大核心 2025年第5期719-726,共8页
尽管基于深度学习的目标检测在交通场景的应用已经取得了一定的进展,但复杂交通场景多目标精度与速度的博弈仍然是个挑战。大多数提升精度的方法都是参数密集型的,大大增加了模型的参数量。针对这一难题,提出了基于YOLOv8的稀疏参数模型... 尽管基于深度学习的目标检测在交通场景的应用已经取得了一定的进展,但复杂交通场景多目标精度与速度的博弈仍然是个挑战。大多数提升精度的方法都是参数密集型的,大大增加了模型的参数量。针对这一难题,提出了基于YOLOv8的稀疏参数模型,实现在降低参数量的同时提升模型的召回率和检测精度。首先使用简单注意力机制(Simple Attention Mechanism,SimAM)以建立更强劲的骨干网络提取特征;其次提出轻量化的内容感知特征重组模块(Lightweight Content-Aware ReAssembly of Features,L-CARAFE)代替上采样操作,在一个更大的感受野上聚合上下文信息;最后通过稀疏参数的多解耦头,在降低参数量的同时提升模型的检测精度。由于交通场景的复杂性,不仅通过KITTI数据集验证模型的有效性,还通过COCO数据集验证模型的泛化性。该模型在公开的数据集上均能大幅提升召回率和平均精度(mean Average Precision,mAP),其中,nano在KITTI数据集上以2.95的参数量使召回率和mAP分别提高了3.1%和0.9%,小模型在COCO数据集上的mAP@0.5达到60.6%。 展开更多
关键词 交通场景 目标检测 参数稀疏 注意力机制
在线阅读 下载PDF
基于边界点估计与稀疏卷积神经网络的三维点云语义分割 被引量:3
5
作者 杨军 张琛 《浙江大学学报(工学版)》 EI CAS CSCD 北大核心 2024年第6期1121-1132,共12页
针对大规模点云具有稀疏性,传统点云方法提取上下文语义特征不够丰富,并且语义分割结果存在物体边界模糊的问题,提出基于边界点估计与稀疏卷积神经网络的三维点云语义分割算法,主要包括体素分支与点分支.对于体素分支,将原始点云进行体... 针对大规模点云具有稀疏性,传统点云方法提取上下文语义特征不够丰富,并且语义分割结果存在物体边界模糊的问题,提出基于边界点估计与稀疏卷积神经网络的三维点云语义分割算法,主要包括体素分支与点分支.对于体素分支,将原始点云进行体素化后经过稀疏卷积得到上下文语义特征;进行解体素化得到每个点的初始语义标签;将初始语义标签输入到边界点估计模块中得到可能的边界点.对于点分支,使用改进的动态图卷积模块提取点云局部几何特征;依次经过空间注意力模块与通道注意力模块增强局部特征;将点分支得到的局部几何特征与体素分支得到的上下文特征融合,增强点云特征的丰富性.本算法在S3DIS数据集和SemanticKITTI数据集上的语义分割精度分别达到69.5%和62.7%.实验结果表明,本研究算法能够提取到更丰富的点云特征,可以对物体的边界区域进行准确分割,具有较好的三维点云语义分割能力. 展开更多
关键词 点云数据 语义分割 注意力机制 稀疏卷积 体素
在线阅读 下载PDF
基于Informer算法的燃料电池寿命估算
6
作者 施永 赵洪霄 +3 位作者 谢缔 汪亮亮 苏建徽 解宝 《太阳能学报》 北大核心 2025年第8期240-248,共9页
为解决长短期记忆网络(LSTM)和门控循环单元神经网络(GRU)在捕捉长期依赖关系上的不足以及估算精度较低的问题,该文提出基于Informer算法的燃料电池寿命估算方法,旨在提高估算的准确性和效率。该方法采用加权平均法和皮尔逊系数法对数... 为解决长短期记忆网络(LSTM)和门控循环单元神经网络(GRU)在捕捉长期依赖关系上的不足以及估算精度较低的问题,该文提出基于Informer算法的燃料电池寿命估算方法,旨在提高估算的准确性和效率。该方法采用加权平均法和皮尔逊系数法对数据进行平滑处理,以增强数据的趋势性并减少噪声影响。结合Informer模型的多尺度信息融合和长期依赖建模能力,设计了一个能够实现燃料电池寿命在线估算的寿命估算框架。随后设计3组实验与传统的LSTM和GRU模型进行比较,当训练集占比80%时,Informer模型U_(MAE)、U_(RMSE)、U_(MAPE)均最小,估算精度高于LSTM和GRU模型。说明Informer模型在长时间序列估算方面表现出色,为燃料电池寿命估算提供可靠的依据。 展开更多
关键词 神经网络 燃料电池 并行处理 寿命估算 多头概率稀疏自注意力机制
在线阅读 下载PDF
基于Attention与改进SCINet模型的无线传感器网络能量预测与分簇路由算法
7
作者 金崇强 徐震 王雪山 《河南师范大学学报(自然科学版)》 北大核心 2025年第5期52-59,I0010,共9页
针对能量收集无线传感器网络中,能量预测精度不佳、节点能量利用效率过低和网络难以持续运行等问题,提出了一种改进样本卷积交互神经网络(sample convolution and interaction network,SCINet)预测模型,并引入概率稀疏自注意力机制,在... 针对能量收集无线传感器网络中,能量预测精度不佳、节点能量利用效率过低和网络难以持续运行等问题,提出了一种改进样本卷积交互神经网络(sample convolution and interaction network,SCINet)预测模型,并引入概率稀疏自注意力机制,在新特征序列的每个时间步上计算注意力权重,捕捉重要特征,提高模型预测精度.最后,根据节点剩余能量、预测未来可收集的太阳能能量,对分簇路由算法进行改进.仿真实验结果表明,该能量预测模型具备更高的预测精度和泛化能力.在能量预测模型的基础上,改进的分簇路由算法,能有效地延长无线传感器网络的生命周期. 展开更多
关键词 能量预测 样本卷积交互神经网络 概率稀疏自注意力机制 分簇路由算法
在线阅读 下载PDF
采用稀疏3D卷积的单阶段点云三维目标检测方法 被引量:5
8
作者 李悄 李垚辰 +3 位作者 张玉龙 唐文能 曹鲁光 左良玉 《西安交通大学学报》 EI CAS CSCD 北大核心 2022年第9期112-122,共11页
针对点云体素化的三维目标检测方法中点云的特征提取能力不足的问题,将三维目标检测方法SECOND作为基准网络,提出一种采用稀疏3D卷积的单阶段点云三维目标检测(Reinforced SECOND)方法。首先,改进点云分组方式形成鲁棒的抽离体素特征的... 针对点云体素化的三维目标检测方法中点云的特征提取能力不足的问题,将三维目标检测方法SECOND作为基准网络,提出一种采用稀疏3D卷积的单阶段点云三维目标检测(Reinforced SECOND)方法。首先,改进点云分组方式形成鲁棒的抽离体素特征的体素特征编码网络;其次,为增强体素中对检测任务有显著贡献的关键特征,同时抑制不相关噪声特征,把堆叠三重注意力机制引入体素特征编码网络;然后,提出残差稀疏卷积单元,设计了残差稀疏卷积中间网络,提高了该网络层的特征提取能力,保留了更多的原始特征信息;最后,把提出的空间语义特征融合(SSFF)模块引入区域建议网络,自适应地融合低级空间特征和高级抽象语义特征,进一步提高了模型特征的表达能力。在KITTI开源数据集上的实验结果表明:与之前许多基于网格及基于点的方法相比,所提方法显著提高了三维目标检测性能;与基准网络相比,采用所提方法对KITTI测试集car类和cyclist类进行检测,中等难度级别下的3D检测精度分别提高了5.85%和8.9%,困难难度级别下的3D检测精度分别提高了8.54%和8.53%。 展开更多
关键词 三维目标检测 稀疏3D卷积 注意力机制 点云体素
在线阅读 下载PDF
基于策略梯度Informer模型的滚动轴承剩余寿命预测 被引量:3
9
作者 熊佳豪 李锋 +2 位作者 汤宝平 汪永超 罗玲 《工程科学与技术》 EI CAS CSCD 北大核心 2024年第4期273-286,共14页
典型的编码器-解码器——Transformer存在二次时间复杂度、高内存使用及模型结构复杂等固有限制,造成Transformer用于滚动轴承剩余寿命(RUL)预测会表现出较低预测精度和较低计算效率的问题。为此,提出一种新型编解码器——策略梯度Infor... 典型的编码器-解码器——Transformer存在二次时间复杂度、高内存使用及模型结构复杂等固有限制,造成Transformer用于滚动轴承剩余寿命(RUL)预测会表现出较低预测精度和较低计算效率的问题。为此,提出一种新型编解码器——策略梯度Informer(PG-Informer)模型,并将其应用于滚动轴承RUL预测。首先,在PG-In-former的新型编解码器体系结构——Informer中设计了概率稀疏自注意力(PSSA)机制替代Transformer中原有的自注意力机制,以提高非线性逼近能力并减少时间和空间复杂度;然后,PG-Informer采用自注意力蒸馏(SAD)操作减少参数维度和参数量,并提高了对时间序列的预测鲁棒性;此外,PG-Informer的生成式解码器对解码输入进行一步解码输出预测结果,无需动态多步解码,提升了对时间序列的预测速度;最后,构造了策略梯度学习算法来提高对PG-Informer参数的训练速度。PG-Informer的以上优势使所提出的基于PG-Informer模型的滚动轴承RUL预测方法可以获得较高的预测精度、较好的鲁棒性和较高的计算效率。对辛辛那提大学智能维护系统中心的1号滚动轴承的RUL预测实验结果表明,所提出方法预测得到的RUL值为963min,其RUL预测误差仅为6.50%,比基于Transformer的RUL预测方法预测精度更高、预测误差更小、鲁棒性更好;所提出方法所耗费的RUL预测时间仅为132.37s,比基于Transformer的RUL预测方法的预测时间更短。以上实验结果验证了所提出方法的有效性。 展开更多
关键词 Informer模型 概率稀疏自注意力机制 策略梯度 滚动轴承 剩余寿命预测
在线阅读 下载PDF
基于TCN-Wpsformer混合模型的超短期风电功率预测 被引量:14
10
作者 徐钽 谢开贵 +3 位作者 王宇 胡博 邵常政 赵宇生 《电力自动化设备》 EI CSCD 北大核心 2024年第8期54-61,共8页
针对基于梯度下降的递归神经网络难以捕获时间跨度较长的风电功率长期依赖关系的问题,提出一种基于时间卷积网络(TCN)和窗口概率稀疏Transformer(Wpsformer)混合模型的超短期风电功率预测方法。将包含时间季节性特征的时间编码与包含原... 针对基于梯度下降的递归神经网络难以捕获时间跨度较长的风电功率长期依赖关系的问题,提出一种基于时间卷积网络(TCN)和窗口概率稀疏Transformer(Wpsformer)混合模型的超短期风电功率预测方法。将包含时间季节性特征的时间编码与包含原始数据位置信息的绝对位置编码进行拼接,引入TCN提取时间片段特征,将时间片段特征融入自注意力机制,以时间片段的相关性联系替代时间点的相关性联系。通过Wpsformer模型多步输出超短期风电功率预测值,与原始Transformer模型相比,Wpsformer模型使用窗口概率稀疏自注意力机制,在捕获长期依赖关系的同时筛选出重要程度相对较高的时间片段特征进行计算,提高了预测精度且降低了计算成本。曹店风电场的算例结果表明,所提模型在预测精度方面具有明显优势。消融实验证明了所提模型各模块的必要性。 展开更多
关键词 超短期风电功率预测 时间卷积网络 窗口概率稀疏Transformer 窗口概率稀疏自注意力机制
在线阅读 下载PDF
基于少数据样本的滚动轴承寿命分段预测方法
11
作者 张朋 马孝育 +3 位作者 王恒迪 李畅 邓四二 邱小彪 《机电工程》 CAS 北大核心 2024年第8期1415-1422,共8页
针对少数据样本下,滚动轴承难以准确预测剩余使用寿命(RUL)的问题,提出了一种结合卷积长短期记忆网络(ConvLSTM)与对抗性判别域自适应网络(ADDA)的轴承寿命分段预测方法。首先,利用稀疏概率自注意力机制对特征集进行了筛选,提取了具有... 针对少数据样本下,滚动轴承难以准确预测剩余使用寿命(RUL)的问题,提出了一种结合卷积长短期记忆网络(ConvLSTM)与对抗性判别域自适应网络(ADDA)的轴承寿命分段预测方法。首先,利用稀疏概率自注意力机制对特征集进行了筛选,提取了具有时变性的特征集,以获取最优全局特征,确定分段点以作为ADDA模型的输入;然后,针对不同阶段的退化特点建立了相应的健康评估指标;对处于健康状态的轴承,利用ConvLSTM网络预测了轴承健康阶段的寿命,将健康阶段预测数据作为局部特征输入ADDA网络与最优特征集(全局特征),进行了对抗训练,以实现故障阶段的寿命预测,并使用全连接层输出滚动轴承的预测剩余使用寿命;最后,采用PHM2012数据集与工程试验数据分别对模型进行了验证。研究结果表明:相较于ConvLSTM模型、RNN-HI模型、CNN-LSTM模型,ConvLSTM-ADDA寿命预测方法的平均绝对误差分别降低了78.16%、53.14%、67.13%,平均得分分别提高了66.42%、92.81%、32.37%;相较于LSTM模型、CNN-LSTM模型以及Transformer模型,ConvLSTM-ADDA寿命预测方法的均方误差分别降低了80.11%、54.95%、55.94%。因此,该算法模型能够实现对较少数据样本的轴承寿命进行RUL预测的目的,且具有较高的精度。 展开更多
关键词 对抗性判别域适应网络 卷积长短期记忆网络 稀疏概率自注意力机制 少数据样本 分阶段寿命预测 剩余使用寿命
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部