期刊文献+
共找到10篇文章
< 1 >
每页显示 20 50 100
采用稀疏自注意力机制和BiLSTM模型的细粒度情感分析 被引量:3
1
作者 曹卫东 潘红坤 《计算机应用与软件》 北大核心 2022年第12期187-194,共8页
使用Word2vec训练词向量、循环神经网络和注意力机制进行情感分析时,存在着文本特征提取不全面、计算资源消耗过多、计算时间较长的问题。为解决这些问题,提出新的CBSA网络模型。该模型使用Cw2vec预训练的词向量作为输入,双向长短期记... 使用Word2vec训练词向量、循环神经网络和注意力机制进行情感分析时,存在着文本特征提取不全面、计算资源消耗过多、计算时间较长的问题。为解决这些问题,提出新的CBSA网络模型。该模型使用Cw2vec预训练的词向量作为输入,双向长短期记忆网络(BiLSTM)来对这些具有时序信息的文本进行全面特征的提取;使用分解后的稀疏自注意力机制(Sparse Self-Attention)再次对这些文本特征进行权重赋予;由Softmax对文本进行情感的分类。实验结果表明,使用Cw2vec训练的词向量相比Word2vec, F1-Score大约提高0.3%;CBSA模型相比未分解的自注意力机制(Self-Attention),内存消耗减少了大约200 MB,训练时间缩短了210 s。 展开更多
关键词 Cw2vec 细粒度情感分析 循环神经网络 双向长短期记忆网络 稀疏自注意力机制
在线阅读 下载PDF
融合RNN与稀疏自注意力的文本摘要方法 被引量:1
2
作者 刘钟 唐宏 +1 位作者 王宁喆 朱传润 《计算机工程》 北大核心 2025年第1期312-320,共9页
随着深度学习的高速发展,基于序列到序列(Seq2Seq)架构的文本摘要方法成为研究焦点,但现有大多数文本摘要模型受限于长期依赖,忽略了注意力机制复杂度以及词序信息对文本摘要生成的影响,生成的摘要丢失关键信息,偏离原文内容与意图,影... 随着深度学习的高速发展,基于序列到序列(Seq2Seq)架构的文本摘要方法成为研究焦点,但现有大多数文本摘要模型受限于长期依赖,忽略了注意力机制复杂度以及词序信息对文本摘要生成的影响,生成的摘要丢失关键信息,偏离原文内容与意图,影响用户体验。为了解决上述问题,提出一种基于Transformer改进的融合递归神经网络(RNN)与稀疏自注意力的文本摘要方法。首先采用窗口RNN模块,将输入文本按窗口划分,每个RNN对窗口内词序信息进行压缩,并通过窗口级别的表示整合为整个文本的表示,进而增强模型捕获局部依赖的能力;其次采用基于递归循环机制的缓存模块,循环缓存上一文本片段的信息到当前片段,允许模型更好地捕获长期依赖和全局信息;最后采用稀疏自注意力模块,通过块稀疏矩阵对注意力矩阵按块划分,关注并筛选出重要令牌对,而不是在所有令牌对上平均分配注意力,从而降低注意力的时间复杂度,提高长文本摘要任务的效率。实验结果表明,该方法在数据集text8、enwik8上的BPC分数相比于LoBART模型降低了0.02,在数据集wikitext-103以及ptb上的PPL分数相比于LoBART模型分别降低了1.0以上,验证了该方法的可行性与有效性。 展开更多
关键词 序列到序列架构 文本摘要 Transformer模型 递归神经网络 递归循环机制 稀疏自注意力机制
在线阅读 下载PDF
基于稀疏自注意力和可见-近红外光谱的土壤氮含量预测 被引量:3
3
作者 冀荣华 李常昊 +1 位作者 郑立华 宋丽芬 《农业机械学报》 EI CAS CSCD 北大核心 2024年第10期392-398,409,共8页
氮是影响作物生长的关键因素,精准获取土壤氮含量是实施各类农田水肥管理技术的基础。利用可见-近红外光谱技术可以快速检测土壤氮含量,预测模型精度和泛化能力是制约将光谱技术应用于土壤氮含量检测的瓶颈。为此,提出了一种基于稀疏自... 氮是影响作物生长的关键因素,精准获取土壤氮含量是实施各类农田水肥管理技术的基础。利用可见-近红外光谱技术可以快速检测土壤氮含量,预测模型精度和泛化能力是制约将光谱技术应用于土壤氮含量检测的瓶颈。为此,提出了一种基于稀疏自注意力和可见-近红外光谱的土壤氮含量预测模型(Visible-near-infrared reflection spectrum and sparse transformer,VNIRSformer)用于提升预测精度和泛化能力。模型由输入层、嵌入层、编码器、解码器、预测层和输出层组成。采用大型公开数据集(Land use/cover area frame statistical survey,LUCAS)训练模型以提升模型泛化能力。实验测试VNIRSformer模型在15种不同光谱波长间隔下的性能,发现:随着波长间隔增加,预测精度先升后降,模型规模不断变小。波长间隔为1 nm时模型预测精度最低,RMSE为0.47 g/kg,R^(2)为0.78。波长间隔为5 nm时模型预测精度最高,RMSE为0.35 g/kg,R^(2)为0.89。当波长间隔从0.5 nm增加至1 nm时,模型规模下降最快,下降比例约为72%。当增加至5 nm后,模型规模匀速下降,下降比例约为5%。综合考虑模型规模及性能,最佳波长间隔设为5 nm。与6种不同预测模型(2种卷积神经网络、传统自注意力模型、偏最小二乘回归、支持向量机回归和K近邻回归)进行对比实验,发现:VNIRSformer模型性能最佳,RMSE为0.35 g/kg,R^(2)为0.89,RPD为2.95。测试VNIRSformer对不同等级的土壤氮含量预测能力,发现:VNIRSformer模型能够较好预测小于5 g/kg的土壤氮含量。将VNIRSformer模型直接应用于自采数据集,发现:R^(2)下降约0.17,表明模型具有一定泛化能力。研究表明,选取波长间隔为5 nm的光谱数据作为VNIRSformer模型输入,预测性能最佳,规模适中;稀疏注意力机制有助于提升模型预测精度,降低模型训练时间;预测模型具有一定泛化能力。研究结果可为基于可见-近红外光谱的土壤氮含量预测技术田间实际应用提供理论支持。 展开更多
关键词 土壤氮含量 预测模型 稀疏自注意力机制 可见-近红外光谱
在线阅读 下载PDF
基于稀疏自注意力的偏振表面法线估计
4
作者 于智超 万振华 赵开春 《光学精密工程》 EI CAS CSCD 北大核心 2024年第20期2987-2998,共12页
对于物体表面法线的准确估计在各种计算机视觉任务中扮演着重要角色。采用基于物理的偏振表面法线估计方法存在诸多限制,限制了其实用性。相反,基于深度学习的偏振表面法线估计方法在精度和适用性上均超越了基于物理的方法,为了进一步... 对于物体表面法线的准确估计在各种计算机视觉任务中扮演着重要角色。采用基于物理的偏振表面法线估计方法存在诸多限制,限制了其实用性。相反,基于深度学习的偏振表面法线估计方法在精度和适用性上均超越了基于物理的方法,为了进一步提高基于深度学习的偏振表面法线估计精度,以使其能适用于更多的实际任务,本文提出了一种新的方法。首先,结合斯托克斯矢量提出了一种新的偏振信息表示方法,旨在提高模型对偏振物理先验信息的提取能力。随后结合基于双层路由的稀疏自注意力机制,以改进模型对全局上下文信息的感知能力,来更好地对局部偏振信息消歧。在DeepSfP数据集和自建测试数据进行测试。实验结果表明:提出的方法在DeepSfP数据集上平均角度误差为13.37°,并在精度和角度误差等所有测试指标上均优于现有方法,证明了该方法在估计法线效果方面的显著改进。通过引入新的偏振信息表示方法和稀疏自注意力机制,我们的方法提高了偏振表面法线估计的精度和适用性,为实际任务的应用提供了更强的支持。 展开更多
关键词 偏振信息表达 稀疏自注意力机制 偏振表面法线估计
在线阅读 下载PDF
基于概率化稀疏自注意力LSTM的锂离子电池健康状态预测 被引量:1
5
作者 关燕鹏 刘成刚 +1 位作者 相洪涛 张晓宇 《控制工程》 CSCD 北大核心 2024年第10期1833-1840,共8页
针对锂离子电池健康状态(state of health,SOH)预测,提出了一种基于概率化稀疏自注意力机制(probsparseself-attentionmechanism,PSM)和长短期记忆(longshort-term memory,LSTM)神经网络的预测模型。首先,提取锂离子电池容量数据并进行... 针对锂离子电池健康状态(state of health,SOH)预测,提出了一种基于概率化稀疏自注意力机制(probsparseself-attentionmechanism,PSM)和长短期记忆(longshort-term memory,LSTM)神经网络的预测模型。首先,提取锂离子电池容量数据并进行窗口化处理,利用位置嵌入获取高维数据之间的特征信息并对数据进行位置编码。然后,引入PSM对输入数据的权重进行稀疏性判断,增加对SOH预测具有关键影响的因素的权重。最后,利用LSTM神经网络捕获数据之间的时序特征进行锂离子电池SOH预测。实验结果表明,与其他常用的锂离子电池SOH预测模型相比,所提模型可以减少预测误差,具有更好的预测性能。 展开更多
关键词 锂离子电池 LSTM神经网络 健康状态 概率化稀疏自注意力机制
在线阅读 下载PDF
基于策略梯度Informer模型的滚动轴承剩余寿命预测 被引量:3
6
作者 熊佳豪 李锋 +2 位作者 汤宝平 汪永超 罗玲 《工程科学与技术》 EI CAS CSCD 北大核心 2024年第4期273-286,共14页
典型的编码器-解码器——Transformer存在二次时间复杂度、高内存使用及模型结构复杂等固有限制,造成Transformer用于滚动轴承剩余寿命(RUL)预测会表现出较低预测精度和较低计算效率的问题。为此,提出一种新型编解码器——策略梯度Infor... 典型的编码器-解码器——Transformer存在二次时间复杂度、高内存使用及模型结构复杂等固有限制,造成Transformer用于滚动轴承剩余寿命(RUL)预测会表现出较低预测精度和较低计算效率的问题。为此,提出一种新型编解码器——策略梯度Informer(PG-Informer)模型,并将其应用于滚动轴承RUL预测。首先,在PG-In-former的新型编解码器体系结构——Informer中设计了概率稀疏自注意力(PSSA)机制替代Transformer中原有的自注意力机制,以提高非线性逼近能力并减少时间和空间复杂度;然后,PG-Informer采用自注意力蒸馏(SAD)操作减少参数维度和参数量,并提高了对时间序列的预测鲁棒性;此外,PG-Informer的生成式解码器对解码输入进行一步解码输出预测结果,无需动态多步解码,提升了对时间序列的预测速度;最后,构造了策略梯度学习算法来提高对PG-Informer参数的训练速度。PG-Informer的以上优势使所提出的基于PG-Informer模型的滚动轴承RUL预测方法可以获得较高的预测精度、较好的鲁棒性和较高的计算效率。对辛辛那提大学智能维护系统中心的1号滚动轴承的RUL预测实验结果表明,所提出方法预测得到的RUL值为963min,其RUL预测误差仅为6.50%,比基于Transformer的RUL预测方法预测精度更高、预测误差更小、鲁棒性更好;所提出方法所耗费的RUL预测时间仅为132.37s,比基于Transformer的RUL预测方法的预测时间更短。以上实验结果验证了所提出方法的有效性。 展开更多
关键词 Informer模型 概率稀疏自注意力机制 策略梯度 滚动轴承 剩余寿命预测
在线阅读 下载PDF
基于TCN-Wpsformer混合模型的超短期风电功率预测 被引量:12
7
作者 徐钽 谢开贵 +3 位作者 王宇 胡博 邵常政 赵宇生 《电力自动化设备》 EI CSCD 北大核心 2024年第8期54-61,共8页
针对基于梯度下降的递归神经网络难以捕获时间跨度较长的风电功率长期依赖关系的问题,提出一种基于时间卷积网络(TCN)和窗口概率稀疏Transformer(Wpsformer)混合模型的超短期风电功率预测方法。将包含时间季节性特征的时间编码与包含原... 针对基于梯度下降的递归神经网络难以捕获时间跨度较长的风电功率长期依赖关系的问题,提出一种基于时间卷积网络(TCN)和窗口概率稀疏Transformer(Wpsformer)混合模型的超短期风电功率预测方法。将包含时间季节性特征的时间编码与包含原始数据位置信息的绝对位置编码进行拼接,引入TCN提取时间片段特征,将时间片段特征融入自注意力机制,以时间片段的相关性联系替代时间点的相关性联系。通过Wpsformer模型多步输出超短期风电功率预测值,与原始Transformer模型相比,Wpsformer模型使用窗口概率稀疏自注意力机制,在捕获长期依赖关系的同时筛选出重要程度相对较高的时间片段特征进行计算,提高了预测精度且降低了计算成本。曹店风电场的算例结果表明,所提模型在预测精度方面具有明显优势。消融实验证明了所提模型各模块的必要性。 展开更多
关键词 超短期风电功率预测 时间卷积网络 窗口概率稀疏Transformer 窗口概率稀疏自注意力机制
在线阅读 下载PDF
基于少数据样本的滚动轴承寿命分段预测方法
8
作者 张朋 马孝育 +3 位作者 王恒迪 李畅 邓四二 邱小彪 《机电工程》 CAS 北大核心 2024年第8期1415-1422,共8页
针对少数据样本下,滚动轴承难以准确预测剩余使用寿命(RUL)的问题,提出了一种结合卷积长短期记忆网络(ConvLSTM)与对抗性判别域自适应网络(ADDA)的轴承寿命分段预测方法。首先,利用稀疏概率自注意力机制对特征集进行了筛选,提取了具有... 针对少数据样本下,滚动轴承难以准确预测剩余使用寿命(RUL)的问题,提出了一种结合卷积长短期记忆网络(ConvLSTM)与对抗性判别域自适应网络(ADDA)的轴承寿命分段预测方法。首先,利用稀疏概率自注意力机制对特征集进行了筛选,提取了具有时变性的特征集,以获取最优全局特征,确定分段点以作为ADDA模型的输入;然后,针对不同阶段的退化特点建立了相应的健康评估指标;对处于健康状态的轴承,利用ConvLSTM网络预测了轴承健康阶段的寿命,将健康阶段预测数据作为局部特征输入ADDA网络与最优特征集(全局特征),进行了对抗训练,以实现故障阶段的寿命预测,并使用全连接层输出滚动轴承的预测剩余使用寿命;最后,采用PHM2012数据集与工程试验数据分别对模型进行了验证。研究结果表明:相较于ConvLSTM模型、RNN-HI模型、CNN-LSTM模型,ConvLSTM-ADDA寿命预测方法的平均绝对误差分别降低了78.16%、53.14%、67.13%,平均得分分别提高了66.42%、92.81%、32.37%;相较于LSTM模型、CNN-LSTM模型以及Transformer模型,ConvLSTM-ADDA寿命预测方法的均方误差分别降低了80.11%、54.95%、55.94%。因此,该算法模型能够实现对较少数据样本的轴承寿命进行RUL预测的目的,且具有较高的精度。 展开更多
关键词 对抗性判别域适应网络 卷积长短期记忆网络 稀疏概率自注意力机制 少数据样本 分阶段寿命预测 剩余使用寿命
在线阅读 下载PDF
基于Informer算法的燃料电池寿命估算
9
作者 施永 赵洪霄 +3 位作者 谢缔 汪亮亮 苏建徽 解宝 《太阳能学报》 2025年第8期240-248,共9页
为解决长短期记忆网络(LSTM)和门控循环单元神经网络(GRU)在捕捉长期依赖关系上的不足以及估算精度较低的问题,该文提出基于Informer算法的燃料电池寿命估算方法,旨在提高估算的准确性和效率。该方法采用加权平均法和皮尔逊系数法对数... 为解决长短期记忆网络(LSTM)和门控循环单元神经网络(GRU)在捕捉长期依赖关系上的不足以及估算精度较低的问题,该文提出基于Informer算法的燃料电池寿命估算方法,旨在提高估算的准确性和效率。该方法采用加权平均法和皮尔逊系数法对数据进行平滑处理,以增强数据的趋势性并减少噪声影响。结合Informer模型的多尺度信息融合和长期依赖建模能力,设计了一个能够实现燃料电池寿命在线估算的寿命估算框架。随后设计3组实验与传统的LSTM和GRU模型进行比较,当训练集占比80%时,Informer模型U_(MAE)、U_(RMSE)、U_(MAPE)均最小,估算精度高于LSTM和GRU模型。说明Informer模型在长时间序列估算方面表现出色,为燃料电池寿命估算提供可靠的依据。 展开更多
关键词 神经网络 燃料电池 并行处理 寿命估算 多头概率稀疏自注意力机制
在线阅读 下载PDF
基于Attention与改进SCINet模型的无线传感器网络能量预测与分簇路由算法
10
作者 金崇强 徐震 王雪山 《河南师范大学学报(自然科学版)》 2025年第5期52-59,I0010,共9页
针对能量收集无线传感器网络中,能量预测精度不佳、节点能量利用效率过低和网络难以持续运行等问题,提出了一种改进样本卷积交互神经网络(sample convolution and interaction network,SCINet)预测模型,并引入概率稀疏自注意力机制,在... 针对能量收集无线传感器网络中,能量预测精度不佳、节点能量利用效率过低和网络难以持续运行等问题,提出了一种改进样本卷积交互神经网络(sample convolution and interaction network,SCINet)预测模型,并引入概率稀疏自注意力机制,在新特征序列的每个时间步上计算注意力权重,捕捉重要特征,提高模型预测精度.最后,根据节点剩余能量、预测未来可收集的太阳能能量,对分簇路由算法进行改进.仿真实验结果表明,该能量预测模型具备更高的预测精度和泛化能力.在能量预测模型的基础上,改进的分簇路由算法,能有效地延长无线传感器网络的生命周期. 展开更多
关键词 能量预测 样本卷积交互神经网络 概率稀疏自注意力机制 分簇路由算法
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部