期刊文献+
共找到100篇文章
< 1 2 5 >
每页显示 20 50 100
基于注意力时间卷积神经网络的光伏功率概率预测
1
作者 李青 《太阳能学报》 北大核心 2025年第2期326-332,共7页
针对确定性光伏功率预测无法计算预测结果概率和波动范围的问题,采用改进时间卷积神经网络(TCNN)开展光伏功率概率预测。TCNN已用于各种时序预测任务,但其在输入序列很长情况下需增加卷积层来提升预测性能。在TCNN中引入稀疏注意力机制... 针对确定性光伏功率预测无法计算预测结果概率和波动范围的问题,采用改进时间卷积神经网络(TCNN)开展光伏功率概率预测。TCNN已用于各种时序预测任务,但其在输入序列很长情况下需增加卷积层来提升预测性能。在TCNN中引入稀疏注意力机制,构建注意力时间卷积神经网络(ATCNN),通过分层卷积结构提取时间依赖关系,利用稀疏注意力关注重要的时间步,构建的稀疏注意力层无需更深的架构即可扩展感受野,并使预测结果更具可解释性。在两个光伏数据集上的功率概率预测结果表明,ATCNN的预测准确性优于TCNN、时间融合解码器(TFT)等先进深度学习模型,同时对于感受野的扩展,ATCNN比TCNN需要的卷积层更少、训练速度更快,并能可视化预测过程中最重要的时间步。同卷积层情况下,ATCNN比TCNN的点预测损失小15.7%,概率预测损失小15.9%。 展开更多
关键词 光伏功率 预测 时间卷积网络 稀疏注意力机制 可解释性
在线阅读 下载PDF
结合时间注意力机制和单模态标签自动生成策略的自监督多模态情感识别 被引量:1
2
作者 孙强 王姝玉 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第2期588-601,共14页
大多数多模态情感识别方法旨在寻求一种有效的融合机制,构建异构模态的特征,从而学习到具有语义一致性的特征表示。然而,这些方法通常忽略了模态间情感语义的差异性信息。为解决这一问题,提出了一种多任务学习框架,联合训练1个多模态任... 大多数多模态情感识别方法旨在寻求一种有效的融合机制,构建异构模态的特征,从而学习到具有语义一致性的特征表示。然而,这些方法通常忽略了模态间情感语义的差异性信息。为解决这一问题,提出了一种多任务学习框架,联合训练1个多模态任务和3个单模态任务,分别学习多模态特征间的情感语义一致性信息和各个模态所含情感语义的差异性信息。首先,为了学习情感语义一致性信息,提出了一种基于多层循环神经网络的时间注意力机制(TAM),通过赋予时间序列特征向量不同的权重来描述情感特征的贡献度。然后,针对多模态融合,在语义空间进行了逐语义维度的细粒度特征融合。其次,为了有效学习各个模态所含情感语义的差异性信息,提出了一种基于模态间特征向量相似度的自监督单模态标签自动生成策略(ULAG)。通过在CMU-MOSI,CMU-MOSEI, CH-SIMS 3个数据集上的大量实验结果证实,提出的TAM-ULAG模型具有很强的竞争力:在分类指标(Acc_(2),F_(1))和回归指标(MAE, Corr)上与基准模型的指标相比均有所提升;对于二分类识别准确率,在CMUMOSI和CMU-MOSEI数据集上分别为87.2%和85.8%,而在CH-SIMS数据集上达到81.47%。这些研究结果表明,同时学习多模态间的情感语义一致性信息和各模态情感语义的差异性信息,有助于提高自监督多模态情感识别方法的性能。 展开更多
关键词 多模态情感识别 自监督标签生成 多任务学习 时间注意力机制 多模态融合
在线阅读 下载PDF
融合改进NBEATSx和时间注意力机制的空气污染预测
3
作者 李杰 王占刚 《陕西科技大学学报》 北大核心 2024年第5期198-205,共8页
针对现有空气污染预测存在结构复杂、对多元变量与不同时间步间依赖关系提取不充分和多步预测精度低的问题,引入了β分布和非线性动态控制函数改进星鸦优化算法(INOA),优化NBEATSx模型参数,提高收敛精度;并融合时间模式注意力机制(TPA)... 针对现有空气污染预测存在结构复杂、对多元变量与不同时间步间依赖关系提取不充分和多步预测精度低的问题,引入了β分布和非线性动态控制函数改进星鸦优化算法(INOA),优化NBEATSx模型参数,提高收敛精度;并融合时间模式注意力机制(TPA)为不同时间尺度的多外生变量自适应分配权重,再结合预测因子获取时间模式关系.利用所提模型对北京地区的PM2.5进行预测,与传统模型相比精度提高超过18.45%,为空气污染预测提供了一种新方法. 展开更多
关键词 空气污染预测 时间模式注意力机制 星鸦优化算法 神经基扩展分析网络
在线阅读 下载PDF
融合注意力机制的航空发动机推力估计方法研究
4
作者 邹雨杭 赵永平 《航空工程进展》 2025年第2期40-51,共12页
准确预测航空发动机推力大小对直接控制发动机推力具有重要意义。为了提升航空发动机推力估计模型的准确性和实用性,针对时间序列预测构建融合LSTM和注意力机制的多任务LSTM-Attention模型;针对不同飞行条件下推力估计的问题,运用Fine-t... 准确预测航空发动机推力大小对直接控制发动机推力具有重要意义。为了提升航空发动机推力估计模型的准确性和实用性,针对时间序列预测构建融合LSTM和注意力机制的多任务LSTM-Attention模型;针对不同飞行条件下推力估计的问题,运用Fine-tune和改进DANN的迁移学习方法以增强模型对多工况条件下的适应性。结果表明:LSTM融合注意力机制可以有效地对长时间序列数据进行建模,修正了LSTM在全局建模能力上不足的问题,同时也克服了注意力机制难以捕捉相对位置信息的局限;多任务学习策略能显著提高模型在油门杆突变节点处的预测精度,进一步提高了模型的准确性;当目标域数据较少时应当选择Fine-tune,而在目标域数据充足的情况下使用改进DANN方法将得到准确性更高的模型。 展开更多
关键词 推力估计 时间序列预测 LSTM 注意力机制 多任务学习 迁移学习
在线阅读 下载PDF
基于多时间尺度建模自动特征提取和通道注意力机制的锂离子电池健康状态估计 被引量:2
5
作者 柯学 洪华伟 +5 位作者 郑鹏 李智诚 范培潇 杨军 郭宇铮 蒯春光 《储能科学与技术》 CAS CSCD 北大核心 2024年第9期3059-3071,共13页
准确估计锂离子电池(lithium-ion battery,LIB)的健康状态(state of health,SOH)对于确保储能电站的安全稳定运行至关重要。然而,现有的数据驱动方法通常依赖手工特征提取,并且特征的时间尺度比较单一,很难进行高效且精确的电池健康状... 准确估计锂离子电池(lithium-ion battery,LIB)的健康状态(state of health,SOH)对于确保储能电站的安全稳定运行至关重要。然而,现有的数据驱动方法通常依赖手工特征提取,并且特征的时间尺度比较单一,很难进行高效且精确的电池健康状态评估。为了解决这些问题,提出了一种基于多时间尺度建模自动特征提取和通道注意力机制的健康状态估计模型。该模型首先将充电过程信息输入多个并行的膨胀卷积模块(dilation convolution module,DCM),从不同时间尺度进行自动特征提取,获得丰富且全面的特征表示。随后,不同尺度的特征通过融合后结合门控循环单元(gated recurrent unit,GRU)提取时间序列的长期依赖关系。模型进一步融入通道注意力机制(efficient channel attention,ECA),对历史信息进行相关性动态权重分配,关注显著特征。最后,在两个公开数据集上验证了本方法的优越性,并与其他常用深度学习模型进行了比较。结果表明,本模型具有较高的SOH估计精度和良好的迁移性,两个数据集上的均方根误差分别仅为0.0110和0.0095,在跨数据集的迁移实验中均方误差仅为0.0092。 展开更多
关键词 锂离子电池 健康状态 卷积神经网络 注意力机制 时间序列
在线阅读 下载PDF
基于时间相关性注意力的行为识别
6
作者 刘宽 汪威 +3 位作者 申红婷 候红涛 郭明镇 罗子江 《液晶与显示》 CAS CSCD 北大核心 2023年第8期1095-1106,共12页
针对行为识别任务中,行为体和动作状态变化速度不同以及缺少对动作间的相关性研究而引起的行为判别能力低和误判等问题,提出一种基于SlowFast架构的时间相关性注意力机制模型。首先,放弃光流而直接将视频数据作为网络输入,使模型可以进... 针对行为识别任务中,行为体和动作状态变化速度不同以及缺少对动作间的相关性研究而引起的行为判别能力低和误判等问题,提出一种基于SlowFast架构的时间相关性注意力机制模型。首先,放弃光流而直接将视频数据作为网络输入,使模型可以进行端到端训练;其次,定义了一种由相关性注意力和时间注意力构成的时间相关性注意力机制,其中相关性注意力机制用于提取动作间的相关性信息;然后,将信息输入时间注意力机制来抑制无用特征;最后,针对SlowFast在路径融合过程中由于卷积核步长过大而导致的特征间相关性丢失问题,提出更有效的连续卷积操作进行替代。在UCF101和HMDB51两个数据集上进行实验,结果证明,所提方法与现有方法相比,精度和鲁棒性具有优势。 展开更多
关键词 行为识别 SlowFast 时间相关性注意力机制 端到端训练 路径融合
在线阅读 下载PDF
基于时间模式注意力机制和改进TCN的PM_(2.5)浓度预测方法
7
作者 周卓辉 杨欢 刘小芳 《无线电工程》 2024年第10期2315-2324,共10页
针对现在PM_(2.5)浓度预测模的预测精度不高和泛化能力差的问题,提出一种结合时间模式注意力机制和改进时间卷积网络(Temporal Pattern Attention and Temporal Convolutional Network,TPA-TCN)的PM_(2.5)浓度预测模型。通过对气象数据... 针对现在PM_(2.5)浓度预测模的预测精度不高和泛化能力差的问题,提出一种结合时间模式注意力机制和改进时间卷积网络(Temporal Pattern Attention and Temporal Convolutional Network,TPA-TCN)的PM_(2.5)浓度预测模型。通过对气象数据和空气污染物监测站点数据进行时空分析,选择具有高相关性的邻近站点作为辅助变量。引入TPA机制,在PM_(2.5)数据时间序列的每个时间步上计算注意力权重,改进TCN的残差结构,提高模型的训练速度和鲁棒性。使用自回归(Autoregressive,AR)算法优化模型的线性提取能力。实验结果表明,该模型在PM_(2.5)预测对比实验任务中表现优异,具备更高的预测精度和更强的泛化能力。 展开更多
关键词 PM_(2.5)预测 时间卷积网络 时间模式注意力机制
在线阅读 下载PDF
基于自注意力机制的PM_(2.5)长时间尺度预测
8
作者 何宇涵 《长江信息通信》 2024年第10期72-75,共4页
近些年基于机器学习的PM_(2.5)预测逐渐成为主流,具有较强的非线性建模能力和提高预测精度的优势。然而,时间跨度较大的PM_(2.5)浓度变化预测仍然面临挑战。文章构建了多种自注意力机制的模型,将PM_(2.5)浓度的逐日预测提升到了14天的尺... 近些年基于机器学习的PM_(2.5)预测逐渐成为主流,具有较强的非线性建模能力和提高预测精度的优势。然而,时间跨度较大的PM_(2.5)浓度变化预测仍然面临挑战。文章构建了多种自注意力机制的模型,将PM_(2.5)浓度的逐日预测提升到了14天的尺度,提升了以日为单位的PM_(2.5)预测精度。并对Informer、Autoformer、FEDformer和TCN模型在以日为单位的长时间尺度预测进行了对比分析,提高了PM_(2.5)预测模型的准确性和可靠性。文章共构建了3,7,14天三个时间尺度,在各个时间尺度上,Autoformer模型性能表现都是最好的。相较于TCN模型,Autoformer在预测未来3天的时间尺度上,RMSE优化了43.36%,MAE优化了42.70%。在7天的时间尺度上,RMSE优化了39.07%,MAE优化了8.98%、在14天的时间尺度上,RMSE优化了39.07%,MAE优化了8.98%。有效提升了PM_(2.5)在长时间序列预测上的精度。 展开更多
关键词 PM_(2.5) 时间序列预测 注意力机制 Autoformer TCN
在线阅读 下载PDF
基于融合注意力机制LSTM网络的地下水位自适应鲁棒预测 被引量:3
9
作者 佃松宜 厉潇滢 +2 位作者 杨丹 芮胜阳 郭斌 《工程科学与技术》 EI CAS CSCD 北大核心 2024年第1期54-64,共11页
地下水水位是旱天污水管网地下水入渗量的重要影响因素,快速精准地预测地下水水位能有效提升旱天污水管网地下水入渗量估算准确度,辅助优化管网病害治理与维护策略。针对目前城市复杂水文预测存在的准确度低、灵敏度低、泛化能力弱等问... 地下水水位是旱天污水管网地下水入渗量的重要影响因素,快速精准地预测地下水水位能有效提升旱天污水管网地下水入渗量估算准确度,辅助优化管网病害治理与维护策略。针对目前城市复杂水文预测存在的准确度低、灵敏度低、泛化能力弱等问题,本文提出了一种新的鲁棒自适应水位预测算法。首先,对水文数据进行预处理,解决了数据时间跨度大、噪声多、缺失及异常、非平稳等问题。其次,针对不同输入特征对预测指标的影响,在模型训练阶段提出一种新的空间变量注意机制,可快速识别与水位关联的关键变量,并对输入特征赋予不同的影响权重。然后,针对不同序列长度对预测效果的影响,还设计了自适应时间注意力机制,帮助网络自适应地找出与不同时间序列长度预测指标相关的编码器隐藏状态,以更好地捕捉时间上的依赖关系。在此基础上,以上下文向量作为输入,提出一种融合注意力机制的长短时记忆网络水文预测算法。最后,通过意大利Petrignano水文数据验证了所提算法的有效性,并与GRU、Elman、LSTM、VA–LSTM和S–LSTM等方法进行预测性能比较。结果表明,基于融合注意力机制的LSTM网络在面临大规模、噪点多的复杂数据时有优于其它几种算法的预测效果,表明该算法具有强自适应性和鲁棒性。本文研究结果可以为市政排水策略合理调整、及时控制提供参考。 展开更多
关键词 地下水位预测 时间与空间注意力机制 LSTM网络 自适应预测 鲁棒预测
在线阅读 下载PDF
基于注意力时间卷积网络的加密流量分类
10
作者 金彦亮 陈彦韬 +1 位作者 高塬 周嘉豪 《应用科学学报》 CAS CSCD 北大核心 2024年第4期659-672,共14页
针对目前大多数加密流量分类方法忽略了流量的时序特性和所用模型的效率等问题,提出了一种基于注意力时间卷积网络(attention temporal convolutional network,ATCN)的高效分类方法。该方法首先将流量的内容信息与时序信息共同嵌入模型... 针对目前大多数加密流量分类方法忽略了流量的时序特性和所用模型的效率等问题,提出了一种基于注意力时间卷积网络(attention temporal convolutional network,ATCN)的高效分类方法。该方法首先将流量的内容信息与时序信息共同嵌入模型,增强加密流量的表征;然后利用时间卷积网络并行捕获有效特征以增加训练速度;最后引入注意力机制建立动态特征汇聚,实现模型参数的优化。实验结果表明,该方法在设定的两项分类任务上的性能都优于基准模型,其准确率分别为99.4%和99.8%,且模型参数量最多可降低至基准模型的15%,充分证明了本文方法的先进性。最后,本文在ATCN上引入了一种基于迁移学习的微调方式,为流量分类中零日流量的处理提供了一种新颖的思路。 展开更多
关键词 加密流量分类 时间卷积网络 注意力机制 迁移学习
在线阅读 下载PDF
基于注意力机制循环神经网络的液体火箭发动机故障检测 被引量:1
11
作者 张万旋 卢哲 +2 位作者 张箭 薛薇 张楠 《导弹与航天运载技术(中英文)》 CSCD 北大核心 2024年第2期25-31,共7页
针对液体火箭发动机主级段工作过程,采用多变量非线性时间序列分析理论,在两级注意力机制循环神经网络(Dual Stage Attention Based Recurrent Neural Networks,DA-RNN)的基础上,提出一种新型时序分析工具——卷积两级注意力机制循环神... 针对液体火箭发动机主级段工作过程,采用多变量非线性时间序列分析理论,在两级注意力机制循环神经网络(Dual Stage Attention Based Recurrent Neural Networks,DA-RNN)的基础上,提出一种新型时序分析工具——卷积两级注意力机制循环神经网络(Convolutional Dual Stage Attention Based Recurrent Neural Networks,CDA-RNN),从而建立故障趋势预测模型。通过对预测残差进行自相关性分析并定义故障置信概率,提出了故障检测量化依据。利用发生微弱故障的热试车数据进行验证,结果表明,CDA-RNN模型对非稳态工作段微弱故障多参数检测具有良好鲁棒性,该方法十分有效,具有直接应用价值。 展开更多
关键词 多变量时间序列 注意力机制 循环神经网络 卷积神经网络 相关性分析
在线阅读 下载PDF
基于改进VMD和注意力机制的混沌时间序列预测 被引量:4
12
作者 李杰 闫柯朴 +1 位作者 孟凡熙 朱玮 《兰州交通大学学报》 CAS 2023年第2期55-63,共9页
采用神经网络预测混沌时间序列时,已有研究忽略了混沌时间序列的物理信息混叠现象,难以满足预测时混沌时间序列特征提取的需求,而变分模态分解的结果受参数影响较大,合适的参数能够大大提升变分模态分解的效果,故提出一种模拟退火算法... 采用神经网络预测混沌时间序列时,已有研究忽略了混沌时间序列的物理信息混叠现象,难以满足预测时混沌时间序列特征提取的需求,而变分模态分解的结果受参数影响较大,合适的参数能够大大提升变分模态分解的效果,故提出一种模拟退火算法优化的自适应变分模态分解算法,解决参数选择问题。长短期记忆神经网络适用于时序信息的处理,但易忽略输入之间的关联信息,而自注意力机制可加强数据内部关联,有利于重要特征的提取,因此将自注意力机制融入长短期记忆网络。通过引入这两种方法形成融合神经网络模型,采用真实混沌时间序列验证了所提出方法的有效性。对比实验结果表明:所提出的融合神经网络模型可有效提取混沌时间序列中隐含的动力学特征,显著改进神经网络的注意力配比,有效解决预测中出现的超前现象,从而大幅提高了混沌时间序列预测的精确性和稳定性。 展开更多
关键词 混沌时间序列 变分模态分解 注意力机制 神经网络
在线阅读 下载PDF
基于注意力机制的循环神经网络对金融时间序列的应用 被引量:2
13
作者 沐年国 姚洪刚 《现代电子技术》 2021年第14期1-5,共5页
金融时间序列由于高噪声性以及序列间的相关性,导致传统模型的预测精度和泛化能力往往较低。为了克服这一问题,提出一种基于注意力机制的循环神经网络预测模型。利用金融时间序列的技术指标作为特征序列,通过GRU得到隐藏状态,再利用注... 金融时间序列由于高噪声性以及序列间的相关性,导致传统模型的预测精度和泛化能力往往较低。为了克服这一问题,提出一种基于注意力机制的循环神经网络预测模型。利用金融时间序列的技术指标作为特征序列,通过GRU得到隐藏状态,再利用注意力机制将其重构,并与目标序列一起作为新的GRU的输入,提高目标序列的预测效果。利用上证综指数据,分别使用加入注意力机制的门控循环网络与标准门控循环网络进行预测。在6个输入维度的情况下,基于注意力机制的GRU模型平均绝对百分比误差为0.76%,低于标准GRU模型的0.90%;在48个输入维度的情况下,基于注意力机制的GRU模型平均绝对百分比误差为0.73%,低于标准GRU模型的1.61%。结果表明,加入注意力机制后门控循环网络的预测效果得到提升,并且在特征序列的输入维度增大时,其预测效果提升更为明显。 展开更多
关键词 循环神经网络 金融时间序列 注意力机制 GRU模型 预测模型 隐藏状态重构 实证分析
在线阅读 下载PDF
量子自注意力神经网络的时间序列预测 被引量:2
14
作者 陈欣 李闯 金凡 《电子科技大学学报》 EI CAS CSCD 北大核心 2024年第1期110-118,共9页
在“量子-经典”混合模式下,设计了多头量子自注意力神经网络预测模型(MQSAPN)用以进行时间序列预测,模型包括多头量子自注意力模块以及变分量子线路预测模块两部分。通过对输入数据按时间步长分别进行量子态编码以及K、Q、V的计算,借... 在“量子-经典”混合模式下,设计了多头量子自注意力神经网络预测模型(MQSAPN)用以进行时间序列预测,模型包括多头量子自注意力模块以及变分量子线路预测模块两部分。通过对输入数据按时间步长分别进行量子态编码以及K、Q、V的计算,借鉴已有研究使用高斯函数进行自注意力系数的估计方式,将量子自注意力特征提取后的数据再次编码到变分预测线路中,经过线路演化及测量,最终获取预测结果。完整流程与模型搭建均采用VQNet框架实现。在天气学变量的时间序列预测任务中,该模型表现出与经典多头自注意力模型预测模型以及长短期记忆单元网络模型相当的预测精度。此外,相对于同样是量子机器学习的data-reuploading变分线路而言,在近乎同等规模线路深度与参数量的前提下,表现出更高的预测精度,这也进一步验证了引入量子自注意力机制的有效性。值得指出的是,作为预测部分的变分线路会随着输入数据量的增多(如时间窗加长、特征变量规模增加等),其参数量与线路深度也会显著增加,尽管多层QSA能够较好地进行特征表达,但依然有可能因遇到“贫瘠高原”困难而成为整个网络的瓶颈。 展开更多
关键词 量子计算 量子机器学习 注意力机制 时间序列预测
在线阅读 下载PDF
基于注意力时间卷积网络的香蕉新鲜度识别与剩余货架期预测
15
作者 李鑫 朱磊 +2 位作者 张媛 杜艳平 邢晓 《食品与机械》 CSCD 北大核心 2024年第11期153-159,共7页
[目的]解决传统机器学习算法(BP、SVM)无法很好地挖掘时序数据特征导致模型识别和预测效果不佳的问题,最大限度减少新鲜水果在流通过程中鲜度的损失。[方法]以香蕉为研究对象,使用时间卷积网络(TCN)结合有效通道注意力网络(ECA-NET)建... [目的]解决传统机器学习算法(BP、SVM)无法很好地挖掘时序数据特征导致模型识别和预测效果不佳的问题,最大限度减少新鲜水果在流通过程中鲜度的损失。[方法]以香蕉为研究对象,使用时间卷积网络(TCN)结合有效通道注意力网络(ECA-NET)建立香蕉新鲜度识别模型(ECA-TCN),并进行仿真测试。[结果]BP、SVM、TCN、ECA-TCN的识别准确率分别为84.89%,85.16%,97.83%,99.03%。[结论]试验方法对香蕉的新鲜度识别具有更好的效果。 展开更多
关键词 香蕉 新鲜度 传感器阵列 时间卷积网络(TCN) 注意力机制 剩余货架期预测
在线阅读 下载PDF
基于注意力机制的电磁时间序列异常检测方法 被引量:2
16
作者 王翔 邓文 +1 位作者 刘世雄 黄知涛 《太赫兹科学与电子信息学报》 2021年第4期581-588,共8页
实现电磁数据的异常检测和模式发现,对电磁目标异常行为的判断与提前预警具有重要价值。不同类型的电磁数据通常以时间序列的形式存在,且具有正常数据与异常数据不均衡等特点。为应对上述挑战,提出一种基于时空联合注意力机制的时间序... 实现电磁数据的异常检测和模式发现,对电磁目标异常行为的判断与提前预警具有重要价值。不同类型的电磁数据通常以时间序列的形式存在,且具有正常数据与异常数据不均衡等特点。为应对上述挑战,提出一种基于时空联合注意力机制的时间序列异常检测方法。基于电磁数据的时间与空间特征,结合通道与空间注意力机制,增强对时序数据异常部分的特征表示。实验结果表明,提出的检测算法能够有效应对数据不均衡的难点,具有较强的鲁棒性。 展开更多
关键词 电磁时间序列 异常检测 注意力机制 卷积神经网络 长短期记忆网络
在线阅读 下载PDF
基于注意力机制的泊位占有率预测模型研究 被引量:4
17
作者 王竹荣 薛伟 +3 位作者 牛亚邦 崔颖安 孙钦东 黑新宏 《通信学报》 EI CSCD 北大核心 2020年第12期182-192,共11页
为解决泊位占有率的预测精度随步长增加而下降的问题,提出了一种基于注意力机制的泊位占有率预测模型。通过卷积神经网络获得多变量的时间模式信息作为模型的注意力机制。通过对模型训练、学习特征信息,并对相关性高的序列分配较大的学... 为解决泊位占有率的预测精度随步长增加而下降的问题,提出了一种基于注意力机制的泊位占有率预测模型。通过卷积神经网络获得多变量的时间模式信息作为模型的注意力机制。通过对模型训练、学习特征信息,并对相关性高的序列分配较大的学习权重,来实现解码器输出高度相关的有用特征预测目标序列。应用多个停车场数据集对模型进行测试,测试结果及对比分析表明,所提模型在步长达到36时对泊位占有率的预测数据能较好地估计真实值,预测精度和稳定性相比LSTM均有提高。 展开更多
关键词 时间序列预测 泊位占有率预测 注意力机制 序列到序列模型
在线阅读 下载PDF
融合注意力机制的多标签文本分类 被引量:1
18
作者 刘杰 唐宏 +2 位作者 杨浩澜 甘陈敏 彭金枝 《微电子学与计算机》 2023年第12期26-34,共9页
多标签文本分类的结果很大程度上受到标签相关性的影响.为了更加细致地处理标签相关性问题,提出一种融合注意力机制的多标签文本分类方法.首先,将文本和标签预处理后,对标签输入采用两种不同的嵌入方式提取特征;其次,运用注意力机制处... 多标签文本分类的结果很大程度上受到标签相关性的影响.为了更加细致地处理标签相关性问题,提出一种融合注意力机制的多标签文本分类方法.首先,将文本和标签预处理后,对标签输入采用两种不同的嵌入方式提取特征;其次,运用注意力机制处理信息,针对文本和标签信息,自注意力机制进行特征处理,标签注意力机制和交互注意力机制进行依赖关系处理,进而得到两种不同状态下的表示方式;最后,通过两次融合,充分表示文本标签信息,得到较好的标签分类结果.实验结果显示,较之于基线方法,在精度和归一化折损累计增益上,该方法数据总体有所提高.由此,该方法可以有效地融合文本和标签信息,缓解标签相关性问题,有利于提升多标签文本分类任务性能. 展开更多
关键词 多标签文本分类 注意力机制 标签注意力机制 交互注意力机制 标签相关性
在线阅读 下载PDF
基于双注意力机制的Seq2Seq短期负荷预测 被引量:4
19
作者 姜建国 陈鹏 +2 位作者 郭晓丽 佟麟阁 万成德 《吉林大学学报(信息科学版)》 CAS 2023年第2期251-258,共8页
针对经典的深度学习方法在多步长预测精度不高问题,提出一种基于双注意力序列到序列的短期负荷预测模型。通过自注意力机制有效提取影响负荷数据的隐藏相关因素,使模型能更好地发现负荷数据之间的规律,自适应地学习了负荷数据之间的相... 针对经典的深度学习方法在多步长预测精度不高问题,提出一种基于双注意力序列到序列的短期负荷预测模型。通过自注意力机制有效提取影响负荷数据的隐藏相关因素,使模型能更好地发现负荷数据之间的规律,自适应地学习了负荷数据之间的相关特征,时间注意力机制捕获与时间相关的时序特征。经2个实际负荷数据实验,仿真结果表明,在(t+12)预测情况下,模型评价指标MAPE(Mean Absolute Percentage Error)为2.09%,较LSTM(Long Short-Term Memory)模型损失下降56.69%。验证了模型的正确性和可行性,模型较线性回归、 LSTM模型和Seq2Seq(Sequence to Sequence)模型的预测效果更好。 展开更多
关键词 负荷预测 序列到序列 注意力机制 时间注意力机制 多步长预测
在线阅读 下载PDF
基于多头自注意力机制的LSTM-MH-SA滑坡位移预测模型研究 被引量:17
20
作者 张振坤 张冬梅 +1 位作者 李江 吴益平 《岩土力学》 EI CAS CSCD 北大核心 2022年第S02期477-486,507,共11页
受自身地质条件及外界周期、随机等因素影响,滑坡演变过程具有典型跃变特征。传统基于门控机制的深度学习模型对阶跃型滑坡预测能力不足,多头自注意力通过关注不同尺度时序数据的隐含信息能自适应挖掘序列的变化程度特征,有效学习数据... 受自身地质条件及外界周期、随机等因素影响,滑坡演变过程具有典型跃变特征。传统基于门控机制的深度学习模型对阶跃型滑坡预测能力不足,多头自注意力通过关注不同尺度时序数据的隐含信息能自适应挖掘序列的变化程度特征,有效学习数据潜在变化趋势,提升序列的预测能力。研究基于变分模态分解技术将滑坡累积位移量分解成趋势项、周期项和随机项,对各位移分量和影响因子开展动态时间规整相关性分析。结合多头自注意力机制和长短时记忆网络模型对各位移分量进行动态预测,各位移分量预测值相加得到实际预测结果。以三峡库区白水河滑坡作为研究区,对监测点ZG118开展累积位移预测,采用监测点ZG93、XD01进行模型适应性验证,试验结果表明对于降雨、库水位变化导致的阶跃数据段,新模型能大大提升预测的精度,为三峡库区滑坡位移预测研究提供新的思路。 展开更多
关键词 滑坡位移预测 变分模态分解 动态时间规整 多头自注意力机制 长短时记忆网络
在线阅读 下载PDF
上一页 1 2 5 下一页 到第
使用帮助 返回顶部