期刊文献+
共找到20篇文章
< 1 >
每页显示 20 50 100
融合RNN与稀疏自注意力的文本摘要方法 被引量:1
1
作者 刘钟 唐宏 +1 位作者 王宁喆 朱传润 《计算机工程》 北大核心 2025年第1期312-320,共9页
随着深度学习的高速发展,基于序列到序列(Seq2Seq)架构的文本摘要方法成为研究焦点,但现有大多数文本摘要模型受限于长期依赖,忽略了注意力机制复杂度以及词序信息对文本摘要生成的影响,生成的摘要丢失关键信息,偏离原文内容与意图,影... 随着深度学习的高速发展,基于序列到序列(Seq2Seq)架构的文本摘要方法成为研究焦点,但现有大多数文本摘要模型受限于长期依赖,忽略了注意力机制复杂度以及词序信息对文本摘要生成的影响,生成的摘要丢失关键信息,偏离原文内容与意图,影响用户体验。为了解决上述问题,提出一种基于Transformer改进的融合递归神经网络(RNN)与稀疏自注意力的文本摘要方法。首先采用窗口RNN模块,将输入文本按窗口划分,每个RNN对窗口内词序信息进行压缩,并通过窗口级别的表示整合为整个文本的表示,进而增强模型捕获局部依赖的能力;其次采用基于递归循环机制的缓存模块,循环缓存上一文本片段的信息到当前片段,允许模型更好地捕获长期依赖和全局信息;最后采用稀疏自注意力模块,通过块稀疏矩阵对注意力矩阵按块划分,关注并筛选出重要令牌对,而不是在所有令牌对上平均分配注意力,从而降低注意力的时间复杂度,提高长文本摘要任务的效率。实验结果表明,该方法在数据集text8、enwik8上的BPC分数相比于LoBART模型降低了0.02,在数据集wikitext-103以及ptb上的PPL分数相比于LoBART模型分别降低了1.0以上,验证了该方法的可行性与有效性。 展开更多
关键词 序列到序列架构 文本摘要 Transformer模型 递归神经网络 递归循环机制 稀疏自注意力机制
在线阅读 下载PDF
基于稀疏自注意力图神经网络的三维目标检测
2
作者 彭志辰 封岸松 +2 位作者 王天柱 邵鑫喆 库涛 《计算机工程与应用》 北大核心 2025年第3期295-305,共11页
三维目标检测是自动驾驶环境感知中最重要的技术之一。为了解决远距离漏检问题,提升三维目标检测的效果,提出一种基于稀疏自注意力图神经网络的三维目标检测方法(SSA-GNN),在采样关键点阶段,提出动态区域并行采样法,通过采样区域过滤,... 三维目标检测是自动驾驶环境感知中最重要的技术之一。为了解决远距离漏检问题,提升三维目标检测的效果,提出一种基于稀疏自注意力图神经网络的三维目标检测方法(SSA-GNN),在采样关键点阶段,提出动态区域并行采样法,通过采样区域过滤,场景划分为扇区,融合动态最远体素采样的方式,以保持关键点均匀分布、加速采样同时提升前景点比例。在细化建议框阶段,利用图神经网络在点之间建立联系,通过迭代的消息传递来更好地建模上下文信息和聚合领域信息,并改进多头自注意机制来更好地关注特征聚合后领域中的重要关系,从而提高算法检测性能。SSA-GNN在KITTI公开数据集上进行测试,与基线网络PointPillars、SECOND和PointRCNN相比,在困难等级指标下,Car类平均精度分别提升了7.95、5.50、6.94个百分点,结果表明SSA-GNN可有效提升三维目标检测性能。 展开更多
关键词 三维目标检测 关键点采样 图神经网络 稀疏自注意力
在线阅读 下载PDF
集双向标准化和稀疏自注意力的点云分割
3
作者 张蕊 武益超 +1 位作者 黄官龙 金玮 《计算机工程与应用》 北大核心 2025年第15期189-198,共10页
随着激光雷达点云在智慧城市规划、自动导航与驾驶、同步定位与高精度制图等领域的广泛应用,点云特征提取作为场景感知与解译的基础而备受关注。然而激光雷达点云存在稀疏、无序、非结构等特性以及点云地物目标之间存在遮挡、远稀近密... 随着激光雷达点云在智慧城市规划、自动导航与驾驶、同步定位与高精度制图等领域的广泛应用,点云特征提取作为场景感知与解译的基础而备受关注。然而激光雷达点云存在稀疏、无序、非结构等特性以及点云地物目标之间存在遮挡、远稀近密等问题,使得点云特征提取面临严峻挑战。当前深度学习模型在捕获点云几何信息时,难以有效提取海量非结构化数据的细粒度特征;在捕获语义信息时,稀疏数据环境下对局部空间关系的建模准确度不高。针对以上局限性,构建了一种全新的点云语义分割模型PointDTNet,该模型为解决特征编码阶段分组采样点不规则问题,设计出一种点云双向标准化模块,通过点标准化和逆向点标准化操作,以自适应地方式优化分组点和采样点的密度分布,有效阻止了不规则数据特征的传递。为增强模型对空间关系的建模能力,设计了一种作用于点云局部邻域的Transformer稀疏自注意力模块,该模块为平衡计算效率与模型复杂度,仅允许每个点与其邻域内的点进行交互,并通过位置嵌入的方式对局部邻域内点的相对位置进行编码,以自适应地分配每个点的特征权重。实验结果表明,PointDTNet模型在点云语义分割任务中取得了显著效果,其在S3DIS数据集“Area 5”上的OA、mAcc、mIoU分别达到84.68%、65.11%、54.98%;在相同实验条件下,与基模型PointNet++相比OA、mAcc、mIoU分别提高了1.23、7.72、2.07个百分点。 展开更多
关键词 激光雷达点云 语义分割 双向标准化 稀疏自注意力 多特征融合
在线阅读 下载PDF
基于概率稀疏自注意力的航空发动机剩余寿命预测 被引量:1
4
作者 王欣 黄佳琪 许雅玺 《科学技术与工程》 北大核心 2024年第6期2424-2433,共10页
航空发动机剩余寿命预测对其健康管理具有重要意义,针对长序列、多维度的航空发动机监测参数,提出一种基于概率稀疏自注意力(ProbSparse Self-Attention)的Transformer模型以实现航空发动机剩余寿命的准确预测。用ProbSparse Self-Atten... 航空发动机剩余寿命预测对其健康管理具有重要意义,针对长序列、多维度的航空发动机监测参数,提出一种基于概率稀疏自注意力(ProbSparse Self-Attention)的Transformer模型以实现航空发动机剩余寿命的准确预测。用ProbSparse Self-Attention取代原始Transformer中的常规自注意力机制,使得模型更关注时间序列中重要的时间节点,大幅缩减时间维度,减小了时间和空间复杂度;通过注意力层整合后的信息,进一步通过前馈神经网络层和卷积层,提取传感器的空间特征,编码层之间通过扩张因果卷积相连接,扩大了感受野,提高了模型对长序列信息的捕获能力。在新公开的N-CMAPSS数据集上验证算法,实验结果表明,相比于实验中的对比模型,所提模型的RMSE和Score值均有提升,推理速度也优于其他模型。 展开更多
关键词 概率稀疏自注意力 剩余寿命预测 航空发动机 TRANSFORMER 深度学习
在线阅读 下载PDF
基于稀疏自注意力和可见-近红外光谱的土壤氮含量预测 被引量:3
5
作者 冀荣华 李常昊 +1 位作者 郑立华 宋丽芬 《农业机械学报》 EI CAS CSCD 北大核心 2024年第10期392-398,409,共8页
氮是影响作物生长的关键因素,精准获取土壤氮含量是实施各类农田水肥管理技术的基础。利用可见-近红外光谱技术可以快速检测土壤氮含量,预测模型精度和泛化能力是制约将光谱技术应用于土壤氮含量检测的瓶颈。为此,提出了一种基于稀疏自... 氮是影响作物生长的关键因素,精准获取土壤氮含量是实施各类农田水肥管理技术的基础。利用可见-近红外光谱技术可以快速检测土壤氮含量,预测模型精度和泛化能力是制约将光谱技术应用于土壤氮含量检测的瓶颈。为此,提出了一种基于稀疏自注意力和可见-近红外光谱的土壤氮含量预测模型(Visible-near-infrared reflection spectrum and sparse transformer,VNIRSformer)用于提升预测精度和泛化能力。模型由输入层、嵌入层、编码器、解码器、预测层和输出层组成。采用大型公开数据集(Land use/cover area frame statistical survey,LUCAS)训练模型以提升模型泛化能力。实验测试VNIRSformer模型在15种不同光谱波长间隔下的性能,发现:随着波长间隔增加,预测精度先升后降,模型规模不断变小。波长间隔为1 nm时模型预测精度最低,RMSE为0.47 g/kg,R^(2)为0.78。波长间隔为5 nm时模型预测精度最高,RMSE为0.35 g/kg,R^(2)为0.89。当波长间隔从0.5 nm增加至1 nm时,模型规模下降最快,下降比例约为72%。当增加至5 nm后,模型规模匀速下降,下降比例约为5%。综合考虑模型规模及性能,最佳波长间隔设为5 nm。与6种不同预测模型(2种卷积神经网络、传统自注意力模型、偏最小二乘回归、支持向量机回归和K近邻回归)进行对比实验,发现:VNIRSformer模型性能最佳,RMSE为0.35 g/kg,R^(2)为0.89,RPD为2.95。测试VNIRSformer对不同等级的土壤氮含量预测能力,发现:VNIRSformer模型能够较好预测小于5 g/kg的土壤氮含量。将VNIRSformer模型直接应用于自采数据集,发现:R^(2)下降约0.17,表明模型具有一定泛化能力。研究表明,选取波长间隔为5 nm的光谱数据作为VNIRSformer模型输入,预测性能最佳,规模适中;稀疏注意力机制有助于提升模型预测精度,降低模型训练时间;预测模型具有一定泛化能力。研究结果可为基于可见-近红外光谱的土壤氮含量预测技术田间实际应用提供理论支持。 展开更多
关键词 土壤氮含量 预测模型 稀疏自注意力机制 可见-近红外光谱
在线阅读 下载PDF
基于稀疏自注意力的偏振表面法线估计
6
作者 于智超 万振华 赵开春 《光学精密工程》 EI CAS CSCD 北大核心 2024年第20期2987-2998,共12页
对于物体表面法线的准确估计在各种计算机视觉任务中扮演着重要角色。采用基于物理的偏振表面法线估计方法存在诸多限制,限制了其实用性。相反,基于深度学习的偏振表面法线估计方法在精度和适用性上均超越了基于物理的方法,为了进一步... 对于物体表面法线的准确估计在各种计算机视觉任务中扮演着重要角色。采用基于物理的偏振表面法线估计方法存在诸多限制,限制了其实用性。相反,基于深度学习的偏振表面法线估计方法在精度和适用性上均超越了基于物理的方法,为了进一步提高基于深度学习的偏振表面法线估计精度,以使其能适用于更多的实际任务,本文提出了一种新的方法。首先,结合斯托克斯矢量提出了一种新的偏振信息表示方法,旨在提高模型对偏振物理先验信息的提取能力。随后结合基于双层路由的稀疏自注意力机制,以改进模型对全局上下文信息的感知能力,来更好地对局部偏振信息消歧。在DeepSfP数据集和自建测试数据进行测试。实验结果表明:提出的方法在DeepSfP数据集上平均角度误差为13.37°,并在精度和角度误差等所有测试指标上均优于现有方法,证明了该方法在估计法线效果方面的显著改进。通过引入新的偏振信息表示方法和稀疏自注意力机制,我们的方法提高了偏振表面法线估计的精度和适用性,为实际任务的应用提供了更强的支持。 展开更多
关键词 偏振信息表达 稀疏自注意力机制 偏振表面法线估计
在线阅读 下载PDF
基于概率化稀疏自注意力LSTM的锂离子电池健康状态预测 被引量:1
7
作者 关燕鹏 刘成刚 +1 位作者 相洪涛 张晓宇 《控制工程》 CSCD 北大核心 2024年第10期1833-1840,共8页
针对锂离子电池健康状态(state of health,SOH)预测,提出了一种基于概率化稀疏自注意力机制(probsparseself-attentionmechanism,PSM)和长短期记忆(longshort-term memory,LSTM)神经网络的预测模型。首先,提取锂离子电池容量数据并进行... 针对锂离子电池健康状态(state of health,SOH)预测,提出了一种基于概率化稀疏自注意力机制(probsparseself-attentionmechanism,PSM)和长短期记忆(longshort-term memory,LSTM)神经网络的预测模型。首先,提取锂离子电池容量数据并进行窗口化处理,利用位置嵌入获取高维数据之间的特征信息并对数据进行位置编码。然后,引入PSM对输入数据的权重进行稀疏性判断,增加对SOH预测具有关键影响的因素的权重。最后,利用LSTM神经网络捕获数据之间的时序特征进行锂离子电池SOH预测。实验结果表明,与其他常用的锂离子电池SOH预测模型相比,所提模型可以减少预测误差,具有更好的预测性能。 展开更多
关键词 锂离子电池 LSTM神经网络 健康状态 概率化稀疏自注意力机制
在线阅读 下载PDF
采用稀疏自注意力机制和BiLSTM模型的细粒度情感分析 被引量:3
8
作者 曹卫东 潘红坤 《计算机应用与软件》 北大核心 2022年第12期187-194,共8页
使用Word2vec训练词向量、循环神经网络和注意力机制进行情感分析时,存在着文本特征提取不全面、计算资源消耗过多、计算时间较长的问题。为解决这些问题,提出新的CBSA网络模型。该模型使用Cw2vec预训练的词向量作为输入,双向长短期记... 使用Word2vec训练词向量、循环神经网络和注意力机制进行情感分析时,存在着文本特征提取不全面、计算资源消耗过多、计算时间较长的问题。为解决这些问题,提出新的CBSA网络模型。该模型使用Cw2vec预训练的词向量作为输入,双向长短期记忆网络(BiLSTM)来对这些具有时序信息的文本进行全面特征的提取;使用分解后的稀疏自注意力机制(Sparse Self-Attention)再次对这些文本特征进行权重赋予;由Softmax对文本进行情感的分类。实验结果表明,使用Cw2vec训练的词向量相比Word2vec, F1-Score大约提高0.3%;CBSA模型相比未分解的自注意力机制(Self-Attention),内存消耗减少了大约200 MB,训练时间缩短了210 s。 展开更多
关键词 Cw2vec 细粒度情感分析 循环神经网络 双向长短期记忆网络 稀疏自注意力机制
在线阅读 下载PDF
基于概率稀疏自注意力的IGBT模块剩余寿命跨工况预测 被引量:1
9
作者 钟智伟 王誉翔 +3 位作者 黄亦翔 肖登宇 夏鹏程 刘成良 《上海交通大学学报》 EI CAS CSCD 北大核心 2023年第8期1005-1015,共11页
为提高绝缘栅双极型晶体管(IGBT)模块跨工况剩余寿命的预测精度以提升其可靠性,针对不同工况下IGBT模块的瞬态热阻特征提出一种基于概率稀疏自注意力机制和迁移学习的剩余使用寿命预测方法.搭建了IGBT模块加速老化试验台,在不同温度区... 为提高绝缘栅双极型晶体管(IGBT)模块跨工况剩余寿命的预测精度以提升其可靠性,针对不同工况下IGBT模块的瞬态热阻特征提出一种基于概率稀疏自注意力机制和迁移学习的剩余使用寿命预测方法.搭建了IGBT模块加速老化试验台,在不同温度区间进行IGBT模块功率循环实验,采集不同工况下该模块全生命周期状态数据,计算获得IGBT模块衰退过程中的瞬态热阻变化数据,提取并筛选能准确反映IGBT模块老化状态的瞬态热阻特征,并使用所提方法开展跨工况剩余使用寿命预测.实验结果表明,提出的IGBT模块剩余寿命的跨工况预测方法精度明显优于其他对比方法,特别是IGBT模块早期衰退过程中的剩余寿命预测精度得到了显著提升. 展开更多
关键词 绝缘栅双极型晶体管模块 瞬态热阻 剩余寿命预测 概率稀疏自注意力 迁移学习
在线阅读 下载PDF
引入稀疏自注意力的目标跟踪算法 被引量:1
10
作者 王金栋 张惊雷 文彪 《计算机工程与应用》 CSCD 北大核心 2023年第22期174-181,共8页
针对基于Transformer架构的目标跟踪算法在特征增强过程中应用多头自注意力产生的计算复杂度高的问题,提出一种稀疏自注意力方法以实现线性计算复杂度的目标跟踪算法(E-TransT)。在特征提取网络中加入金字塔切分注意力模块并且调整网络... 针对基于Transformer架构的目标跟踪算法在特征增强过程中应用多头自注意力产生的计算复杂度高的问题,提出一种稀疏自注意力方法以实现线性计算复杂度的目标跟踪算法(E-TransT)。在特征提取网络中加入金字塔切分注意力模块并且调整网络输出结构,使提取的特征具有不同尺度的上下文信息。设计了一个通过稀疏自注意力方法实现改进的自注意增强模块,有效减少了在注意力计算过程中的参数量,在降低计算复杂度的同时保持了捕捉像素级细节的能力。采用LaSOT、TrackingNet等5种测试集进行算法性能评测实验,结果表明所提算法的跟踪成功率、精度等主要评价指标较TransT、SiamR-CNN等11种经典算法均获得提升。 展开更多
关键词 目标跟踪 孪生网络 稀疏自注意力 多尺度上下文信息
在线阅读 下载PDF
基于概率稀疏自注意力模型的非侵入式负荷分解 被引量:5
11
作者 陈俊 彭勇刚 +2 位作者 凌家源 蔡田田 邓清唐 《电网技术》 EI CSCD 北大核心 2022年第10期3932-3939,共8页
非侵入式负荷分解能将聚合能量分解为设备级的能源消耗,在能源管理、设备故障检测等领域具有重要意义。面向低频数据,提出了一种基于深度学习的非侵入式负荷分解方法。该方法利用自然语言处理领域的多头概率稀疏自注意力模型搭建核心分... 非侵入式负荷分解能将聚合能量分解为设备级的能源消耗,在能源管理、设备故障检测等领域具有重要意义。面向低频数据,提出了一种基于深度学习的非侵入式负荷分解方法。该方法利用自然语言处理领域的多头概率稀疏自注意力模型搭建核心分解网络,以一维的总功率序列作为输入,使用卷积和池化进行特征的提取,结合位置编码增强序列中数据之间的内在联系,再用核心分解网络进行特征处理;然后经过转置卷积和全连接进行特征映射,产生一维的单个电器功率,从而实现负荷的分解。最后使用英国家用电器级电力数据集(UK domestic appliance-level electricity,UK-Dale)对模型进行训练和验证,并与现有的3种基准负荷分解方法进行对比。结果表明,所提分解方法的分解性能有明显进步。 展开更多
关键词 非侵入式负荷分解 深度学习 位置编码 概率稀疏自注意力模型
在线阅读 下载PDF
融合稀疏图注意力的多元时间序列异常检测方法 被引量:1
12
作者 衡红军 代栋炜 《计算机工程与设计》 北大核心 2025年第3期841-849,共9页
为解决时序数据中时空依赖关系不明确而导致多元时间序列异常检测效果较差的问题,提出一种基于稀疏图注意力网络的异常检测模型PSGAT-AD(ProbSparse graph attention networks anomaly detection)。采用卷积神经网络(convolutional neur... 为解决时序数据中时空依赖关系不明确而导致多元时间序列异常检测效果较差的问题,提出一种基于稀疏图注意力网络的异常检测模型PSGAT-AD(ProbSparse graph attention networks anomaly detection)。采用卷积神经网络(convolutional neural networks,CNN)提取时间戳上下文信息并使用全局时间戳编码和Transformer位置编码增强序列之间的联系。利用稀疏自注意力关注重要的时间戳与特征,通过自注意力蒸馏(self-attention distillation)降低输入规模,使重要的特征更加突出,以学习时间和特征两个维度的复杂依赖关系,提升表示学习质量。通过构建基于预测和重构的综合损失函数,对模型参数进行优化。将综合损失误差作为异常得分实现异常判定。实验结果表明,PSGAT-AD模型在4个公开数据集上的F1得分提升1.47%~6.52%。 展开更多
关键词 异常检测 多元时间序列 注意力网络 时间戳编码 稀疏自注意力 自注意力蒸馏 综合损失误差
在线阅读 下载PDF
基于策略梯度Informer模型的滚动轴承剩余寿命预测 被引量:3
13
作者 熊佳豪 李锋 +2 位作者 汤宝平 汪永超 罗玲 《工程科学与技术》 EI CAS CSCD 北大核心 2024年第4期273-286,共14页
典型的编码器-解码器——Transformer存在二次时间复杂度、高内存使用及模型结构复杂等固有限制,造成Transformer用于滚动轴承剩余寿命(RUL)预测会表现出较低预测精度和较低计算效率的问题。为此,提出一种新型编解码器——策略梯度Infor... 典型的编码器-解码器——Transformer存在二次时间复杂度、高内存使用及模型结构复杂等固有限制,造成Transformer用于滚动轴承剩余寿命(RUL)预测会表现出较低预测精度和较低计算效率的问题。为此,提出一种新型编解码器——策略梯度Informer(PG-Informer)模型,并将其应用于滚动轴承RUL预测。首先,在PG-In-former的新型编解码器体系结构——Informer中设计了概率稀疏自注意力(PSSA)机制替代Transformer中原有的自注意力机制,以提高非线性逼近能力并减少时间和空间复杂度;然后,PG-Informer采用自注意力蒸馏(SAD)操作减少参数维度和参数量,并提高了对时间序列的预测鲁棒性;此外,PG-Informer的生成式解码器对解码输入进行一步解码输出预测结果,无需动态多步解码,提升了对时间序列的预测速度;最后,构造了策略梯度学习算法来提高对PG-Informer参数的训练速度。PG-Informer的以上优势使所提出的基于PG-Informer模型的滚动轴承RUL预测方法可以获得较高的预测精度、较好的鲁棒性和较高的计算效率。对辛辛那提大学智能维护系统中心的1号滚动轴承的RUL预测实验结果表明,所提出方法预测得到的RUL值为963min,其RUL预测误差仅为6.50%,比基于Transformer的RUL预测方法预测精度更高、预测误差更小、鲁棒性更好;所提出方法所耗费的RUL预测时间仅为132.37s,比基于Transformer的RUL预测方法的预测时间更短。以上实验结果验证了所提出方法的有效性。 展开更多
关键词 Informer模型 概率稀疏自注意力机制 策略梯度 滚动轴承 剩余寿命预测
在线阅读 下载PDF
基于TCN-Wpsformer混合模型的超短期风电功率预测 被引量:12
14
作者 徐钽 谢开贵 +3 位作者 王宇 胡博 邵常政 赵宇生 《电力自动化设备》 EI CSCD 北大核心 2024年第8期54-61,共8页
针对基于梯度下降的递归神经网络难以捕获时间跨度较长的风电功率长期依赖关系的问题,提出一种基于时间卷积网络(TCN)和窗口概率稀疏Transformer(Wpsformer)混合模型的超短期风电功率预测方法。将包含时间季节性特征的时间编码与包含原... 针对基于梯度下降的递归神经网络难以捕获时间跨度较长的风电功率长期依赖关系的问题,提出一种基于时间卷积网络(TCN)和窗口概率稀疏Transformer(Wpsformer)混合模型的超短期风电功率预测方法。将包含时间季节性特征的时间编码与包含原始数据位置信息的绝对位置编码进行拼接,引入TCN提取时间片段特征,将时间片段特征融入自注意力机制,以时间片段的相关性联系替代时间点的相关性联系。通过Wpsformer模型多步输出超短期风电功率预测值,与原始Transformer模型相比,Wpsformer模型使用窗口概率稀疏自注意力机制,在捕获长期依赖关系的同时筛选出重要程度相对较高的时间片段特征进行计算,提高了预测精度且降低了计算成本。曹店风电场的算例结果表明,所提模型在预测精度方面具有明显优势。消融实验证明了所提模型各模块的必要性。 展开更多
关键词 超短期风电功率预测 时间卷积网络 窗口概率稀疏Transformer 窗口概率稀疏自注意力机制
在线阅读 下载PDF
基于全局局部协同的非均匀图像去雾方法 被引量:3
15
作者 罗小同 杨汶锦 +1 位作者 曲延云 谢源 《自动化学报》 EI CAS CSCD 北大核心 2024年第7期1333-1344,共12页
近年来,基于卷积神经网络(Convolutional neural network,CNN)的图像去雾方法在合成数据集上取得了显著的进展,但由于真实场景中存在雾分布不均的问题,卷积运算的局部感受野难以有效捕获到上下文指导信息,从而导致全局结构信息丢失.因此... 近年来,基于卷积神经网络(Convolutional neural network,CNN)的图像去雾方法在合成数据集上取得了显著的进展,但由于真实场景中存在雾分布不均的问题,卷积运算的局部感受野难以有效捕获到上下文指导信息,从而导致全局结构信息丢失.因此,真实场景下的图像去雾任务面临着巨大的挑战.考虑到Transformer具有捕获长距离语义信息依赖关系的优势,有利于引导全局结构信息重建.然而,标准Transformer结构的高计算复杂度阻碍了其在图像恢复中的应用.针对上述提到的问题,提出一个由Transformer和卷积神经网络组成的双分支协同非均匀图像去雾网络Dehazeformer.Transformer分支用于提取全局结构信息,同时设计稀疏自注意力模块(Sparse self-attention modules,SSM)以降低计算复杂度.卷积神经网络分支用于获取局部信息,从而恢复纹理细节.在真实非均匀有雾场景下的实验结果表明,该方法不管是在客观评价还是在主观视觉效果方面均达到优异的性能. 展开更多
关键词 图像去雾 卷积神经网络 TRANSFORMER 特征融合 稀疏自注意力
在线阅读 下载PDF
基于少数据样本的滚动轴承寿命分段预测方法
16
作者 张朋 马孝育 +3 位作者 王恒迪 李畅 邓四二 邱小彪 《机电工程》 CAS 北大核心 2024年第8期1415-1422,共8页
针对少数据样本下,滚动轴承难以准确预测剩余使用寿命(RUL)的问题,提出了一种结合卷积长短期记忆网络(ConvLSTM)与对抗性判别域自适应网络(ADDA)的轴承寿命分段预测方法。首先,利用稀疏概率自注意力机制对特征集进行了筛选,提取了具有... 针对少数据样本下,滚动轴承难以准确预测剩余使用寿命(RUL)的问题,提出了一种结合卷积长短期记忆网络(ConvLSTM)与对抗性判别域自适应网络(ADDA)的轴承寿命分段预测方法。首先,利用稀疏概率自注意力机制对特征集进行了筛选,提取了具有时变性的特征集,以获取最优全局特征,确定分段点以作为ADDA模型的输入;然后,针对不同阶段的退化特点建立了相应的健康评估指标;对处于健康状态的轴承,利用ConvLSTM网络预测了轴承健康阶段的寿命,将健康阶段预测数据作为局部特征输入ADDA网络与最优特征集(全局特征),进行了对抗训练,以实现故障阶段的寿命预测,并使用全连接层输出滚动轴承的预测剩余使用寿命;最后,采用PHM2012数据集与工程试验数据分别对模型进行了验证。研究结果表明:相较于ConvLSTM模型、RNN-HI模型、CNN-LSTM模型,ConvLSTM-ADDA寿命预测方法的平均绝对误差分别降低了78.16%、53.14%、67.13%,平均得分分别提高了66.42%、92.81%、32.37%;相较于LSTM模型、CNN-LSTM模型以及Transformer模型,ConvLSTM-ADDA寿命预测方法的均方误差分别降低了80.11%、54.95%、55.94%。因此,该算法模型能够实现对较少数据样本的轴承寿命进行RUL预测的目的,且具有较高的精度。 展开更多
关键词 对抗性判别域适应网络 卷积长短期记忆网络 稀疏概率自注意力机制 少数据样本 分阶段寿命预测 剩余使用寿命
在线阅读 下载PDF
轻量化及边界加强的医学图像分割模型 被引量:1
17
作者 葛彩成 武丽 +2 位作者 张征浩 俞俊 朱蒙 《计算机工程与设计》 北大核心 2024年第10期3033-3041,共9页
为提升医学图像分割模型轻量化水平及分割精准度,在TransUNet基础上通过引入具有稀疏化自注意力计算方式的Transformer、边界分割加强机制和强化细节特征提取的互补注意力机制,采用深度可分离卷积和CARAFE模块取代TransUNet原有的常规... 为提升医学图像分割模型轻量化水平及分割精准度,在TransUNet基础上通过引入具有稀疏化自注意力计算方式的Transformer、边界分割加强机制和强化细节特征提取的互补注意力机制,采用深度可分离卷积和CARAFE模块取代TransUNet原有的常规卷积和上采样,设计一种具有相对轻量化的边界精准分割模型LB-TransUNet。在Synapse多器官分割数据集上的实验结果表明,LB-TransUNet的Dice系数达到79.30,Hausdorff距离达到21.03%,相较于TransUNet、Swin-UNet等模型,LB-TransUNet可以更精准分割出各器官。 展开更多
关键词 医学图像分割 稀疏自注意力 互补注意力 TransUNet模型 Transformer模型 轻量化 边界精准分割
在线阅读 下载PDF
面向改进的时空Transformer的交通流量预测模型 被引量:10
18
作者 高榕 万以亮 +1 位作者 邵雄凯 吴歆韵 《计算机工程与应用》 CSCD 北大核心 2023年第7期250-260,共11页
针对基于时空Transformer模型的交通流量预测模型性能不高的问题,提出了一种基于编解码器的改进的时空Transformer模型(improved spatio-temporal Transformer model,ISTTM)。编码器对历史流量特征进行编码,解码器预测未来序列。编码器... 针对基于时空Transformer模型的交通流量预测模型性能不高的问题,提出了一种基于编解码器的改进的时空Transformer模型(improved spatio-temporal Transformer model,ISTTM)。编码器对历史流量特征进行编码,解码器预测未来序列。编码器将空间稀疏自注意力和时间层次扩散卷积相结合,捕捉交通流量的动态空间相关性和局部空间特征,再利用时间自注意力建模非线性时间相关性;解码器与编码器类似地挖掘出输入序列的时空特征。基于编解码器提取的时空特征,采用双重交叉注意力模拟历史交通观测对未来预测的影响,建模每个历史时间步和每个未来时间步的直接关系以及对整个未来时间段的影响,并输出未来交通流量的最终表示。为了证实ISTTM的有效性,在METR-LA和NE-BJ两个真实世界的大规模数据集上进行实验,ISTTM结果优于6个先进的基线。 展开更多
关键词 交通流量预测 时空特征 稀疏自注意力 扩散卷积
在线阅读 下载PDF
基于Informer算法的燃料电池寿命估算
19
作者 施永 赵洪霄 +3 位作者 谢缔 汪亮亮 苏建徽 解宝 《太阳能学报》 2025年第8期240-248,共9页
为解决长短期记忆网络(LSTM)和门控循环单元神经网络(GRU)在捕捉长期依赖关系上的不足以及估算精度较低的问题,该文提出基于Informer算法的燃料电池寿命估算方法,旨在提高估算的准确性和效率。该方法采用加权平均法和皮尔逊系数法对数... 为解决长短期记忆网络(LSTM)和门控循环单元神经网络(GRU)在捕捉长期依赖关系上的不足以及估算精度较低的问题,该文提出基于Informer算法的燃料电池寿命估算方法,旨在提高估算的准确性和效率。该方法采用加权平均法和皮尔逊系数法对数据进行平滑处理,以增强数据的趋势性并减少噪声影响。结合Informer模型的多尺度信息融合和长期依赖建模能力,设计了一个能够实现燃料电池寿命在线估算的寿命估算框架。随后设计3组实验与传统的LSTM和GRU模型进行比较,当训练集占比80%时,Informer模型U_(MAE)、U_(RMSE)、U_(MAPE)均最小,估算精度高于LSTM和GRU模型。说明Informer模型在长时间序列估算方面表现出色,为燃料电池寿命估算提供可靠的依据。 展开更多
关键词 神经网络 燃料电池 并行处理 寿命估算 多头概率稀疏自注意力机制
在线阅读 下载PDF
基于Attention与改进SCINet模型的无线传感器网络能量预测与分簇路由算法
20
作者 金崇强 徐震 王雪山 《河南师范大学学报(自然科学版)》 2025年第5期52-59,I0010,共9页
针对能量收集无线传感器网络中,能量预测精度不佳、节点能量利用效率过低和网络难以持续运行等问题,提出了一种改进样本卷积交互神经网络(sample convolution and interaction network,SCINet)预测模型,并引入概率稀疏自注意力机制,在... 针对能量收集无线传感器网络中,能量预测精度不佳、节点能量利用效率过低和网络难以持续运行等问题,提出了一种改进样本卷积交互神经网络(sample convolution and interaction network,SCINet)预测模型,并引入概率稀疏自注意力机制,在新特征序列的每个时间步上计算注意力权重,捕捉重要特征,提高模型预测精度.最后,根据节点剩余能量、预测未来可收集的太阳能能量,对分簇路由算法进行改进.仿真实验结果表明,该能量预测模型具备更高的预测精度和泛化能力.在能量预测模型的基础上,改进的分簇路由算法,能有效地延长无线传感器网络的生命周期. 展开更多
关键词 能量预测 样本卷积交互神经网络 概率稀疏自注意力机制 分簇路由算法
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部