基于残差注意力机制的肺结节数据增强方法

1

作者 李阳 李春璇 +1 位作者 徐灿飞 方立梅 《电子科技大学学报》 EI CAS CSCD 北大核心 2023年第6期880-886,共7页

针对带标注的肺CT图像数据匮乏而导致的深度学习模型训练困难,以及现有生成算法生成肺结节不同特征模糊、细节丢失的问题,提出了肺结节图像的数据增强RAU-GAN算法。首先,在生成器网络中嵌入残差注意力模块,该模块可以聚焦于局部不同的... 针对带标注的肺CT图像数据匮乏而导致的深度学习模型训练困难,以及现有生成算法生成肺结节不同特征模糊、细节丢失的问题,提出了肺结节图像的数据增强RAU-GAN算法。首先,在生成器网络中嵌入残差注意力模块,该模块可以聚焦于局部不同的感兴趣区域,以实现肺结节与背景信息的独立生成,并且重新设计了注意力模块中的残差块来减少网络的深度和训练的复杂度。其次,将判别器设计为U-Net架构,可以给更新后的生成器反馈更多信息,以提高判别性能。最后,在数据集LUNA16和Deep Lesion上进行实验,结果与现有方法相比,在视觉效果和不同评价指标上均有提升,验证了生成图像包含了更丰富的细节信息。 展开更多

关键词 数据增强 Pix2Pix RAU-GAN 残差注意力机制 U-Net判别器

在线阅读 下载PDF 职称材料

结合多尺度融合特征和残差注意力机制的联合三维人脸重建及密集对齐算法 被引量：6

2

作者 黄有达 周大可 杨欣 《计算机应用研究》 CSCD 北大核心 2021年第7期2175-2178,2187,共5页

针对三维人脸重建和密集对齐算法精度不足的问题,引入密集连接的多尺度特征融合模块和残差注意力机制设计了一种性能强大的网络。在编码器结构前,引入密集连接的多尺度特征融合模块获得多尺度融合特征,使编码器获得更丰富的信息;在解码... 针对三维人脸重建和密集对齐算法精度不足的问题,引入密集连接的多尺度特征融合模块和残差注意力机制设计了一种性能强大的网络。在编码器结构前,引入密集连接的多尺度特征融合模块获得多尺度融合特征,使编码器获得更丰富的信息;在解码器模块中引入残差注意力机制,强化网络对重要特征的关注同时抑制不必要的噪声。实验结果表明,相较其他算法,该算法取得了较显著的改进;相对PRNet,该算法以更少的参数量在各项指标上取得7.7%~12.1%的性能提升。 展开更多

关键词 三维人脸重建和密集对齐 密集连接 空洞卷积 残差注意力机制

在线阅读 下载PDF 职称材料

基于残差注意力机制的点云配准算法 被引量：8

3

作者 秦庭威 赵鹏程 +3 位作者 秦品乐 曾建朝 柴锐 黄永琦 《计算机应用》 CSCD 北大核心 2022年第7期2184-2191,共8页

针对传统点云配准算法精度低、鲁棒性差以及放疗前后癌症患者无法实现精确放疗的问题,提出一种基于残差注意力机制的点云配准算法(ADGCNNLK)。首先,在动态图深度卷积网络(DGCNN)中添加残差注意力机制来有效地利用点云的空间信息,并减少... 针对传统点云配准算法精度低、鲁棒性差以及放疗前后癌症患者无法实现精确放疗的问题,提出一种基于残差注意力机制的点云配准算法(ADGCNNLK)。首先,在动态图深度卷积网络(DGCNN)中添加残差注意力机制来有效地利用点云的空间信息,并减少信息损失;然后,利用添加残差注意力机制的DGCNN提取点云特征,这样做不仅可以在保持点云置换不变性的同时捕捉点云的局部几何特征,也可以在语义上将信息聚合起来,从而提高配准效率;最后,将提取到的特征点映射到高维空间中并使用经典的图像迭代配准算法LK进行配准。实验结果表明,所提算法与迭代最近点算法(ICP)、全局优化的ICP算法(Go-ICP)和PointNetLK相比,在无噪、有噪的情况下配准效果均最好。其中,在无噪情况下,与PointNetLK相比,所提算法的旋转均方误差降低了74.61%,平移均方误差降低了47.50%;在有噪声的情况下,与PointNetLK相比,所提算法的旋转均方误差降低了73.13%,平移均方误差降低了44.18%,说明所提算法与PointNetLK相比鲁棒性更强。将所提算法应用于放疗前后癌症患者人体点云模型的配准,从而辅助医生治疗,并实现了精确放疗。 展开更多

关键词 点云配准 特征提取 残差注意力机制 深度学习 放疗

在线阅读 下载PDF 职称材料

基于全局残差注意力和门控特征融合的CNN-Transformer去雾算法 被引量：1

4

作者 李海燕 乔仁超 +1 位作者 李海江 陈泉 《东北大学学报(自然科学版)》 北大核心 2025年第1期26-34,共9页

为解决现有图像去雾算法因缺乏全局上下文信息、处理分布不均匀的雾时效果差且复用细节信息时引入噪声的缺陷,提出了基于全局残差注意力和门控特征融合的CNN-Transformer去雾算法.首先,引入全局残差注意力机制编码模块自适应地提取非均... 为解决现有图像去雾算法因缺乏全局上下文信息、处理分布不均匀的雾时效果差且复用细节信息时引入噪声的缺陷,提出了基于全局残差注意力和门控特征融合的CNN-Transformer去雾算法.首先,引入全局残差注意力机制编码模块自适应地提取非均匀雾区的细节特征,设计跨维度通道空间注意力优化信息权重.然后,提出全局建模Transformer模块加深编码器的特征提取过程,设计带有并行卷积的Swin Transformer捕捉特征之间的依赖关系.最后,设计门控特征融合解码模块复用图像重建所需的纹理信息,滤除不相关的雾噪声,提高去雾性能.在4个公开数据集上进行定性和定量实验,实验结果表明:所提算法能够有效地处理非均匀雾区域,重建纹理细腻且语义丰富的高保真无雾图像,其峰值信噪比和结构相似性指数都优于经典对比算法. 展开更多

关键词 图像去雾 全局残差注意力机制 CNN-Transformer架构 门控特征融合 图像重建

在线阅读 下载PDF 职称材料

基于VAE-GRU和残差注意力的大坝位移深度学习预测模型

5

作者 仵凡 郑浩然 +1 位作者 漆一宁 苏怀智 《水电能源科学》 北大核心 2025年第8期152-156,共5页

针对大坝变形序列中非线性特征对预测精度的影响,提出了一种基于变分自编码器(VAE)、双向门控循环单元(GRU)和残差注意力机制(RA)的深度学习模型。首先,利用VAE对大坝位移数据进行特征提取,将复杂的高维环境数据映射到低维潜在空间。然... 针对大坝变形序列中非线性特征对预测精度的影响,提出了一种基于变分自编码器(VAE)、双向门控循环单元(GRU)和残差注意力机制(RA)的深度学习模型。首先,利用VAE对大坝位移数据进行特征提取,将复杂的高维环境数据映射到低维潜在空间。然后,采用GRU捕捉时间依赖性,并引入残差注意力机制增强模型对关键特征的关注能力。最后,结合北方苍鹰优化算法(NGO)对模型的超参数进行优化,以进一步提高预测精度。工程实例分析结果表明,VAE-RAGRU模型在大坝位移预测中表现优异,显著优于其他机器学习模型,为大坝安全监控提供了一个高效、准确的新方法。 展开更多

关键词 大坝变形预测 变分自编码器 门控循环单元 残差注意力机制 北方苍鹰优化算法

在线阅读 下载PDF 职称材料

基于迁移学习与残差注意力卷积网络的稀土元素组分含量软测量

6

作者 徐芳萍 杨辉 +2 位作者 陈俊 朱建勇 陆荣秀 《化工学报》 北大核心 2025年第4期1647-1660,共14页

稀土元素组分含量在线检测是稀土工业过程控制的关键环节。针对现有单一颜色特征的软测量模型效果不太理想的问题,提出一种融合迁移学习残差注意力卷积网络的稀土元素组分含量软测量方法。首先,提取稀土溶液颜色和纹理等显性特征,同时... 稀土元素组分含量在线检测是稀土工业过程控制的关键环节。针对现有单一颜色特征的软测量模型效果不太理想的问题,提出一种融合迁移学习残差注意力卷积网络的稀土元素组分含量软测量方法。首先,提取稀土溶液颜色和纹理等显性特征,同时考虑稀土图像隐性卷积特征和其他关键特征作为该模型输入量;其次,针对稀土溶液图像特征具有一维特性,设计融合多残差注意力块的一维卷积神经网络,有效改善模型网络梯度消失或梯度爆炸问题,使模型能根据特征贡献度为特征自适应分配权重并提高模型预测精度;接着,为充分利用产线各级溶液图像数据,减少样本数量采集,加入迁移学习策略,在源任务中积累模型知识,通过最大均值差异衡量源域与目标域数据的特征分布差异,确定迁移层级及参数,显著增强目标网络的训练效果;最后,基于现场采集的稀土溶液图像和化验数据进行仿真对比实验,结果表明所提方法的有效性。 展开更多

关键词 稀土组分含量 一维卷积神经网络 迁移学习 残差注意力机制

在线阅读 下载PDF 职称材料

基于残差自注意力机制的航空发动机RUL预测 被引量：12

7

作者 叶瑞达 王卫杰 +2 位作者 何亮 陈晓岑 薛乐 《光学精密工程》 EI CAS CSCD 北大核心 2021年第6期1482-1490,共9页

针对传统神经网络在多维数据高分辨率特征识别和高精度信号提取方面的缺陷,开展基于残差自注意力机制的剩余使用寿命(RUL)预测算法研究。比较分析卷积神经网络(CNN)和长短期记忆神经网络(LSTM)的结构特性,揭示二者在长序列信息特征关联... 针对传统神经网络在多维数据高分辨率特征识别和高精度信号提取方面的缺陷,开展基于残差自注意力机制的剩余使用寿命(RUL)预测算法研究。比较分析卷积神经网络(CNN)和长短期记忆神经网络(LSTM)的结构特性,揭示二者在长序列信息特征关联能力和局部特征提取能力上的局限性。研究自注意力机制,引入双层残差网络抑制误差函数反向传播中扩散性,进而构建了一种卷积记忆残差自注意力机制的深度学习方法。基于上述方法对典型航空涡扇发动机退化实验数据集进行仿真分析,结果表明:所述方法能够有效建立监测数据与发动机健康状态之间的关系,关键评价指标——剩余使用寿命预测的均方误差为225,相比传统自注意力机制均方误差降低了17.9%,验证了所述方法的可行性和有效性。 展开更多

关键词 残差自注意力机制 神经网络 剩余使用寿命 航空发动机

在线阅读 下载PDF 职称材料

基于分割注意力机制残差网络的城市区域客流量预测 被引量：5

8

作者 李伯涵 郭茂祖 赵玲玲 《智能系统学报》 CSCD 北大核心 2022年第4期839-848,共10页

客流量预测是城市交通资源和公共安全智能化管理的重要依据。为了综合考虑城市乘客人群流动自身的既有周期性、趋势性和突发性,以及与城市物理和社会空间的耦合关系,在时空残差网络的基础上,本文提出了基于深度时空数据的分割注意力机... 客流量预测是城市交通资源和公共安全智能化管理的重要依据。为了综合考虑城市乘客人群流动自身的既有周期性、趋势性和突发性,以及与城市物理和社会空间的耦合关系,在时空残差网络的基础上,本文提出了基于深度时空数据的分割注意力机制残差网络的城市细粒度客流量预测模型。首先以不同时空间隔的区域客流量历史数据为基础,引入分割注意力机制模块,为各模态的数据分配不同的权重,动态捕捉更高相关性的抽象数据特征;在时空数据的基础上,引入城市功能区属性作为联合特征,结合节假日、气候等外部特征,形成deep&wide网络结构,有效记忆重要特征对客流量变化的贡献。基于北京出租车数据的区域客流量对比实验表明,相比于传统的深度时空残差网络和其他经典机器学习模型,引入了分割注意力机制和城市功能区特征的预测模型能够更好地提取数据多元化的特征,预测精度明显优于其他同类别方法。 展开更多

关键词 客流量预测 时空数据 深度学习 分割注意力机制残差网络 城市功能区 特征提取 智慧城市 智能交通

在线阅读 下载PDF 职称材料

融合注意力机制的高效率网络车型识别 被引量：3

9

作者 柳长源 何先平 毕晓君 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2022年第4期775-782,共8页

为了解决现有的车型识别算法对车型特征描述不充分的情况,提出融合注意力机制的高效率网络车型识别算法.利用高效率网络中的复合缩放方式来平衡网络的深度、宽度和分辨率,将深度可分离卷积集成到基础特征提取模块中来提高模型准确率.增... 为了解决现有的车型识别算法对车型特征描述不充分的情况,提出融合注意力机制的高效率网络车型识别算法.利用高效率网络中的复合缩放方式来平衡网络的深度、宽度和分辨率,将深度可分离卷积集成到基础特征提取模块中来提高模型准确率.增加双通道的残差注意力机制来关注图片中的关键信息,获得含有更加丰富语义信息的特征图.在网络的末端添加单独的softmax分类器,使用标签平滑正则化对损失函数进行处理,减小模型过拟合的问题.在BIT-Vehicles数据集上进行实验,结果表明,提出方法的平均分类准确率为96.83%,较改进前的模型提高了1.11%,优于现有DCNN、Faster-CNN的改进算法,较Faster R-CNN提升了7.16%. 展开更多

关键词 车型识别 高效率网络 残差注意力机制 标签平滑正则化 深度可分离卷积

在线阅读 下载PDF 职称材料

判别相关分析双注意力机制的目标检测算法 被引量：3

10

作者 赵珊 郑爱玲 《计算机工程与应用》 CSCD 北大核心 2022年第17期120-129,共10页

针对两阶段目标检测算法中模型存在目标识别率低、部分小目标物漏检等问题,提出了一种基于判别相关分析的双注意力机制的目标检测算法。该算法通过改进Faster R-CNN主干网络,引入判别相关分析技术最大化两个特征集中对应特征的相关关系... 针对两阶段目标检测算法中模型存在目标识别率低、部分小目标物漏检等问题,提出了一种基于判别相关分析的双注意力机制的目标检测算法。该算法通过改进Faster R-CNN主干网络,引入判别相关分析技术最大化两个特征集中对应特征的相关关系,同时最大化不同类之间的差异,来保证信息间的交互,有效缓解常规特征融合方式存在的特征提取能力不足问题。同时,结合残差结构构建残差双注意力机制,进行深层次的特征提取,来弥补深度CNN后高分辨率信息弱化问题,采用混合卷积层的设计在扩大感受野的同时又减少了信息损失,最大限度地保证了网络的特征提取性能。采用PASCAL VOC2007、KITTI以及Portrait三类数据集对网络进行训练,并将提出的算法模型与多个经典目标检测算法进行对比。实验结果表明,提出的算法具有较高的检测精度。 展开更多

关键词 判别相关分析 残差双注意力机制 混合卷积层 目标检测

在线阅读 下载PDF 职称材料

基于残差卷积自注意力神经网络的铝电解过热度识别方法 被引量：3

11

作者 林清扬 陈晓方 谢永芳 《东北大学学报（自然科学版）》 EI CAS CSCD 北大核心 2023年第1期8-17,共10页

过热度是反映铝电解槽当前生产效率的重要指标,由于过热度难以在线实时测量,本文提出一种基于残差卷积自注意力神经网络的过热度识别方法.针对铝电解生产过程数据为时间序列数据且具有多源异构特性,设计异构数据的同构表示方法.在此基... 过热度是反映铝电解槽当前生产效率的重要指标,由于过热度难以在线实时测量,本文提出一种基于残差卷积自注意力神经网络的过热度识别方法.针对铝电解生产过程数据为时间序列数据且具有多源异构特性,设计异构数据的同构表示方法.在此基础上建立残差卷积自注意力神经网络模型以提取同构时间序列数据的全局与局部特征.针对过热度数据标签少且类别分布不均匀问题,采用基于自动编码器的无监督预训练方法与加权交叉熵损失函数以提高过热度识别任务的性能.在基准数据集上进行仿真对比实验以验证本文所提方法的有效性,然后在只包含少量不平衡标签的铝电解过热度数据集上进行实验验证,结果表明本文构建的过热度识别模型相较与其他现有模型不仅提高了过热度识别准确率,而且在训练样本较少时保证了模型的泛化能力. 展开更多

关键词 过热度识别 多源异构 残差卷积自注意力机制 无监督预训练 铝电解过程

在线阅读 下载PDF 职称材料

基于改进YOLOv5的矿山遥感图像去噪方法

12

作者 裴丹 房坤 +1 位作者 庆宇东 陈沛 《工矿自动化》 北大核心 2025年第3期148-155,共8页

典型露天矿场景的图像呈现多类型复合噪声特征,信噪比较低且具有显著的空间异质性,现有深度学习模型大多直接迁移自然图像去噪架构,忽视了矿山遥感图像特有的噪声分布规律。针对该问题,提出了一种基于改进YOLOv5的矿山遥感图像去噪方法... 典型露天矿场景的图像呈现多类型复合噪声特征,信噪比较低且具有显著的空间异质性,现有深度学习模型大多直接迁移自然图像去噪架构,忽视了矿山遥感图像特有的噪声分布规律。针对该问题,提出了一种基于改进YOLOv5的矿山遥感图像去噪方法。针对传统YOLOv5在高噪声环境下性能不稳定的问题,引入了多尺度特征融合模块,以增强模型对不同尺寸噪声的识别能力,同时结合残差注意力机制,提升了模型对有用特征的提取能力,增强了去噪效果的鲁棒性。采用自适应噪声估计技术,根据图像不同区域的噪声特性动态调整去噪参数,实现了更为精准的噪声抑制。实验结果表明:改进YOLOv5在峰值信噪比(PSNR)和结构相似性指数(SSIM)上均显著优于其他经典去噪方法,相较原始YOLOv5,PSNR提高2.5 dB,SSIM提高了0.05;改进YOLOv5在所有噪声类型下均表现出色,尤其是在高斯噪声环境中,其PSNR和SSIM分别达32.5 dB和0.95,显著优于其他经典去噪方法。 展开更多

关键词 矿山遥感图像去噪 YOLOv5 多尺度特征融合 残差注意力机制 自适应噪声估计

在线阅读 下载PDF 职称材料

基于卷积神经网络的灾难场景图像分类 被引量：8

13

作者 王改华 郭钊 +2 位作者 周志刚 万溪洲 郑旭 《科学技术与工程》 北大核心 2021年第17期7217-7223,共7页

为了对灾难场景图像进行快速分析和识别,提出了一种基于多分辨率卷积神经网络和残差注意力机制(attention module)相结合的图像分类模型。首先,对灾难场景数据集进行预处理,在相同类型的条件下将其随机划分为训练集和测试集。基于改进... 为了对灾难场景图像进行快速分析和识别,提出了一种基于多分辨率卷积神经网络和残差注意力机制(attention module)相结合的图像分类模型。首先,对灾难场景数据集进行预处理,在相同类型的条件下将其随机划分为训练集和测试集。基于改进的卷积神经网络(convolutional neural network,CNN),提取训练集的图像特征。使用训练集图片的特征进行训练,并且在测试集图片上实现分类测试。选取DenseNet、Xception和MobileNetV2三种模型,以灾难场景数据集(Disaster_Data_Scenes)为数据集进行实验验证。结果表明:改进的Xception和MobileNetV2网络在灾难场景数据集上进行的图像分类实验测试,比原网络精度分别提升了4.56%和3.04%。其中改进的DenseNet网络比原网络模型精度分别提升9.13%、17.88%和10.27%。可见改进的卷积神经网络模型的分类精度得到有效提高。 展开更多

关键词 卷积神经网络(CNN) 多分辨率 残差注意力机制 灾难场景 图像分类

在线阅读 下载PDF 职称材料

基于原型网络的小样本禽蛋图像特征检测方法 被引量：5

14

作者 李庆旭 王巧华 《农业机械学报》 EI CAS CSCD 北大核心 2021年第11期376-383,共8页

机器视觉因具有检测速度快、稳定性高及成本低等优点,已发展成为禽蛋无损检测领域主流检测手段。使用该技术对禽蛋进行无损检测时,需要依赖大量禽蛋图像作为数据支撑才能取得较好的检测效果。由于养殖安全等限制,禽蛋图像数据的采集成... 机器视觉因具有检测速度快、稳定性高及成本低等优点,已发展成为禽蛋无损检测领域主流检测手段。使用该技术对禽蛋进行无损检测时,需要依赖大量禽蛋图像作为数据支撑才能取得较好的检测效果。由于养殖安全等限制,禽蛋图像数据的采集成本较高,针对该问题,提出了一种适应于小样本禽蛋图像检测的原型网络(Prototypical network)。该网络利用引入注意力机制的逆残差结构搭建的卷积神经网络将不同类别的禽蛋图像映射至嵌入空间,并利用欧氏距离度量测试禽蛋图像在嵌入空间的类别,从而完成禽蛋图像的分类。本文利用该网络分别验证了小样本条件下受精蛋与无精蛋、双黄蛋与单黄蛋及裂纹蛋与正常蛋的分类检测效果,其检测精度分别为95%、98%、88%。试验结果表明本文方法能够有效地解决禽蛋图像检测中样本不足的问题,为禽蛋图像无损检测研究提供了新的思路。 展开更多

关键词 小样本 禽蛋 无损检测 原型网络 带注意力机制逆残差

在线阅读 下载PDF 职称材料

基于CWT和CooAtten-Resnet的弧齿锥齿轮箱故障诊断方法研究 被引量：4

15

作者 张旭 许昕 +3 位作者 潘宏侠 徐轟钊 原涛涛 王同 《电子测量技术》 北大核心 2023年第3期182-189,共8页

提出一种基于连续小波变换(CWT)和坐标注意机制残差网络(CooAtten-Resnet)的弧齿锥齿轮箱智能故障诊断方法。首先将振动信号重叠采样获得大量信号样本,将这些样本通过连续小波变换将振动信号转化为时频图,并以此构建不同故障下的时频数... 提出一种基于连续小波变换(CWT)和坐标注意机制残差网络(CooAtten-Resnet)的弧齿锥齿轮箱智能故障诊断方法。首先将振动信号重叠采样获得大量信号样本,将这些样本通过连续小波变换将振动信号转化为时频图,并以此构建不同故障下的时频数据集,同时通过人为添加噪声样本以验证噪声对此类诊断方法的影响;然后将时频图数据集用于CooAtten-Resnet训练;最后对故障进行分类并输出诊断结果。结果表明,该方法可以准确的识别弧齿锥齿轮箱故障,无人为添加噪声的情况诊断准确率可达100%,添加噪声后在无降噪处理的情况下准确率仍在93%以上。相较于其他方法,该方法的准确率更高,抗噪能力更强,网络收敛速度更快,诊断结果更稳定。 展开更多

关键词 小波时频图 弧齿锥齿轮 智能故障诊断 残差网络 注意力机制 坐标注意力机制残差网络

在线阅读 下载PDF 职称材料