基于Swin Transformer和三维残差多层融合网络的高光谱图像分类 被引量：4

1

作者 王先旺 周浩 +1 位作者 张明慧 朱尤伟 《计算机科学》 CSCD 北大核心 2023年第5期155-160,共6页

卷积神经网络(CNNs)具有出色的局部上下文建模能力,被广泛用于高光谱图像分类中,但由于其固有网络主干的局限性,CNNs未能很好地挖掘和表示光谱特征的序列属性。为了解决此问题,提出了一种基于Swin Transformer和三维残差多层融合网络的... 卷积神经网络(CNNs)具有出色的局部上下文建模能力,被广泛用于高光谱图像分类中,但由于其固有网络主干的局限性,CNNs未能很好地挖掘和表示光谱特征的序列属性。为了解决此问题,提出了一种基于Swin Transformer和三维残差多层融合网络的新型网络(ReSTrans)用于高光谱图像分类。在ReSTrans网络中,为了尽可能地挖掘高光谱图像的深层特征,采用三维残差多层融合网络来提取空谱特征,然后由基于自注意机制的Swin Transformer网络模块近一步捕获连续光谱间的关系,最后由多层感知机根据空谱联合特征完成最终的分类任务。为了验证ReSTrans网络模型的有效性,改进的模型在IP,UP和KSC 3个高光谱数据集上进行实验验证,分类精度分别达到了98.65%,99.64%,99.78%。与SST方法相比,该网络模型的分类性能分别平均提高了3.55%,0.68%,1.87%。实验结果表明该模型具有很好的泛化能力,可以提取更深层的、判别性的特征。 展开更多

关键词 高光谱图像分类 三维残差多层融合网络 自注意力机制 Swin Transformer 空谱联合特征

在线阅读 下载PDF 职称材料

基于可融合残差卷积块的深度神经网络模型层剪枝方法 被引量：2

2

作者 徐鹏涛 曹健 +3 位作者 孙文宇 李普 王源 张兴 《北京大学学报（自然科学版）》 EI CAS CSCD 北大核心 2022年第5期801-807,共7页

针对当前主流的剪枝方法所获得的压缩模型推理时间较长和效果较差的问题,提出一种易用且性能优异的层剪枝方法。该方法将原始卷积层转化为可融合残差卷积块,然后通过稀疏化训练的方法实现层剪枝,得到一种具有工程易用性的层剪枝方法,兼... 针对当前主流的剪枝方法所获得的压缩模型推理时间较长和效果较差的问题,提出一种易用且性能优异的层剪枝方法。该方法将原始卷积层转化为可融合残差卷积块,然后通过稀疏化训练的方法实现层剪枝,得到一种具有工程易用性的层剪枝方法,兼具推理时间短和剪枝效果好的优点。实验结果表明,在图像分类任务和目标检测任务中,该方法可使模型在精度损失较小的情况下获得极高的压缩率,优于先进的卷积核剪枝方法。 展开更多

关键词 卷积神经网络 层剪枝 可融合残差卷积块 稀疏化训练 图像分类

在线阅读 下载PDF 职称材料

构建三维深度监督网络的断层检测方法 被引量：14

3

作者 王静 张军华 +3 位作者 芦凤明 孟瑞刚 王作乾 常健强 《石油地球物理勘探》 EI CSCD 北大核心 2021年第5期947-957,I0007,共12页

地震资料人工解释断层往往具不确定性。随着计算机和人工智能的发展,深度学习技术越来越多地应用于地球物理领域,多种基于卷积神经网络的算法也广泛地应用于断层识别。为此,结合三维U-Net和深度残差网络,引入多层深度监督的机制,构建了... 地震资料人工解释断层往往具不确定性。随着计算机和人工智能的发展,深度学习技术越来越多地应用于地球物理领域,多种基于卷积神经网络的算法也广泛地应用于断层识别。为此,结合三维U-Net和深度残差网络,引入多层深度监督的机制,构建了一种基于三维深度监督网络的断层检测方法。残差模块的引入能够简化网络的学习目标,降低训练难度,而多层的深度监督能够为网络提供更多的反馈,减轻训练过程中潜在的梯度消失,使解码器子网络能够学习到不同尺度的断层语义信息,可进一步提高断层识别的准确性。理论模型测试和实际地震资料的应用表明,该方法可以有效识别断层位置;与常规U-Net网络相比,减少了小断层的漏识别和错误识别;识别的大断层连续性好,断层细节更丰富,明显提高了断层识别的准确性。 展开更多

关键词 地震资料解释 三维U-Net网络 残差模块 多层深度监督 断层识别

在线阅读 下载PDF 职称材料

多模态融合的三维目标检测方法研究

4

作者 田枫 宗内丽 +5 位作者 刘芳 卢圆圆 刘超 姜文文 赵玲 韩玉祥 《计算机工程与应用》 CSCD 北大核心 2024年第13期113-123,共11页

针对点云稀疏性与无序性导致基于纯点云的检测算法容易出现远小目标漏检和误检的问题,提出一种融合图像特征与点云体素特征的多模态三维目标检测算法。在图像特征提取阶段,提出一种轻量级深度残差网络,减少图像特征通道数,使其与点云体... 针对点云稀疏性与无序性导致基于纯点云的检测算法容易出现远小目标漏检和误检的问题,提出一种融合图像特征与点云体素特征的多模态三维目标检测算法。在图像特征提取阶段,提出一种轻量级深度残差网络,减少图像特征通道数,使其与点云体素特征相一致,提高点云和图像特征的融合能力;在体素特征与图像特征融合阶段,提出一种双次特征融合网络,在保留原始体素特征结构信息的基础上将图像特征和体素特征进行融合,使点云具备丰富的语义信息,提高远小目标检测精度。在KITTI数据集上实验结果显示,与基线模型相比,对小汽车、骑行者与行人的3D平均检测精度分别提高了0.76个百分点、2.30个百分点、3.43个百分点。实验结果验证了所提方法对于解决远小目标误检和漏检问题的有效性。 展开更多

关键词 三维目标检测 深度残差网络 体素特征 图像特征 特征融合 双次特征融合网络

在线阅读 下载PDF 职称材料

生成对抗残差网络的医学图像融合算法 被引量：6

5

作者 高媛 吴帆 +1 位作者 秦品乐 王丽芳 《计算机应用》 CSCD 北大核心 2019年第12期3528-3534,共7页

针对传统医学图像融合中需要依靠先验知识手动设置融合规则和参数,导致融合效果存在不确定性、细节表现力不足的问题,提出了一种基于改进生成对抗网络(GAN)的脑部计算机断层扫描(CT)/磁共振(MR)图像融合算法。首先,对生成器和判别器两... 针对传统医学图像融合中需要依靠先验知识手动设置融合规则和参数,导致融合效果存在不确定性、细节表现力不足的问题,提出了一种基于改进生成对抗网络(GAN)的脑部计算机断层扫描(CT)/磁共振(MR)图像融合算法。首先,对生成器和判别器两个部分的网络结构进行改进,在生成器网络的设计中采用残差块和快捷连接以加深网络结构,更好地捕获深层次的图像信息;然后,去掉常规网络中的下采样层,以减少图像传输过程中的信息损失,并将批量归一化改为层归一化,以更好地保留源图像信息,增加判别器网络的深度以提高网络性能;最后,连接CT图像和MR图像,将其输入到生成器网络中得到融合图像,通过损失函数不断优化网络参数,训练出最适合医学图像融合的模型来生成高质量的图像。实验结果表明,与当前表现优良的基于离散小波变换(DWT)算法、基于非下采样剪切波变换(NSCT)算法、基于稀疏表示(SR)算法和基于图像分类块稀疏表示(PSR)算法对比,所提算法在互信息(MI)、信息熵(IE)、结构相似性(SSIM)上均表现良好,最终的融合图像纹理和细节丰富,同时避免了人为因素对融合效果稳定性的影响。 展开更多

关键词 医学图像融合 生成对抗网络 计算机断层成像(CT)/磁共振(MR) 层归一化 残差块

在线阅读 下载PDF 职称材料

结合多区域特征和特征融合的微表情识别

6

作者 曹春萍 张迪 《小型微型计算机系统》 北大核心 2025年第8期1986-1992,共7页

微表情运动微弱、短暂和局部化的特点,使得难以从微表情视频序列中相关的局部区域中提取有效特征,进而导致准确识别微表情变得十分困难.针对上述问题,基于残差网络和长短期记忆网络,提出一种结合多区域特征提取模块(Multi-region Featur... 微表情运动微弱、短暂和局部化的特点,使得难以从微表情视频序列中相关的局部区域中提取有效特征,进而导致准确识别微表情变得十分困难.针对上述问题,基于残差网络和长短期记忆网络,提出一种结合多区域特征提取模块(Multi-region Feature Extraction Module,MFEM)和多层特征融合模块(Multi-level Feature Fusion Module,MFFM)的微表情识别方法.首先,对微表情视频序列采用欧拉视频放大算法实现运动增强得到灰度序列,并结合TV-L1光流法的光流序列作为输入.有效特征提取阶段中,利用MFEM模块提取多个相关的局部区域中的显著特征,增强网络提取有效特征的能力;通过MFFM模块减少信息丢失,产生更综合的特征,提高模型学习微表情特征的能力;然后进行时序建模并分类.在casme2和samm数据集上进行实验,准确率分别达到84.959%、74.265%,UF1分别为0.855和0.604,优于现有方法. 展开更多

关键词 微表情识别 残差网络 多区域特征提取 多层特征融合

在线阅读 下载PDF 职称材料

基于图卷积的自适应特征融合MRI脑肿瘤分割方法

7

作者 张野 张睦卿 +1 位作者 袁学刚 牛大田 《河北科技大学学报》 北大核心 2025年第4期395-404,共10页

针对U-Net模型在MRI脑肿瘤分割上存在的全局信息捕获不足和深层语义信息融合不充分等问题,提出一种新的基于图卷积的自适应特征融合网络(adaptive spatial and graph-convolutional U-Net, ASGU-Net)。以三维U-Net为基础,通过构建图卷... 针对U-Net模型在MRI脑肿瘤分割上存在的全局信息捕获不足和深层语义信息融合不充分等问题,提出一种新的基于图卷积的自适应特征融合网络(adaptive spatial and graph-convolutional U-Net, ASGU-Net)。以三维U-Net为基础,通过构建图卷积推理模块,捕获额外的远程上下文特征;在编解码器中引入动态蛇形卷积(dynamic snake convolution, DSConv)能更精准地契合肿瘤形态各异的特点,提高边缘特征提取能力,从而有效提升分割精度;在解码器中引入自适应空间特征融合(adaptive spatial feature fusion, ASFF)模块,通过整合多个编码器块捕获的语义信息提升特征融合效果。在公开的BraTS 2019—2021数据集上的评估表明,整个肿瘤、肿瘤核心和增强肿瘤的Dice值分别为90.70%/90.70%/91.00%、84.90%/84.00%/88.80%和77.30%/77.40%/82.50%,证明了ASGU-Net在脑肿瘤分割任务中的有效性。ASGU-Net可有效解决全局信息捕获不足和特征融合不充分的问题,为脑肿瘤高精度自动化分割提供了参考。 展开更多

关键词 计算机神经网络 脑肿瘤分割 三维U-Net 图卷积推理瓶颈层 动态蛇形卷积 自适应空间特征融合

在线阅读 下载PDF 职称材料

基于残差卷积神经网络的开关柜局部放电模式识别 被引量：22

8

作者 黄雪莜 熊俊 +4 位作者 张宇 刘辉 陈鹭 孟祥麟 江秀臣 《中国电力》 CSCD 北大核心 2021年第2期44-51,共8页

传统的开关柜局部放电模式识别方法缺乏一定的泛化性能且识别准确率低,难以在实际工程中应用。提出了一种基于残差卷积神经网络的开关柜局部放电模式识别方法,通过在网络中加入残差模块以解决随着网络层数加深导致准确度饱和后出现退化... 传统的开关柜局部放电模式识别方法缺乏一定的泛化性能且识别准确率低,难以在实际工程中应用。提出了一种基于残差卷积神经网络的开关柜局部放电模式识别方法,通过在网络中加入残差模块以解决随着网络层数加深导致准确度饱和后出现退化的问题,并综合利用开关柜局部放电数据的浅层与深层特征融合学习,实现模式识别。通过开关柜不同绝缘缺陷类别的局部放电模拟实验与配电站现场检测,构建了开关柜局部放电数据样本库,并进行了实验分析。实验结果表明:所提方法的识别正确率达96.06%,相比传统识别方法至少提高了20.22%,且随着训练集样本数量的增加,识别率有更大提升。综合使用特征层融合模块和残差模块,显著提升了模型的泛化性能,更适用于实际工程。 展开更多

关键词 卷积神经网络 残差模块 特征层融合 局部放电 模式识别

在线阅读 下载PDF 职称材料

基于双流残差卷积神经网络的养殖鳗鲡(Anguilla)摄食强度评估研究 被引量：1

9

作者 李凯 江兴龙 +1 位作者 许志扬 林茜 《海洋与湖沼》 CAS CSCD 北大核心 2023年第4期1207-1216,共10页

为实现对养殖鳗鲡(Anguilla)摄食强度的准确评估,提出了一种基于双流残差卷积神经网络的鳗鲡摄食强度评估方法,该方法针对传统双流网络(Two-stream)中存在的问题做出了相应的改进。首先针对传统双流网络存在网络结构较浅,无法提取到充... 为实现对养殖鳗鲡(Anguilla)摄食强度的准确评估,提出了一种基于双流残差卷积神经网络的鳗鲡摄食强度评估方法,该方法针对传统双流网络(Two-stream)中存在的问题做出了相应的改进。首先针对传统双流网络存在网络结构较浅,无法提取到充分的鳗鲡摄食行为特征的问题,选择使用ResNet50网络进行替换,以提取到更具代表性的特征。其次针对传统双流网络最后的分类结果是把空间流和时间流的得分取平均值融合而获得,这种方式较为简单,且其空间流和时间流网络为独立进行训练,容易导致网络出现学习不到鳗鲡摄食行为的时空关联特征的问题,选择使用特征层融合方式对空间流和时间流网络提取获得的特征进行融合,让网络能够并行进行训练,以提取到时空信息间的关联特征。试验结果表明:文内提出的基于双流残差卷积神经网络的鳗鲡摄食强度评估方法准确率达到98.6%,与单通道的空间流和时间流网络相比,准确率分别提升了5.8%和8.5%,与传统的双流网络相比准确率也提升了3.2%。 展开更多

关键词 鳗鲡 摄食强度 双流残差卷积神经网络 ResNet50 并行训练 特征层融合

在线阅读 下载PDF 职称材料

多尺度渐近特征融合的遥感目标检测算法研究

10

作者 王海群 赵涛 王柄楠 《电光与控制》 CSCD 北大核心 2024年第12期33-40,共8页

针对遥感图像目标尺度多样、小目标密集、背景环境复杂导致检测时出现的漏检及误检等问题,提出一种基于YOLOv8n改进的多尺度渐近特征融合的遥感目标检测算法。首先,构建结合多尺度残差网络的Res2C2f模块,更有效地捕捉不同尺度的特征;其... 针对遥感图像目标尺度多样、小目标密集、背景环境复杂导致检测时出现的漏检及误检等问题,提出一种基于YOLOv8n改进的多尺度渐近特征融合的遥感目标检测算法。首先,构建结合多尺度残差网络的Res2C2f模块,更有效地捕捉不同尺度的特征;其次,设计跨级连接金字塔池化模块来改善原金字塔池化模块特征提取能力不足的问题;然后,重构多尺度的渐近特征融合网络来实现多尺度信息的交换,充分利用不同层级的特征来增强特征融合效果;最后,增加160×160尺寸的小目标检测层,提升模型在密集场景下对小目标的检测效果。在DOTA数据集中,相比基线模型,改进算法的精确率、召回率、平均精度均值分别提升了4.8、4.0和3.7个百分点。 展开更多

关键词 YOLOv8 遥感图像 渐近特征融合 多尺度残差网络 金字塔池化 小目标检测层

在线阅读 下载PDF 职称材料

基于卷积神经网络改进的图像自动分割方法 被引量：10

11

作者 温佩芝 苗渊渊 +1 位作者 周迎 冯丽园 《计算机应用研究》 CSCD 北大核心 2018年第9期2848-2852,共5页

针对图像序列三维重建中多视角目标分割需要人工参与、任务繁重的问题,提出一种基于卷积神经网络改进的图像自动分割方法。首先将序列图像去噪处理、归一化并进行语义标注后制作数据集;然后对改进的融合多尺度特征和残差连接的卷积神经... 针对图像序列三维重建中多视角目标分割需要人工参与、任务繁重的问题,提出一种基于卷积神经网络改进的图像自动分割方法。首先将序列图像去噪处理、归一化并进行语义标注后制作数据集;然后对改进的融合多尺度特征和残差连接的卷积神经网络进行训练,得到优化后的卷积神经网络分割模型;最后将预分割图像加载到优化的分割模型中得到归一化的掩码图,再利用三次样条插值法将其恢复分辨率后与原图作自定义的掩码操作得到高清分割结果。以主流分割软件Photoshop分割结果为参考标准进行对比,实验结果证明,该方法的准确率与参考标准接近,而且可实现批量自动分割,能较好地解决三维重建中目标分割任务繁重的问题。 展开更多

关键词 图像分割 卷积神经网络 多尺度特征融合 残差连接 三维重建

在线阅读 下载PDF 职称材料

一种基于R3D网络的人体行为识别算法 被引量：3

12

作者 吴进 安怡媛 代巍 《电讯技术》 北大核心 2020年第8期865-870,共6页

现有的行为识别算法不能充分地提取抽象的行为特征,为此提出了基于三维残差卷积神经网络(3D Residual Convolutional Neural Network,R3D)的人体行为识别算法。该网络在三维卷积神经网络(3D Convolutional Neural Network,3D-CNN)基础... 现有的行为识别算法不能充分地提取抽象的行为特征,为此提出了基于三维残差卷积神经网络(3D Residual Convolutional Neural Network,R3D)的人体行为识别算法。该网络在三维卷积神经网络(3D Convolutional Neural Network,3D-CNN)基础上加入了残差模块,可以更好地提取时空域的特征,然后通过改变步长大小进行特征图降维,提高网络效率,并加入批量归一化层和Softplus激活函数,提高网络的收敛速度和拟合能力;之后添加Dropout层,降低过拟合风险,并且使用全局平均池化层(Global Average Pooling,GAP)代替全连接层,克服了网络参数量过大的问题;最后,使用Softmax进行分类。实验结果表明,使用R3D网络在HMDB-51数据集上获得了62.3%的识别率。 展开更多

关键词 行为识别 三维残差卷积神经网络 批量归一化层 全局平均池化层

在线阅读 下载PDF 职称材料

一种复杂背景下的铁路货运车辆车号定位方法

13

作者 蔡康程 赖毅辉 +1 位作者 周书民 蓝贤桂 《现代电子技术》 北大核心 2024年第9期82-85,共4页

针对复杂背景下铁路货运车辆车号定位复杂、定位准确率低的问题,提出一种采用ResNet50作为基本特征提取网络,同时引入空残差块对学习样本进行多层特征融合,构造了一种新的特征提取网络和改进算法,提高目标检测网络的特征表达能力,实现... 针对复杂背景下铁路货运车辆车号定位复杂、定位准确率低的问题,提出一种采用ResNet50作为基本特征提取网络,同时引入空残差块对学习样本进行多层特征融合,构造了一种新的特征提取网络和改进算法,提高目标检测网络的特征表达能力,实现了快速车号目标检测。实验数据集采用自建数据集,并通过三个对比实验验证了该方法的可靠性。当IoU阈值为0.5时,改进算法的平均精度值为97.1%,分别比F⁃VGG和F⁃ResNet50高9.4%和6.8%,同时采用改进算法对我国铁路常用不同车型货运车辆进行车号定位测试实验,从实验结果可以看出优化方法没有误分类或漏检。改进后的算法可以提高复杂背景下铁路货运车辆车号的定位精度,具有较强的泛化能力,对实现复杂背景下车辆车号快速定位具有一定的参考意义。 展开更多

关键词 车号定位 特征提取网络 RCNN ResNet50 空残差块 多层特征融合

在线阅读 下载PDF 职称材料

改进SSD算法及其在地铁安检中的应用 被引量：4

14

作者 张震 李孟洲 +1 位作者 李浩方 马军强 《计算机工程》 CAS CSCD 北大核心 2021年第7期314-320,共7页

针对传统SSD算法在检测小目标时容易漏检且检测精度不高的问题,提出一种改进算法。对SSD算法中各尺度特征进行尺寸大小不变的卷积操作,将卷积前后对应的特征进行轻量级网络融合,从而生成新的金字塔特征层,并加入基于残差模块的检测单元... 针对传统SSD算法在检测小目标时容易漏检且检测精度不高的问题,提出一种改进算法。对SSD算法中各尺度特征进行尺寸大小不变的卷积操作,将卷积前后对应的特征进行轻量级网络融合,从而生成新的金字塔特征层,并加入基于残差模块的检测单元避免增加网络模型容量和运算复杂度,同时增强对小尺度目标的检测能力。基于PASCAL-VOC2007小目标数据集的实验结果表明,与传统SSD、YOLOv3、Faster RCNN等算法相比,在PASCAL-VOC2007小目标数据集中,该算法的m AP指标较传统SSD算法提高8.5%,较Faster RCNN算法提高3.9%,较YOLOv3提高2%,FPS达到83 frame/s,其检测地铁安检图片的m AP达到77.8%。 展开更多

关键词 SSD算法 网络融合 金字塔特征层 残差模块 检测单元 目标检测

在线阅读 下载PDF 职称材料

复杂背景下对空红外弱小目标检测方法 被引量：2

15

作者 刘晓娟 郭鑫宇 +2 位作者 王立珂 郝月龙 杨文静 《火力与指挥控制》 CSCD 北大核心 2023年第8期141-149,158,共10页

红外成像系统具有探测距离远、抗干扰能力强的特点,在武器系统中备受关注。针对当前目标检测算法在复杂背景下准确率低,误检、漏检率高的问题,提出基于ResNet101主干网的Faster RCNN改进网络。通过将多尺度特征提取和多层特征融合,精确... 红外成像系统具有探测距离远、抗干扰能力强的特点,在武器系统中备受关注。针对当前目标检测算法在复杂背景下准确率低,误检、漏检率高的问题,提出基于ResNet101主干网的Faster RCNN改进网络。通过将多尺度特征提取和多层特征融合,精确获取目标候选区域,提升小目标检测性能;利用残差网络优化模型结构;基于候选框的检测方法,充分考虑不同尺度的区域特征;基于迁移学习的方法解决小样本数据集泛化性差的问题。实验结果表明,所述方法相较于5种代表性方法,具有准确率高、鲁棒性强的特点。 展开更多

关键词 弱小目标检测 残差网络 多尺度多层特征融合 迁移学习 Faster RCNN改进网络

在线阅读 下载PDF 职称材料

基于改进的3D⁃CNN的高光谱遥感图像地物分类 被引量：3

16

作者 谢幸雨 贺辉 邢海花 《数据采集与处理》 CSCD 北大核心 2021年第1期156-163,共8页

高光谱遥感影像波段众多,包含丰富的辐射、空间和光谱信息,是多种信息的综合载体,应用广泛。但是传统的高光谱影像地物分类方法多着重于光谱维度的特征提取,却忽略了空间维度上的特征,进而影响了分类的准确性。三维卷积神经网络(Three⁃d... 高光谱遥感影像波段众多,包含丰富的辐射、空间和光谱信息,是多种信息的综合载体,应用广泛。但是传统的高光谱影像地物分类方法多着重于光谱维度的特征提取,却忽略了空间维度上的特征,进而影响了分类的准确性。三维卷积神经网络(Three⁃dimensional convolutional neural network,3D⁃CNN)可以同时在3个维度上对数据进行卷积处理,故本文采用3D⁃CNN深度网络进行高光谱影像地物分类,并针对3D⁃CNN网络存在的问题,提出了一种基于改进的3D⁃CNN的高光谱遥感影像地物分类方法。本文方法对提取到的空间和光谱特征实现融合复用,尽可能发挥特征的价值。此外,本文引入浅层特征细节保存网络的思想,提出一种综合浅层特征细节保存的影像分类深度网络模型,进一步提高了高光谱影像地物分类的准确度。在Tensorflow框架下对2个常用的高光谱遥感影像数据集(Indian Pines和Pavia University)的实验结果表明,相比基础的3D⁃CNN网络,本文方法的分类精度提高了近2%,而且类别边界更准确。 展开更多

关键词 高光谱图像分类 三维卷积神经网络 特征融合浅层 特征细节保存

在线阅读 下载PDF 职称材料