并行双路径主干下全局特征融合的目标检测算法

1

作者 邱云飞 辛浩 《计算机科学与探索》 CSCD 北大核心 2024年第12期3247-3259,共13页

常规单路径架构主干经过积极的下采样,往往导致特征信息的丢失。同时,仅依靠特征金字塔简单地相加或拼接不利于浅层到深层的特征集成。针对上述问题,提出一种并行双路径主干下全局特征融合的目标检测算法。采用双路径架构主干并行地提... 常规单路径架构主干经过积极的下采样,往往导致特征信息的丢失。同时,仅依靠特征金字塔简单地相加或拼接不利于浅层到深层的特征集成。针对上述问题,提出一种并行双路径主干下全局特征融合的目标检测算法。采用双路径架构主干并行地提取空间与语义信息,并通过双路径融合模块,促进特征信息间的相互补充。顶部特征依次与金字塔池化多尺度池映射相加,利用注意力机制将多尺度池化特征聚集其中,进一步提高多尺度的检测性能。聚集全局尺度信息,利用自注意机制将其融入不同层特征,并重复多次以构建全局特征融合的颈部网络结构,有效提升颈部网络融合全局上下文信息的能力。头部采用Ghost Conv并结合通道混洗操作,维持模型性能的同时减少参数冗余。在KITTI、BDD100K和PASCAL VOC数据集上展开实验,所提算法的平均精度值相较于基线模型(YOLOv7-tiny)分别提高了3.5、3.4和2.7个百分点。实验结果表明,提出的算法提升了复杂场景下的检测性能,而且对算力等资源的要求较低。 展开更多

关键词 目标检测 双路径主干 池化注意力 全局特征融合颈部网络 Ghost检测头

在线阅读 下载PDF 职称材料

基于自适应增殖数据增强与全局特征融合的小目标行人检测 被引量：4

2

作者 艾青林 杨佳豪 崔景瑞 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2023年第10期1933-1944,1976,共13页

针对当前规模的小目标行人数据集较少,传统行人检测模型对小目标检测效果较差的问题,提出一种基于消隐点性质,提出自适应增殖数据增强和全局上下文特征融合的小目标行人检测方法.利用射影几何与消隐点的性质,对图像中的多个目标进行复制... 针对当前规模的小目标行人数据集较少,传统行人检测模型对小目标检测效果较差的问题,提出一种基于消隐点性质,提出自适应增殖数据增强和全局上下文特征融合的小目标行人检测方法.利用射影几何与消隐点的性质,对图像中的多个目标进行复制;通过仿射变换投影到新的位置,生成多个大小与背景合理的小目标样本以完成数据增强.利用跨阶段局部网络与轻量化操作改进沙漏结构,融合坐标注意力机制强化骨干网络.设计全局特征融合颈部网络(GFF-neck),以融合全局特征.实验表明,在经过数据增强后的WiderPerson数据集上,改进算法对行人类别的检测AP值达到了79.6%,在VOC数据集上mAP值达到了80.2%.测试结果表明,当搭建实验测试系统进行实景测试时,所提算法有效提升了小目标行人检测识别精度,并满足实时性要求. 展开更多

关键词 消隐点 数据增强 全局特征融合 小目标行人检测 轻量化沙漏结构

在线阅读 下载PDF 职称材料

全局-局部特征融合的甲状腺细针穿刺活检全玻片图像轻量化样本级分类

3

作者 高俊涛 张菁 +1 位作者 孙萌 卓力 《电子测量与仪器学报》 北大核心 2025年第3期159-168,共10页

细针穿刺活检全玻片图像(FNAB-WSI)的细胞学检查对甲状腺乳头状癌或良性结节性增生的诊断至关重要。由于样本级FNAB-WSI具有上亿像素的超高分辨率,利用深度网络进行样本级别分类会消耗相当规模的计算资源。考虑到样本级FNAB-WSI兼具全... 细针穿刺活检全玻片图像(FNAB-WSI)的细胞学检查对甲状腺乳头状癌或良性结节性增生的诊断至关重要。由于样本级FNAB-WSI具有上亿像素的超高分辨率,利用深度网络进行样本级别分类会消耗相当规模的计算资源。考虑到样本级FNAB-WSI兼具全局和细胞团局部细节特征,提出了一种全局-局部特征融合的轻量化样本级分类方法。首先利用轻量化GhostNet网络提取全局特征,通过设置卷积步长控制特征图谱尺寸,并用特征切片与融合获取局部特征;然后对全局和局部特征分别最大池化和降维,进而融合为全局-局部特征;最后全连接全局-局部特征,并通过softmax分类器达成甲状腺样本级良恶性分类。在自建的FNAB-WSI样本级数据集上,方法的各项性能指标上均超越了其他轻量化方法,精度、召回率、准确率和AUC分别达到了最高的89.9%、91.2%、91.7%和92.5%,同时参数量方面具有可比性,为6.1×106,展现出了良好的平衡性能。方法不仅提高了样本级分类的准确性,还通过减少参数量优化了模型的计算效率,有望为甲状腺癌的临床诊断提供了一种有效的辅助工具。 展开更多

关键词 深度学习 全玻片图像 样本级分类 轻量化 全局-局部特征融合

在线阅读 下载PDF 职称材料

基于面部全局抑郁特征局部感知力增强和全局-局部语义相关性特征融合的抑郁强度识别

4

作者 孙强 李正 何浪 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第5期2249-2263,共15页

现有基于深度学习的大多数方法在实现患者抑郁程度自动识别的过程中,主要存在两大挑战:(1)难以利用深度模型自动地从面部表情有效学习到抑郁强度相关的全局上下文信息,(2)往往忽略抑郁强度相关的全局和局部信息之间的语义一致性。为此,... 现有基于深度学习的大多数方法在实现患者抑郁程度自动识别的过程中,主要存在两大挑战:(1)难以利用深度模型自动地从面部表情有效学习到抑郁强度相关的全局上下文信息,(2)往往忽略抑郁强度相关的全局和局部信息之间的语义一致性。为此,该文提出一种全局抑郁特征局部感知力增强和全局-局部语义相关性特征融合(PLEGDF-FGLSCF)的抑郁强度识别深度模型。首先,设计了全局抑郁特征局部感知力增强(PLEGDF)模块,用于提取面部局部区域之间的语义相关性信息,促进不同局部区域与抑郁相关的信息之间的交互,从而增强局部抑郁特征驱动的全局抑郁特征表达力。然后,提出了全局-局部语义相关性特征融合(FGLSCF)模块,用于捕捉全局和局部语义信息之间的关联性,实现全局和局部抑郁特征之间的语义一致性描述。最后,在AVEC2013和AVEC2014数据集上,利用PLEGDF-FGLSCF模型获得的识别结果在均方根误差(RMSE)和平均绝对误差(MAE)指标上的值分别是7.75/5.96和7.49/5.99,优于大多数已有的基准模型,证实了该方法的合理性和有效性。 展开更多

关键词 抑郁强度 人脸图像 局部感知力增强 全局和局部特征融合 语义一致性

在线阅读 下载PDF 职称材料

时空网络特征融合的病理步态识别方法

5

作者 李聪聪 王斌 +1 位作者 李亚南 李一帆 《计算机工程与设计》 北大核心 2025年第7期2109-2116,共8页

针对病理步态识别方法中存在空间信息或时序信息丢失的问题,提出一种时空网络特征融合的病理步态识别方法。结合卷积网络和时序网络,学习更具判别性的步态时空特征。卷积网络中引入阶梯融合式空洞空间金字塔池化,获得更鲁棒的多尺度融... 针对病理步态识别方法中存在空间信息或时序信息丢失的问题,提出一种时空网络特征融合的病理步态识别方法。结合卷积网络和时序网络,学习更具判别性的步态时空特征。卷积网络中引入阶梯融合式空洞空间金字塔池化,获得更鲁棒的多尺度融合步态表征。联合卷积核替换和残差块改进对卷积网络进一步优化。时序网络中引入全局与局部时空特征融合模块,形成对时空特征的更细节表达。融合空间特征和时空特征,减轻Bi LSTM学习空间特征中时间模式的过程中丢失空间特征的影响。所提模型在自建数据集和GAIT-IST数据集上的准确率分别达到了97.69%和94.16%,实验结果表明,该方法较其它方法取得了更优的性能。 展开更多

关键词 病理步态识别 时空网络 特征融合 时空特征 阶梯融合式空洞空间金字塔池化 多尺度特征 全局与局部时空特征融合模块

在线阅读 下载PDF 职称材料

全局-局部特征融合的人体姿态估计算法

6

作者 毛琳 任春贺 杨大伟 《电子测量技术》 北大核心 2024年第10期115-125,共11页

针对现有人体姿态估计算法存在因骨干网络特征提取不充分,导致关键点特征信息丢失的问题,提出一种结合全局-局部特征融合模块的人体姿态估计网络模型(GLF-Net)。为了在特征提取阶段获得高质量的特征图,该算法从全局特征和局部特征出发,... 针对现有人体姿态估计算法存在因骨干网络特征提取不充分,导致关键点特征信息丢失的问题,提出一种结合全局-局部特征融合模块的人体姿态估计网络模型(GLF-Net)。为了在特征提取阶段获得高质量的特征图,该算法从全局特征和局部特征出发,对骨干网络ResNet-50进行改进,分别设计了全局极化自注意力模块和局部深度可分离卷积模块。同时采用并行的结构方式将融合了全局位置信息和局部语义信息特征的模块嵌入到骨干网络的Bottleneck层中,既能增强原骨干网络的特征提取能力,又为后续的Transformer网络提供有效的全局和局部特征输入,进而提高姿态关键点检测的性能。在公开人体姿态估计数据集COCO 2017上和MPII数据集上分别进行模型测试,该算法性能与与基准算法(Poseur)相比,姿态关键点的平均准确度(AP)提升了2.1%,平均召回率(AR)提升了1.5%,正确估计关键点比例(PCKh@0.5)最高达到90.6。实验结果表明,所提算法在姿态估计精度上优于现存同类方法,可以明显提高人体姿态关键点的定位准确度。 展开更多

关键词 人体姿态估计 特征提取 全局极化自注意力 局部深度可分离卷积 全局-局部特征融合

在线阅读 下载PDF 职称材料

局部与全局双重特征融合的自然场景文本检测 被引量：2

7

作者 李云洪 闫君宏 胡蕾 《数据采集与处理》 CSCD 北大核心 2022年第2期415-425,共11页

自然场景中文本的形状、方向和类别等变化丰富,场景文本检测仍然面临挑战。为了能够更好地将文本与非文本分隔并准确定位自然场景图像中的文本区域,本文提出一种局部与全局双重特征融合的文本检测网络,通过跳跃连接的方式实现多尺度全... 自然场景中文本的形状、方向和类别等变化丰富,场景文本检测仍然面临挑战。为了能够更好地将文本与非文本分隔并准确定位自然场景图像中的文本区域,本文提出一种局部与全局双重特征融合的文本检测网络,通过跳跃连接的方式实现多尺度全局特征融合,对恒等残差块进行改进实现局部细粒度特征融合,从而减少特征信息丢失,增强对文本区域特征提取力度,并采用多边形偏移文本域与文本边缘信息相结合的方式准确定位文本区域。为了评估本文方法的有效性,在现有经典数据集ICDAR2015和CTW1500上进行了多组对比实验,实验结果表明在复杂场景下该方法文本检测的性能更加卓越。 展开更多

关键词 文本检测 跳跃连接 细粒度特征融合 全局特征融合 多边形偏移文本域

在线阅读 下载PDF 职称材料

基于双阶段特征解耦网络的单幅图像去雨方法 被引量：1

8

作者 汤红忠 熊珮全 +2 位作者 王蔚 王晒雅 陈磊 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2024年第2期273-282,共10页

针对现有的单幅图像去雨方法无法有效地平衡背景图像细节恢复与有雨分量去除问题,提出一种基于双阶段特征解耦网络的单幅图像去雨方法,采用渐进式的学习方式从粗到细分阶段进行单幅图像去雨.首先构建压缩激励残差模块,实现背景图像与有... 针对现有的单幅图像去雨方法无法有效地平衡背景图像细节恢复与有雨分量去除问题,提出一种基于双阶段特征解耦网络的单幅图像去雨方法,采用渐进式的学习方式从粗到细分阶段进行单幅图像去雨.首先构建压缩激励残差模块,实现背景图像与有雨分量的初步分离;然后设计全局特征融合模块,其中特别引入特征解耦模块分离有雨分量和背景图像的特征,实现细粒度的图像去雨;最后利用重构损失、结构相似损失、边缘感知损失和纹理一致性损失构成的复合损失函数训练网络,实现高质量的无雨图像重构.实验结果表明,在Test100合成雨图数据集上,所提方法峰值信噪比为25.57dB,结构相似性为0.89;在100幅真实雨图上,所提方法的自然图像质量评估器为3.53,无参考图像空间质量评估器为20.16;在去雨后的RefineNet目标分割任务中,平均交并比为29.41%,平均像素精度为70.06%;视觉效果上,该方法能保留更多的背景图像特征,有效地辅助下游的目标分割任务的开展. 展开更多

关键词 特征解耦网络 压缩激励残差模块 全局特征融合模块 复合损失函数 单幅图像去雨

在线阅读 下载PDF 职称材料

基于上下文特征融合的代码漏洞检测方法 被引量：3

9

作者 徐泽鑫 段立娟 +1 位作者 王文健 恩擎 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2022年第11期2260-2270,共11页

针对现有代码漏洞检测方法误报率和漏报率较高的问题,提出基于上下文特征融合的代码漏洞检测方法.该方法将代码特征解耦分为代码块局部特征和上下文全局特征.代码块局部特征关注代码块中关键词的语义及其短距离依赖关系.将局部特征融合... 针对现有代码漏洞检测方法误报率和漏报率较高的问题,提出基于上下文特征融合的代码漏洞检测方法.该方法将代码特征解耦分为代码块局部特征和上下文全局特征.代码块局部特征关注代码块中关键词的语义及其短距离依赖关系.将局部特征融合得到上下文全局特征从而捕捉代码行上下文长距离依赖关系.该方法通过局部信息与全局信息协同学习,提升了模型的特征学习能力.模型精确地挖掘出代码漏洞的编程模式,增加了代码漏洞对比映射模块,拉大了正负样本在嵌入空间中的距离,促使对正负样本进行准确地区分.实验结果表明,在9个软件源代码混合的真实数据集上的精确率最大提升了29%,召回率最大提升了16%. 展开更多

关键词 代码漏洞检测 代码块局部特征提取 上下文全局特征融合 短距离依赖 长距离依赖

在线阅读 下载PDF 职称材料

基于全局-局部注意力机制和YOLOv5的宫颈细胞图像异常检测模型

10

作者 胡雯然 傅蓉 《南方医科大学学报》 CAS CSCD 北大核心 2024年第7期1217-1226,共10页

目标建立一种新的基于全局-局部注意机制和YOLOv5的宫颈病变细胞检测模型(Trans-YOLOv5),为准确、高效地分析宫颈细胞学图像并做出诊断提供帮助。方法使用共含有7410张宫颈细胞学图像且均包含对应真实标签的公开数据集。采用结合了数据... 目标建立一种新的基于全局-局部注意机制和YOLOv5的宫颈病变细胞检测模型(Trans-YOLOv5),为准确、高效地分析宫颈细胞学图像并做出诊断提供帮助。方法使用共含有7410张宫颈细胞学图像且均包含对应真实标签的公开数据集。采用结合了数据扩增方式与标签平滑等技巧的YOLOv5网络结构实现对宫颈病变细胞的多分类检测。在YOLOv5骨干网络引用CBT3以增强深层全局信息提取能力,设计ADH检测头提高检测头解耦后定位分支对纹理特征的结合能力,从而实现全局-局部注意机制的融合。结果实验结果表明Trans-YOLOv5优于目前最先进的方法。mAP和AR分别达到65.9%和53.3%,消融实验结果验证了Trans-YOLOv5各组成部分的有效性。结论本文发挥不同注意力机制分别在全局特征与局部特征提取能力的差异,提升YOLOv5对宫颈细胞图像中异常细胞的检测精度,展现了其在自动化辅助宫颈癌筛查工作量的巨大潜力。 展开更多

关键词 宫颈细胞图像异常检测 YOLOv5 图像处理 全局和局部特征融合

在线阅读 下载PDF 职称材料

基于改进YOLOv8的SAR图像飞机目标检测算法

11

作者 邱琳琳 朱卫纲 +2 位作者 李永刚 邱磊 李炫潮 《电光与控制》 北大核心 2025年第3期101-110,共10页

合成孔径雷达(SAR)图像飞机目标检测面临背景复杂、飞机目标较为微弱且尺度较小、不同成像条件下目标差异较大、目标结构不连续等挑战,提出一种新的飞机目标检测算法ATDM,用于提高复杂背景下SAR图像飞机目标的检测精度。使用YOLOv8s作... 合成孔径雷达(SAR)图像飞机目标检测面临背景复杂、飞机目标较为微弱且尺度较小、不同成像条件下目标差异较大、目标结构不连续等挑战,提出一种新的飞机目标检测算法ATDM,用于提高复杂背景下SAR图像飞机目标的检测精度。使用YOLOv8s作为基线模型并改进了损失函数,算法包含三个重要的模块,即卷积注意力模块(CBAM)、全维度特征提取(ODFE)模块和可变形全局特征融合(DGFF)模块。为了增强网络在复杂背景下对飞机目标特征的提取能力,在基线网络的Backbone插入CBAM,从空间和通道两个维度学习飞机目标的特征;ODFE利用卷积核空间四个维度的动态性,通过并行策略沿核空间的四个维度学习不同类型飞机目标的特征,提升复杂背景下对散射特性较弱的飞机目标及小目标的检测能力;DGFF自适应调整卷积核的形状以适应不同成像条件下得到的飞机目标,并进行全局信息特征融合。最后,改进边界框回归损失函数为动态非单调聚焦损失函数WIoU,采用动态非单调聚焦机制,使用离群度评估锚框质量,降低SAR图像中可能存在的错误标注产生的影响。为了评估所提ATDM的性能,在SADD和高分三号SAR飞机数据集上开展实验,在两个数据集上得到的平均准确率(AP)分别达到95.4%和98.2%;消融实验结果与分析验证了所提出的三个模块及损失函数的有效性。此外,在与其他目标检测算法的对比中,所提算法也得到了最高的平均准确率。 展开更多

关键词 合成孔径雷达 飞机检测 复杂背景 全维度特征提取 可变形全局特征融合

在线阅读 下载PDF 职称材料

结合CSWin-Transformer和门卷积的壁画图像修复方法 被引量：4

12

作者 徐志刚 杨欣宇 《计算机工程与应用》 CSCD 北大核心 2024年第21期215-224,共10页

敦煌壁画是珍贵的文化遗产,但现存壁画存在着大量破损现象。针对现有图像修复方法在处理敦煌壁画时面临着计算复杂度高、纹理模糊和特征提取不足等问题,提出了一种结合CSWin-Transformer(cross stripe window-Transformer)和门卷积的壁... 敦煌壁画是珍贵的文化遗产,但现存壁画存在着大量破损现象。针对现有图像修复方法在处理敦煌壁画时面临着计算复杂度高、纹理模糊和特征提取不足等问题,提出了一种结合CSWin-Transformer(cross stripe window-Transformer)和门卷积的壁画图像修复方法。构建由全局层网络和局部层门卷积残差密集网络组成的并行网络,利用条纹窗口增强图像特征提取能力,并通过门卷积残差块提升结构纹理修复的准确性。设计全局-局部特征融合模块来融合全局层和局部层输出的特征图像,以保持修复结果整体的一致性。通过建立共享注意力机制实现全局层和局部层之间的信息交互,同时为了完成破损壁画的修复,采用谱归一化马尔科夫判别模型进行对抗训练。通过对真实破损壁画的修复实验,结果表明,所提方法在主客观指标上均优于所对比的方法。 展开更多

关键词 深度学习 壁画修复 门卷积 CSWin-Transformer 全局-局部特征融合

在线阅读 下载PDF 职称材料

基于改进YOLOv5的遥感小目标检测网络 被引量：16

13

作者 李嘉新 侯进 +1 位作者 盛博莹 周宇航 《计算机工程》 CAS CSCD 北大核心 2023年第9期256-264,共9页

受遥感图像背景复杂、分辨率高、有效信息量少等因素影响,现有目标检测算法在检测小目标过程中存在错检、漏检等问题。提出基于YOLOv5的遥感小目标检测算法YOLOv5-RS。为有效减少图像中复杂背景和负样本的干扰,构建并行混合注意力模块,... 受遥感图像背景复杂、分辨率高、有效信息量少等因素影响,现有目标检测算法在检测小目标过程中存在错检、漏检等问题。提出基于YOLOv5的遥感小目标检测算法YOLOv5-RS。为有效减少图像中复杂背景和负样本的干扰,构建并行混合注意力模块,采用卷积替换全连接层和移除池化层的操作来优化注意力模块生成权重特征图的过程。为获取和传递更丰富且更具判别性的小目标特征,调整下采样倍数并在模型训练过程中增加小目标信息丰富的浅层特征,同时设计卷积与多头自注意力相结合的特征提取模块,通过对局部和全局信息进行联合表征以突破普通卷积提取的局限性,从而获得更大的感受野。采用EIoU损失函数优化预测框与检测框的回归过程,增强小目标的定位能力。在遥感小目标数据集上进行实验以验证该算法的有效性。实验结果表明,与YOLOv5s相比,该算法在参数量减少20%的情况下平均检测精度提升1.5个百分点,其中,小车类目标的平均检测精度提升3.2个百分点;与EfficientDet、YOLOx、YOLOv7相比,该算法能有效兼顾检测精度和实时性。 展开更多

关键词 遥感小目标检测 改进YOLOv5 并行混合注意力 全局特征融合 损失函数

在线阅读 下载PDF 职称材料