基于三维注意力与混合卷积的高光谱图像分类 被引量：2

1

作者 赵晓枫 牛家辉 +1 位作者 刘春桐 夏玉婷 《系统工程与电子技术》 EI CSCD 北大核心 2023年第9期2673-2680,共8页

针对现有高光谱图像分类模型在特征提取的过程中有效特征关注缺乏的问题,提出了一种基于三维卷积注意力与混合卷积的高光谱图像分类方法。该方法使用三维卷积和二维卷积串联完成对高光谱图像空谱特征的提取,并在三维卷积阶段引入注意力... 针对现有高光谱图像分类模型在特征提取的过程中有效特征关注缺乏的问题,提出了一种基于三维卷积注意力与混合卷积的高光谱图像分类方法。该方法使用三维卷积和二维卷积串联完成对高光谱图像空谱特征的提取,并在三维卷积阶段引入注意力机制,使得模型在提取底层空谱特征的同时实现对有效特征的关注和激活。相对于传统三维卷积模型,提出的分类模型减小了运算复杂度,提升了模型噪声抑制能力,提高了分类效果。针对该方法的消融实验证明了提出的三维卷积注意力机制的有效性,在印第安松树林和帕维亚大学两个公开数据集上与其他5种分类模型的对比实验中取得了最优的分类精度。 展开更多

关键词 高光谱图像分类 三维注意力机制 混合卷积 空谱特征提取

在线阅读 下载PDF 职称材料

简单三维注意力机制水稻病害识别模型 被引量：1

2

作者 王忠培 董伟 +1 位作者 朱静波 谢成军 《江苏农业科学》 北大核心 2023年第20期186-193,共8页

准确、快速地识别水稻病害并及时采取防治措施,是减少水稻产量损失和提高水稻质量的有效途径之一。以生产上常见的6种水稻病害为研究对象,提出一种简单的三维注意力机制水稻识别模型。不同于通道注意力或空间注意力方法将研究对象特征... 准确、快速地识别水稻病害并及时采取防治措施,是减少水稻产量损失和提高水稻质量的有效途径之一。以生产上常见的6种水稻病害为研究对象,提出一种简单的三维注意力机制水稻识别模型。不同于通道注意力或空间注意力方法将研究对象特征分开考虑而导致研究对象本身固有的三维特性丢失的现象,本研究借鉴人类观察物体时将观察主体作为三维整体考虑的特点,提出算法。不同于SimAM算法将输入图像中的激活像素人为设置+1作为正样本、不激活像素设置-1作为负样本的假定,本研究不对输入图像的每个像素作人为硬性阈值的设定,而是保留其本身输入特征大小;这种设定不会破坏研究对象本身的固有属性,更符合研究主题自身的特性。研究结果表明,在自建水稻病害识别数据集达到的最高准确率为98.6%,比SimAM算法提高0.84百分点;相比经典网络模型ResNet50、MobileNetV2、EfficientNet_B0、DenseNet分别提高1.71、1.93、1.93、0.84百分点;相比通道注意力机制模型SENe、ECA模型分别提高1.20、1.28百分点,表明本模型能够为自然环境下水稻病害的智能识别提供技术支持。 展开更多

关键词 水稻病害 识别 三维注意力 注意力机制

在线阅读 下载PDF 职称材料

结合三维交互注意力与语义聚合的表情识别

3

作者 王广宇 罗晓曙 +2 位作者 徐照兴 丰芳宇 许江杰 《计算机工程与应用》 CSCD 北大核心 2024年第6期238-248,共11页

针对传统卷积网络难以有效整合不同阶段人脸面部表情的特征、存在特征表征瓶颈以及无法高效利用上下文语义等问题,提出了一种结合三维交互注意力与语义聚合的面部表情识别方法。在秩扩展(ReXNet)网络的基础上对其进行优化,在消除表征瓶... 针对传统卷积网络难以有效整合不同阶段人脸面部表情的特征、存在特征表征瓶颈以及无法高效利用上下文语义等问题,提出了一种结合三维交互注意力与语义聚合的面部表情识别方法。在秩扩展(ReXNet)网络的基础上对其进行优化,在消除表征瓶颈的情况下,融合上下文特征,使其更适配表情识别任务。为捕获判别性人脸表情细粒度特征,结合非本地块与跨维度信息交互理论构建了三维交互注意力。为充分利用表情的浅中层底层特征与高层语义特征,设计了语义聚合模块,将多级全局上下文特征与高级语义信息进行聚合,达到同一类别的表情语义相互增益、增强类内一致性的目的。实验表明,该方法在公开数据集RAF-DB、FERPlus和AffectNet-8上的准确率分别为88.89%、89.53%与62.22%,展现了该方法的先进性。 展开更多

关键词 人脸表情识别 表征瓶颈 三维交互注意力 上下文语义

在线阅读 下载PDF 职称材料

基于多维间注意力机制的水稻病害识别模型 被引量：5

4

作者 王忠培 谢成军 +1 位作者 董伟 管博伦 《江苏农业学报》 CSCD 北大核心 2024年第4期625-635,共11页

水稻病害的快速、准确识别是水稻病害防治的前提,也是提高水稻产量和品质的有效途径之一。为了提高水稻病害识别的准确率,本研究提出一种多维间的三维注意力水稻病害识别模型Inter_3DRiceNet网络模型,通过3个不同维度(通道维度、高度维... 水稻病害的快速、准确识别是水稻病害防治的前提,也是提高水稻产量和品质的有效途径之一。为了提高水稻病害识别的准确率,本研究提出一种多维间的三维注意力水稻病害识别模型Inter_3DRiceNet网络模型,通过3个不同维度(通道维度、高度维度以及宽度维度)提取水稻病害特征信息。通道维度主要构建基于通道关系的三维立体注意力机制,通过建立一维的通道间关系注意力机制再结合二维空间关系,最终获得基于通道关系的三维注意力特征信息。高度维度建立的是基于高度维度关系的三维注意力机制,而宽度维度建立的是基于宽度维度关系的立体注意力机制。然后将以上3个不同维度的注意力信息进行简单的相加再取平均值作为最终的病害提取特征。通过这种方式,不仅可以获取输入图像更丰富的特征,而且可以获得不同维度的立体空间关系。试验结果表明,在自建的6种真实自然环境水稻病害数据集中,本研究提出的Inter_3DRiceNet网络模型在测试集取得了98.32%的最高准确率,高于经典网络模型ResNet34、ResNet50、MobileNetV2、DenseNet、EfficientNet_B0和通道注意力机制模型SENet和GCT。可见本研究方法有效提高了水稻病害的识别准确率,获得了优于经典网络模型和通道注意力模型的识别准确率,有助于提升自然环境下对常见水稻病害的识别性能。 展开更多

关键词 水稻病害 三维注意力 多维间关系 注意力机制 识别

在线阅读 下载PDF 职称材料

三维坐标注意力路径聚合网络的目标检测算法 被引量：3

5

作者 涂小妹 包晓安 +2 位作者 吴彪 金瑜婷 张庆琪 《计算机科学与探索》 CSCD 北大核心 2023年第12期2984-2998,共15页

针对YOLO系列算法在实际工业应用中存在对目标预测框定位不够准确,难以适用于对定位要求较高的现实场景的问题,提出了三维坐标注意力路径聚合网络的目标检测算法YOLO-T。首先,采用短连接方式对路径聚合特征金字塔的跨层特征进行融合,保... 针对YOLO系列算法在实际工业应用中存在对目标预测框定位不够准确,难以适用于对定位要求较高的现实场景的问题,提出了三维坐标注意力路径聚合网络的目标检测算法YOLO-T。首先,采用短连接方式对路径聚合特征金字塔的跨层特征进行融合,保留其浅层语义信息;其次,基于坐标注意力机制提出了三维坐标注意力(TDCA)模型,利用该模型对路径聚合特征金字塔内的特征进行注意力加权(TPA-FPN),保留有用信息和去除冗余信息;然后,改进了标签分配策略中简单最优传输分配(SimOTA)的损失矩阵计算方法,在保证不损失效率的同时增强了性能;最后,利用Depthwise Separable Conv改进了主干特征提取网络中的卷积模块使模型轻量化。实验结果表明:该算法在PASCAL VOC2007+2012数据集上,检测准确率mAP@0.50比YOLOX-S提高了1.3个百分点,mAP@0.50:0.95提高了3.8个百分点;在COCO2017数据集上平均检测精度mAP@0.50:0.95提高了2.4个百分点。 展开更多

关键词 目标检测 三维坐标注意力(TDCA) 注意力路径聚合特征金字塔(TPA-FPN) YOLOX-S算法 改进SimOTA策略

在线阅读 下载PDF 职称材料

基于注意力和双边滤波的装配体多视角变化检测方法 被引量：1

6

作者 岳耀帅 陈成军 +3 位作者 李东年 官源林 洪军 赵正旭 《机床与液压》 北大核心 2023年第19期39-45,共7页

准确检测机械装配体在装配过程中的变化零部件,对于监测产品的装配顺序、提高装配质量、保障生产安全具有重要的意义。为了能够从多个角度检测机械装配体的变化零部件,提出基于三维注意力和双边滤波的机械装配体图像多视角变化检测网络(... 准确检测机械装配体在装配过程中的变化零部件,对于监测产品的装配顺序、提高装配质量、保障生产安全具有重要的意义。为了能够从多个角度检测机械装配体的变化零部件,提出基于三维注意力和双边滤波的机械装配体图像多视角变化检测网络(TAF Net)。为了提高机械装配体变化检测的准确性,TAF Net网络引入三维注意力机制,增强网络的细节特征提取能力;引入双边滤波,减少变化图像中的噪声,优化变化图像中零部件的边界。建立2个装配体变化检测数据集,分别为合成深度图像数据集、真实彩色图像数据集,使用2个数据集分别进行实验。结果表明:TAF Net网络能够精确检测出图像中的变化区域,在2个数据集中的综合评价指标F1_score都达到96%以上。 展开更多

关键词 装配监测 变化检测 三维注意力 双边滤波 迁移学习

在线阅读 下载PDF 职称材料

基于特征融合与注意力机制的脑肿瘤分割算法 被引量：9

7

作者 褚张晴晴 钟志强 +1 位作者 颜子夜 战荫伟 《计算机工程》 CAS CSCD 北大核心 2023年第10期154-161,共8页

脑肿瘤核磁共振成像(MRI)的准确分割对手术方案的制定和放疗计划具有重要意义。U-Net作为脑肿瘤分割领域应用最广泛的网络,具有较优的性能,但是存在跳跃连接中语义差距较大、MRI图像中跨通道信息利用不足的问题。为对脑肿瘤各区域进行... 脑肿瘤核磁共振成像(MRI)的准确分割对手术方案的制定和放疗计划具有重要意义。U-Net作为脑肿瘤分割领域应用最广泛的网络,具有较优的性能,但是存在跳跃连接中语义差距较大、MRI图像中跨通道信息利用不足的问题。为对脑肿瘤各区域进行准确分割,提出一种基于特征融合与注意力机制的改进U-Net模型FFCA-U-Net。在跳跃连接中设计特征融合模块代替U-Net中的直接拼接操作,以有效融合不同层次、不同尺度的特征信息,减小语义差距并调整感受野,增强网络对肿瘤特征的学习能力。在编码器中引入改进的三维坐标注意力机制,沿MRI图像的3个方向捕获跨通道信息,增强网络对脑肿瘤边界信息的感知能力,获得肿瘤子区域更精确的位置。此外,为快速获得肿瘤的相对位置、减少网络学习冗余,增加的掩码图像与MRI图像一起作为网络输入。在MSD数据集上的实验结果表明,FFCA-U-Net在增强肿瘤区域、非增强肿瘤区域和水肿区域的Dice系数分别为0.803 4、0.628 6和0.799 3,平均Dice为0.743 8,优于TransBTS、UNETR等其他先进网络。 展开更多

关键词 脑肿瘤 U-Net模型 特征融合 三维坐标注意力机制 医学图像分割

在线阅读 下载PDF 职称材料

三维多层次特征协同的无人机遥感目标检测算法 被引量：6

8

作者 吕伏 傅宇恒 +1 位作者 贺丽娜 杨冬鹏 《计算机科学与探索》 CSCD 北大核心 2024年第5期1301-1317,共17页

针对无人机航拍图像小目标占比大和背景复杂的特点,当前目标检测模型存在精度低和小目标漏检等问题。基于YOLOv8s模型,提出了三维多层次特征协同的无人机遥感目标检测算法。首先,在坐标注意力的基础上提出了三维多分支坐标注意力(MBCA)... 针对无人机航拍图像小目标占比大和背景复杂的特点,当前目标检测模型存在精度低和小目标漏检等问题。基于YOLOv8s模型,提出了三维多层次特征协同的无人机遥感目标检测算法。首先,在坐标注意力的基础上提出了三维多分支坐标注意力(MBCA),通过增加通道维度的信息交互和扩展分支的拆分融合,减少空间维度的计算量,提高了模型全局特征提取能力。其次,采用SPD-Conv替换部分标准卷积,在下采样时有效保留更多特征信息并加快推理速度。然后,在C2f模块中采用了更高效的FastDBB_Bottleneck模块,结合PConv与DBB结构重参数化叠加,以进一步降低模型计算量。最终,通过引入PG-Detect检测头,显著减少计算量并有效降低小目标的漏检率。在VisDrone2019数据集上的实验结果显示,该方法的mAP50值达到了44.5%,较YOLOv8s基线模型提升了5.7个百分点。同时,在自建水坝裂缝数据集上,进行裂缝检测验证实验,改进方法的mAP50值相比YOLOv8s提升了3.3个百分点,FPS达到289帧。实验结果表明在复杂场景目标检测中,所提方法提升了检测模型的精度和实时性,具有良好的适应性和鲁棒性。 展开更多

关键词 无人机遥感 三维多分支坐标注意力(MBCA) YOLOv8 多层次特征融合 小目标检测

在线阅读 下载PDF 职称材料

基于多源图像特征学习的无人机视觉定位

9

作者 王东明 王晓春 《传感器与微系统》 北大核心 2025年第10期39-43,共5页

针对无人机在全球导航卫星系统(GNSS)信号受限环境下的定位问题,提出一种基于多源图像特征学习的视觉定位框架。方法上,通过基于三维注意力机制的轻量级孪生神经网络解决无人机图像与卫星图像的异构性问题,采用细胞分裂策略强化位置映... 针对无人机在全球导航卫星系统(GNSS)信号受限环境下的定位问题,提出一种基于多源图像特征学习的视觉定位框架。方法上,通过基于三维注意力机制的轻量级孪生神经网络解决无人机图像与卫星图像的异构性问题,采用细胞分裂策略强化位置映射关系,并建立置信度评价机制提升匹配效率。实验结果表明,该方法在真实数据集上相比传统方法显著提高了定位精度和实时性。结论表明,该框架有效克服了复杂环境下GNSS定位的局限性,为无人机无卫星信号区域提供了可靠的视觉定位解决方案。 展开更多

关键词 无人机 多源图像 特征学习 三维注意力机制 孪生神经网络 细胞分裂策略

在线阅读 下载PDF 职称材料

改进3D-Octave卷积的高光谱图像分类方法

10

作者 郑宗生 王政翰 +3 位作者 王振华 卢鹏 高萌 霍志俊 《自然资源遥感》 CSCD 北大核心 2024年第4期82-91,共10页

高光谱图像数据具有维度高、数据稀疏、空间光谱信息丰富等特点,针对空谱联合分类模型中高光谱图像卷积操作处理大片相同类别像素区域时会存在计算的空间冗余,3D卷积对深层空间纹理特征提取不充分,串行注意力机制结构不能充分考虑空谱... 高光谱图像数据具有维度高、数据稀疏、空间光谱信息丰富等特点,针对空谱联合分类模型中高光谱图像卷积操作处理大片相同类别像素区域时会存在计算的空间冗余,3D卷积对深层空间纹理特征提取不充分,串行注意力机制结构不能充分考虑空谱相关性的问题,该文提出了改进的3D-Octave卷积高光谱图像分类模型。首先改进的3D-Octave卷积模块将输入的高光谱图像数据划分为高频特征图和低频特征图,减少空间信息冗余,提取多尺度的空间光谱特征,结合跨层融合策略,加强对浅层空间纹理特征和光谱特征的提取;随后利用2D卷积提取深层空间纹理特征并进行光谱特征融合;最后使用三维注意力机制跨纬度交互实现对有效特征的关注和激活,增强网络模型的性能和鲁棒性。结果表明,由于充分提取有效空谱联合特征,在印第安松树林(Indian Pines,IP)数据集的训练集比例为10%的条件下,OA,Kappa和AA分别为99.32%,99.13%和99.15%;在帕维亚大学(Pavia University,PU)数据集的训练集比例为3%的条件下,OA,Kappa和AA分别为99.61%,99.44%和99.08%。与5个主流分类模型进行对比,获得了更高的分类精度。 展开更多

关键词 空间冗余 3D-Octave卷积 跨层融合 多尺度 三维注意力机制

在线阅读 下载PDF 职称材料

产品表面缺陷检测的多通路阈值收缩融合网络 被引量：3

11

作者 耿玉标 岳志远 +1 位作者 闫麒名 孙玉宝 《计算机工程与应用》 CSCD 北大核心 2023年第10期162-170,共9页

产品表面缺陷检测任务的重点是对产品表面图像中的异常缺陷区域进行自动检测和分割。然而实际应用中,由于噪声的退化影响和缺陷类型的复杂多样,产品表面缺陷检测仍然是一项具有挑战性的任务。为了应对这些问题,提出了产品表面缺陷检测... 产品表面缺陷检测任务的重点是对产品表面图像中的异常缺陷区域进行自动检测和分割。然而实际应用中,由于噪声的退化影响和缺陷类型的复杂多样,产品表面缺陷检测仍然是一项具有挑战性的任务。为了应对这些问题,提出了产品表面缺陷检测的多通路阈值收缩融合网络。在各尺度通路中,为了降低噪声干扰,该网络设计了自适应阈值收缩去噪模块,通过双支路自主学习水平和垂直方向的收缩阈值,去除特征中的干扰噪声并且保留有效背景信息,从而实现自适应去噪。为了更准确定位缺陷对象,设计了上下文三维注意力融合模块,通过水平聚合和垂直聚合生成三维注意力图,增强异常区域特征。最终将平行的多尺度特征融合,实现对不同尺度以及不同类型缺陷的有效检测。将所构建模型在SD-900和MVTec-AD数据集上与最新的8种方法进行比较,实验结果表明该模型能够有效提升检测精度,并能够对噪声干扰保持鲁棒性,消融实验也验证了自适应阈值收缩去噪模块和上下文三维注意力模块融合的有效性。 展开更多

关键词 缺陷检测 多尺度融合网络 自适应阈值去噪 上下文三维注意力

在线阅读 下载PDF 职称材料