复杂场景下自适应注意力机制融合实时语义分割

1

作者 陈丹 刘乐 +2 位作者 王晨昊 白熙茹 王子晨 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第8期3334-3342,共9页

实现高准确度和低计算负担是卷积神经网络(CNN)实时语义分割面临的严峻挑战。针对复杂城市街道场景目标种类众多、光照变化大等特点,该文设计了一种高效的实时语义分割自适应注意力机制融合网络(AAFNet)分别提取图像空间细节和语义信息... 实现高准确度和低计算负担是卷积神经网络(CNN)实时语义分割面临的严峻挑战。针对复杂城市街道场景目标种类众多、光照变化大等特点,该文设计了一种高效的实时语义分割自适应注意力机制融合网络(AAFNet)分别提取图像空间细节和语义信息,再经过特征融合网络(FFN)获得准确语义图像。AAFNet采用扩展的深度可分离卷积(DDW)可增大语义特征提取感受野,提出自适应平均池化(Avp)和自适应最大池化(Amp)构成自适应注意力机制融合模块(AAFM),可细化目标边缘分割效果并降低小目标的漏分率。最后在复杂城市街道场景Cityscapes和CamVid数据集上分别进行了语义分割实验,所设计的AAFNet以32帧/s(Cityscapes)和52帧/s(CamVid)的推理速度获得73.0%和69.8%的平均分割精度(mIoU),且与扩展的空间注意力网络(DSANet)、多尺度上下文融合网络(MSCFNet)以及轻量级双边非对称残差网络(LBARNet)相比,AAFNet平均分割精度最高。 展开更多

关键词 卷积神经网络 复杂城市街道场景 扩展的深度可分离卷积 自适应注意力机制融合 分割精度

在线阅读 下载PDF 职称材料

多层注意力机制融合的序列到序列中国连续手语识别和翻译 被引量：4

2

作者 周乐员 张剑华 +1 位作者 袁甜甜 陈胜勇 《计算机科学》 CSCD 北大核心 2022年第9期155-161,共7页

使计算机能够理解手语者的表达一直是一项极具挑战性的任务,不仅需要考虑手语视频的时间和空间信息,同时还要考虑手语语法的复杂性。在连续手语识别任务中,手语词汇和手语动作共享一致的顺序;而在连续手语翻译任务中,生成的自然语言句... 使计算机能够理解手语者的表达一直是一项极具挑战性的任务,不仅需要考虑手语视频的时间和空间信息,同时还要考虑手语语法的复杂性。在连续手语识别任务中,手语词汇和手语动作共享一致的顺序;而在连续手语翻译任务中,生成的自然语言句子应符合口语化描述,词汇顺序和动作顺序可能不一致。为了能够更加准确地学习手语者的表达,提出了一个新颖的能同时进行手语识别和翻译的深度神经网络。该方案探讨了不同的经典预训练卷积神经网络和不同的多层时序注意力分值函数在连续手语识别上的效果,网络将手语视频高级抽象特征和低级时序语义组合在多层时间注意力融合模块中,形成更全面的序列注意力融合特征,从而从连续手语视频中更准确地生成gloss句子。结合Transformer语言模型将手语识别gloss句子转换为符合手语翻译的连续自然语言句子。首先,该方法在第一个大规模的复杂背景的中国连续手语识别和翻译数据集Tslrt上进行评估。利用Tslrt数据集中手语者复杂的背景环境和丰富的动作表达来训练所提神经网络模型,通过不同的对比实验得到了一系列的基准结果。在连续手语识别和翻译的任务上,效果最好的词错误率分别达到了4.8%和5.1%。为了进一步证明所提方法的有效性,在另一个公开的中国连续手语识别数据集Chinese-CSL也进行了验证,并和其他13种公开方法进行了比较,结果表明,所提方法的词错误率达到了最好的识别效果,为1.8%,证明了该方法的有效性。 展开更多

关键词 连续手语识别和翻译 视频理解 序列模型 注意力机制融合 卷积神经网络

在线阅读 下载PDF 职称材料

基于Swin-Transformer和时空融合注意力机制的ENSO预测

3

作者 张霄智 方巍 王淏西 《海洋学报》 CSCD 北大核心 2024年第12期111-121,共11页

厄尔尼诺-南方涛动预测是气候变化研究的热点问题之一。本文将Swin-Transformer模型与时空融合注意力机制相结合,采用1850-2014年CMIP6多模式模拟历史数据、1871-1979年SODA同化数据和1980-2023年GODAS同化数据,构建厄尔尼诺-南方涛动... 厄尔尼诺-南方涛动预测是气候变化研究的热点问题之一。本文将Swin-Transformer模型与时空融合注意力机制相结合,采用1850-2014年CMIP6多模式模拟历史数据、1871-1979年SODA同化数据和1980-2023年GODAS同化数据,构建厄尔尼诺-南方涛动预测模型,即ENSO-STformer。该模型通过在CMIP6和SODA数据集上进行充分的训练,并在GODAS数据上进行评估,结果表明:本文模型在提前11个月的Ni?o3.4指数相关技巧的平均值上分别比CanCM4、CCSM3、GFDLaer04动力预报系统高出5.1%、21.6%和12.4%,同时,在中长期的Ni?o3.4指数相关技巧上显著优于其他深度学习模型,并可以进行长达24个月的有效ENSO预测,此外,在对2015-2016年厄尔尼诺事件模拟中表现出较强的应对春季预报障碍能力。 展开更多

关键词 深度学习 ENSO预测 时空融合注意力机制 卷积神经网络 Ni?o3.4指数

在线阅读 下载PDF 职称材料

基于融合注意力机制的苹果品种分类方法 被引量：11

4

作者 耿磊 黄亚龙 郭永敏 《农业机械学报》 EI CAS CSCD 北大核心 2022年第6期304-310,369,共8页

不同品种苹果之间往往存在较大的价格差异,为了防止从采购到销售过程中因苹果品种分类不当产生经济损失,提出了一种基于融合注意力机制的自动识别和分类模型EBmNet(针对苹果类型)。该模型通过融合通道注意力和空间注意力机制充分提取了... 不同品种苹果之间往往存在较大的价格差异,为了防止从采购到销售过程中因苹果品种分类不当产生经济损失,提出了一种基于融合注意力机制的自动识别和分类模型EBmNet(针对苹果类型)。该模型通过融合通道注意力和空间注意力机制充分提取了苹果表面的形状轮廓特征和颜色纹理特征,从而进一步增加苹果类型之间的特征距离。同时,从特征图和类别概率统计图2方面证明了EBmNet在苹果品种分类方法上的有效性。实验结果表明,EBmNet网络模型在红富士、乔纳金、秦冠、小国光、金冠、澳洲青苹、嘎啦上的分类准确率分别为96.25%、96.25%、100%、92.50%、98.75%、100%和93.75%,7种苹果类型的总体分类准确率高达96.78%。因此,将视觉图像与深度学习相结合对苹果品种进行分类和识别是可行的,为苹果品种的实时检测提供了一种新的方法。 展开更多

关键词 苹果 品种分类 融合注意力机制 卷积神经网络 特征提取

在线阅读 下载PDF 职称材料

基于时空融合的多头注意力车辆轨迹预测 被引量：7

5

作者 宋秀兰 董兆航 +1 位作者 单杭冠 陆炜杰 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2023年第8期1636-1643,共8页

针对时空维度特征影响自动驾驶车辆轨迹精度的问题,提出基于时空融合的多头注意力(TSMHA)车辆轨迹预测模型,对于空间与时间2个维度的特征信息,分别使用多头注意力机制提取车辆空间交互感知与时间运动模式.为了获得互补特征,并除去特征... 针对时空维度特征影响自动驾驶车辆轨迹精度的问题,提出基于时空融合的多头注意力(TSMHA)车辆轨迹预测模型,对于空间与时间2个维度的特征信息,分别使用多头注意力机制提取车辆空间交互感知与时间运动模式.为了获得互补特征,并除去特征数据中的冗余,将处理后的时空特征信息传输至门控特征融合模型进行特征融合.使用基于长短期记忆(LSTM)的编解码器结构,考虑编码与解码2个过程中轨迹之间潜在的相互作用,循环生成目标车辆未来预测轨迹.在训练过程中使用L2损失函数,以此降低预测轨迹与真实轨迹的差值.实验表明,与对比算法模型相比,在直线高速公路、城市十字路口、环岛场景下,本研究所提出的模型的精度分别提高了3.95%、15.64%、31.40%. 展开更多

关键词 车辆智能决策 轨迹预测 时空融合注意力机制 多目标车辆 神经网络

在线阅读 下载PDF 职称材料

基于融合注意力和任务解耦的路面裂缝检测 被引量：4

6

作者 景峰 刘晓捷 +1 位作者 刘军 张兴忠 《计算机工程与设计》 北大核心 2023年第5期1565-1571,共7页

针对路面裂缝自动化检测中存在裂缝漏检和定位不准的问题,提出一种路面裂缝实时检测模型CrackNet。基于YOLOv5结构设计,在特征融合网络插入融合注意力模块,重点关注特定通道和空间位置裂缝信息,有效解决部分裂缝漏检问题;在多尺度预测... 针对路面裂缝自动化检测中存在裂缝漏检和定位不准的问题,提出一种路面裂缝实时检测模型CrackNet。基于YOLOv5结构设计,在特征融合网络插入融合注意力模块,重点关注特定通道和空间位置裂缝信息,有效解决部分裂缝漏检问题;在多尺度预测阶段引入任务空间分离头模块,利用分治策略将分类和回归任务解耦,模型优化方向更加自由。实验结果表明,该方法mAP为71%,速度为42 FPS,优于基准模型,有效改善了裂缝漏检和定位不准的问题。 展开更多

关键词 路面裂缝检测 深度学习 裂缝网络 融合注意力机制 离散余弦变换 任务空间解耦 实时

在线阅读 下载PDF 职称材料

采用标签组合与融合注意力的多标签文本分类 被引量：1

7

作者 邬鑫珂 孙俊 李志华 《计算机工程与应用》 CSCD 北大核心 2023年第6期125-133,共9页

传统的多标签文本分类算法在挖掘标签的关联信息和提取文本与标签之间的判别信息过程中存在不足,由此提出一种基于标签组合的预训练模型与多粒度融合注意力的多标签文本分类算法。通过标签组合的预训练模型训练得到具有标签关联性的文... 传统的多标签文本分类算法在挖掘标签的关联信息和提取文本与标签之间的判别信息过程中存在不足,由此提出一种基于标签组合的预训练模型与多粒度融合注意力的多标签文本分类算法。通过标签组合的预训练模型训练得到具有标签关联性的文本编码器,使用门控融合策略融合预训练语言模型和词向量得到词嵌入表示,送入预训练编码器中生成基于标签语义的文本表征。通过自注意力和多层空洞卷积增强的标签注意力分别得到全局信息和细粒度语义信息,自适应融合后输入到多层感知机进行多标签预测。在特定威胁识别数据集和两个通用多标签文本分类数据集上的实验结果表明,提出的方法在能够有效捕捉标签与文本之间的关联信息,并在F1值、汉明损失和召回率上均取得了明显提升。 展开更多

关键词 多标签文本分类 融合注意力机制 空洞卷积

在线阅读 下载PDF 职称材料

基于注意力与多尺度特征遥感图像建筑物分割 被引量：3

8

作者 刘艳 刘全德 《计算机工程与设计》 北大核心 2022年第12期3475-3482,共8页

为解决图像分割中的边界粘连、小目标分割问题,提出一种遥感图像语义分割模型FAME-Net。在编码器中用ResNet33取代卷积网络,融合空间和通道注意力机制,提高深层次特征和小型建筑物特征提取能力;在中间增设改进的金字塔模块C-ASPP,卷积... 为解决图像分割中的边界粘连、小目标分割问题,提出一种遥感图像语义分割模型FAME-Net。在编码器中用ResNet33取代卷积网络,融合空间和通道注意力机制,提高深层次特征和小型建筑物特征提取能力;在中间增设改进的金字塔模块C-ASPP,卷积核锚点引入拉普拉斯算子,增强中心点局部特征,提高建筑物轮廓描述能力;在解码器中融合多尺度特征,设计平均损失函数,有效利用多尺度信息。采用Inria数据集进行性能测试,其结果表明,FAME-Net模型mIoU比U-Net、Link-Net、D-LinkNet、U-Net++模型分别高出8.94%、5.78%、2.47%和2.12%,小目标和边界粘连分割性能优势明显。 展开更多

关键词 遥感图像 语义分割 特征增强 注意力机制融合 拉普拉斯算子 多尺度特征融合 平均损失

在线阅读 下载PDF 职称材料

基于细节增强的多能DR图像融合网络 被引量：1

9

作者 刘祎 刘宇航 +1 位作者 颜溶標 桂志国 《电子科技大学学报》 EI CAS CSCD 北大核心 2023年第3期379-389,共11页

针对单能X射线无法对复杂工件各部位同时曝光成像的问题,提出一种基于细节增强的多能DR融合网络-双编码巢式连接融合网络。该网络以Inception模块作为基础卷积层,在双编码器的辅支路设计了可训练的LOG卷积模块,用来提取多尺度边缘特征,... 针对单能X射线无法对复杂工件各部位同时曝光成像的问题,提出一种基于细节增强的多能DR融合网络-双编码巢式连接融合网络。该网络以Inception模块作为基础卷积层,在双编码器的辅支路设计了可训练的LOG卷积模块,用来提取多尺度边缘特征,并将其补充到主支路以增强全局特征。在训练阶段,提出一种基于图像块的局部能量一致性损失函数,以减少输入、输出的局部性误差。融合时,采用通道和空间注意力机制作为融合策略,对双编码提取的多尺度增强特征进行融合,并将融合后的多尺度特征输入嵌套连接的解码器进行重构。结果表明,该融合网络具有细节增强效果,能够完整清晰地再现复杂工件的内部结构及缺陷。 展开更多

关键词 注意力机制融合策略 复杂工件 DR图像融合 Inception模块 LOG卷积模块 巢式连接

在线阅读 下载PDF 职称材料

基于多特征交叉融合及跨层级联的航拍目标检测算法 被引量：4

10

作者 高武奇 杨婷 李亮亮 《西北工业大学学报》 EI CAS CSCD 北大核心 2023年第6期1179-1189,共11页

复杂条件下特殊目标的精确检测是增强特定场景态势生成和预测能力的关键因素。目前的技术不能克服航拍视频中出现的烟雾和遮挡干扰、目标高度变化、尺度不一等问题。因此,提出一个多特征交叉融合及跨层级联的航拍特殊目标检测算法(YOLOv... 复杂条件下特殊目标的精确检测是增强特定场景态势生成和预测能力的关键因素。目前的技术不能克服航拍视频中出现的烟雾和遮挡干扰、目标高度变化、尺度不一等问题。因此,提出一个多特征交叉融合及跨层级联的航拍特殊目标检测算法(YOLOv5-MFLC)。针对实际特殊目标保密性高、航拍图像资源匮乏的问题,构建了一个基于真实场景的航拍特殊目标数据集,并采用随机拼接和随机提取嵌入的方法进行数据增强以提高目标多样性和泛化性;针对复杂背景干扰问题,构建了多特征交叉融合注意力机制,增强了目标特征的可用信息;针对航拍图像中目标多尺度问题,设计了跨层级联多尺度特征融合金字塔,提高了跨尺度目标的检测准确率。实验结果表明,与现有的先进检测模型相比,所提算法的检测准确率有较大提升,算法平均准确率可达到81.0%,相比于原始网络提升了5.2%,特别是,在更小的目标类别“person”中达到了55.9%,提升了9.4%,进一步表明了所提改进算法对小目标检测的有用性。同时,所提算法的检测速率可以达56 frame/s,能够有效地实现实际复杂场景特殊目标的准确、快速检测,对特殊目标的识别具有一定的指导意义。 展开更多

关键词 航拍图像 目标检测 YOLOv5 融合注意力机制 多尺度特征金字塔

在线阅读 下载PDF 职称材料

基于改进Swin Transformer的遥感图像语义分割方法 被引量：4

11

作者 王一中 胡亚琦 +2 位作者 吴小所 闫浩文 王小成 《计算机工程与应用》 CSCD 北大核心 2024年第11期194-203,共10页

在高分辨率的遥感图像中提取出准确的地物信息对城市规划以及土地资源利用有重要作用。然而,遥感图像具有目标物体之间尺度差异大,背景复杂等特点,易导致提取结果不准确,特别是对小尺度地物的提取精度较低。为了解决这些问题,提出一种... 在高分辨率的遥感图像中提取出准确的地物信息对城市规划以及土地资源利用有重要作用。然而,遥感图像具有目标物体之间尺度差异大,背景复杂等特点,易导致提取结果不准确,特别是对小尺度地物的提取精度较低。为了解决这些问题,提出一种新型双编码结构,充分获取全局语义信息以及空间细节信息,分阶段融合不同尺度的特征信息,增强特征表示能力。构造了特征加强模块(FEM),以减少下采样中细节信息的丢失,关注更多小尺度特征。为了更好地细化特征信息,融合了通道注意力和内核注意力后进行上采样,能够将局部特征与对应的全局空间依赖关系整合,提升目标物体的分割精度。在Potsdam数据集和Vaihingen数据集上的mIoU分别为86.1%和82.4%,与流行的语义分割模型进行对比分析,结果表明,该方法能够有效解决遥感图像中小尺度物体分割不准确的问题,适合处理遥感图像语义分割任务。 展开更多

关键词 语义分割 双编码结构 特征加强 融合注意力机制 小尺度地物

在线阅读 下载PDF 职称材料

基于YOLOv9-B模型的港口船舶红外检测方法 被引量：1

12

作者 曹子玉 张文宇 +2 位作者 闫磊 王云坤 李鑫滨 《燕山大学学报》 CAS 北大核心 2024年第6期528-536,共9页

为了进一步提高港口作业安全与智能化水平,本文针对海上复杂环境下的在港船舶智能检测方法进行研究。主要考虑客观环境引起的成像模糊及拍摄角度不同导致的船舶目标较小等因素造成的检测不准确问题,提出了一种基于YOLOv9-B的高精度红外... 为了进一步提高港口作业安全与智能化水平,本文针对海上复杂环境下的在港船舶智能检测方法进行研究。主要考虑客观环境引起的成像模糊及拍摄角度不同导致的船舶目标较小等因素造成的检测不准确问题,提出了一种基于YOLOv9-B的高精度红外船舶检测模型。首先,设计一种多尺度空间注意力机制,采用多个空洞卷积取代原本空间注意力中的普通卷积,扩大感受野捕获更多全局信息。然后,设计一种分支融合注意力机制,通过引入便捷通道注意力和多尺度空间注意力机制来增强小目标和模糊目标关注度,减少特征融合过程中的目标信息损失。最后,将YOLOv9中RepNCSPELAN4模块替换为C2f模块,加强特征提取能力,提高模型检测准确度。在红外船舶数据集和本文自建数据集进行消融实验,结果显示,相较于YOLOv9模型,本文模型在mAP上分别提升了1.6%和1.9%,检测速度分别提升了3.2和1.2 fps。同时,对比实验表明,相较于其他主流模型,本文模型更具优越性。 展开更多

关键词 YOLOv9-B 红外船舶检测 多尺度空间注意力机制 分支融合注意力机制

在线阅读 下载PDF 职称材料

复杂运动场景下的多人姿态估计研究

13

作者 柳长源 臧彦丞 兰朝凤 《电子科技大学学报》 EI CAS CSCD 北大核心 2024年第6期930-939,共10页

针对运动场景中运动员之间的相互遮挡、自身部位遮挡、运动器械遮挡及复杂背景干扰问题,提出一种高分辨特征生成复原网络,引入融合注意力机制筛选有用特征信息通道,加入反卷积和多尺度特征融合模块分层处理小目标人像与大中型目标人像... 针对运动场景中运动员之间的相互遮挡、自身部位遮挡、运动器械遮挡及复杂背景干扰问题,提出一种高分辨特征生成复原网络,引入融合注意力机制筛选有用特征信息通道,加入反卷积和多尺度特征融合模块分层处理小目标人像与大中型目标人像的姿态估计任务。设计生成对抗模块,对缺失部分进行补全和预测得到关节点热图,经过姿态骨架和最优匹配算法确定出关节点连接方式,并输出可视化姿态估计结果。在MSCOCO和Crowd Pose数据集上的实验结果表明该姿态估计方法在复杂运动场景下效果更优。 展开更多

关键词 人体姿态估计 深度学习 复杂运动场景 融合注意力机制 生成对抗网络

在线阅读 下载PDF 职称材料

基于改进YOLOv7的输电线路绝缘子识别检测研究 被引量：4

14

作者 王伯涛 周福强 +1 位作者 吴国新 王少红 《电子测量技术》 北大核心 2023年第23期127-134,共8页

针对绝缘子目标尺寸小导致检测精度低、误检漏检率高的问题,提出一种基于YOLOv7改进的输电线路绝缘子检测模型。首先,将双支路融合通道注意力机制与主干部分的ELAN模块进行融合,强调重要的通道信息,抑制噪声等无用信息的干扰;其次,在特... 针对绝缘子目标尺寸小导致检测精度低、误检漏检率高的问题,提出一种基于YOLOv7改进的输电线路绝缘子检测模型。首先,将双支路融合通道注意力机制与主干部分的ELAN模块进行融合,强调重要的通道信息,抑制噪声等无用信息的干扰;其次,在特征融合部分加入局部自注意力机制,使得局部微小区域局部关注度增强;同时,在Neck部分融入BiFPN跨层连接,在增加部分计算量的同时,使得边缘信息得到更好的保留,更利于小目标的检测;最后,以精确度、召回率、平均精度均值等作为评价指标,对采集的数据集进行了消融实验和对比实验。实验结果表明,改进后的网络模型对输电线路绝缘子检测精度为92.1%,相比于传统的YOLOv7网络模型提高3%,并且其平均检测均值、召回率分别提高3.1%、3.6%;同时,改进的模型在各个评估指标上相比YOLOv5-ECA和Faster-R-CNN等均有显著优势,针对输电线路绝缘子检测具有良好效果。 展开更多

关键词 输电线路绝缘子 YOLOv7 双支路融合通道注意力机制 局部自注意力机制 BiFPN

在线阅读 下载PDF 职称材料