基于多注意力机制与跨特征融合的语义分割算法

1

作者 闵莉 董冰洁 安冬 《计算机工程》 CAS CSCD 北大核心 2024年第8期282-289,共8页

图像语义分割技术在缺陷检测、医疗诊断、无人驾驶等领域广泛应用。针对现有语义分割模型普遍存在训练成本过高、目标轮廓分割效果不佳以及对小目标误分割、漏分割等问题,基于DeepLabv3+网络框架,提出多注意力机制与跨特征融合相结合的... 图像语义分割技术在缺陷检测、医疗诊断、无人驾驶等领域广泛应用。针对现有语义分割模型普遍存在训练成本过高、目标轮廓分割效果不佳以及对小目标误分割、漏分割等问题,基于DeepLabv3+网络框架,提出多注意力机制与跨特征融合相结合的图像语义分割算法。该算法选取轻量级网络MobileNetv2作为主干,以缩短训练时间;通过优化空洞空间金字塔池化模块中空洞卷积的膨胀率,改善多尺度语义特征的提取效果,提高模型对小目标的分割能力,并将兼具通道与空间的卷积块注意力机制引入其中,更加关注对分割起决定作用的区域,从而加强对目标边界的提取;在编码器中设计跨特征融合模块,以聚合不同层次特征图的空间信息和语义信息,提高网络学习特征的能力;在编码和解码部分均引入坐标注意力机制,以分解全局平均池化的方式将位置信息嵌入到通道中,从而得到分割目标的准确位置。实验结果表明,所提算法F3crc-DeepLabv3+在PASCAL VOC 2012增强数据集和Cityspaces数据集上的平均交并比分别达到了75.06%和73.06%,平均精度分别达到了84.16%和82.05%,精确率分别达到了86.18%和85.43%,训练时间分别为10 h和13.8 h,具有较优的网络性能。 展开更多

关键词 语义分割 DeepLabv3+网络 MobileNetv2网络 坐标注意力 卷积块注意力模块 跨特征融合

在线阅读 下载PDF 职称材料

时序信息引导跨视角特征融合的多无人机多目标跟踪方法

2

作者 伍瀚 孙浩 +1 位作者 计科峰 匡纲要 《电子学报》 北大核心 2025年第3期728-743,共16页

多无人机多目标跟踪旨在从多架无人机同时捕获的视频中预测所有目标的轨迹和身份标识,以解决单个无人机视频受遮挡和杂乱背景等干扰时跟踪性能衰退的问题.然而,不同无人机捕获的图像视角和尺度差异通常较大,导致对齐和融合不同无人机图... 多无人机多目标跟踪旨在从多架无人机同时捕获的视频中预测所有目标的轨迹和身份标识,以解决单个无人机视频受遮挡和杂乱背景等干扰时跟踪性能衰退的问题.然而,不同无人机捕获的图像视角和尺度差异通常较大,导致对齐和融合不同无人机图像特征困难.针对该问题,本文提出一种通过时序信息引导跨视角特征融合的跟踪算法——TCFNet.该算法首先设计一种目标感知的对齐网络(Object-aware Alignment Network,OAN),利用跟踪过程中的目标轨迹先验估计先前时刻不同视角无人机视频帧间的转换关系.其次,构建一种时序感知的对齐网络(Temporal-aware Alignment Network,TAN),探索前后时刻同一架无人机捕获图像的信息对不同视角图像的转换关系进行精调.最后,基于OAN和TAN估计的不同无人机图像间的转换关系,设计一个跨机特征融合网络(Cross-drone Feature Fusion Network,CFFN)对不同无人机捕获的视觉信息进行融合,解决复杂场景下模型跟踪性能衰退的问题.在MDMT数据集上的实验结果表明,所提出的TCFNet相比其他主流的跟踪方法更具竞争力,在跟踪准确率、识别F1值和多机目标关联分数上超出当前的先进算法2.23、1.67和2.15个百分点. 展开更多

关键词 多无人机多目标跟踪 时序信息 轨迹先验 跨视角特征融合 准确跟踪

在线阅读 下载PDF 职称材料

基于注意力机制和跨模态层级特征融合的群养肉牛个体质量估测

3

作者 宋平 杨颖 +3 位作者 刘刚 姚冲 李子若 毛天赐 《农业工程学报》 北大核心 2025年第10期221-231,共11页

为解决群养场景下肉牛个体质量称量复杂、精度低的问题,该研究提出了基于注意力机制和跨模态层级特征融合模型CMHFF-ResNet(cross-modal hierarchical feature fusion resnet)。首先,无接触式地采集俯视视角下日常活动的肉牛的RGB(red-g... 为解决群养场景下肉牛个体质量称量复杂、精度低的问题,该研究提出了基于注意力机制和跨模态层级特征融合模型CMHFF-ResNet(cross-modal hierarchical feature fusion resnet)。首先,无接触式地采集俯视视角下日常活动的肉牛的RGB(red-green-blue)图像与深度图像,使用引入定向边界框OBB(oriented bounding box)的YOLOv8网络对肉牛进行旋转目标检测和识别,精准定位群养场景中的个体目标;其次,以ResNet50为骨干网络构建双流估重模型,分别提取RGB和深度模态特征,并引入CBAM(convolutional block attention module)注意力机制以增强关键特征表达能力。设计跨模态的层级特征融合,有效结合RGB流和深度流的特征并充分利用浅层特征;第三,引入肉牛的身份信息便于网络学习肉牛身份与其体质量之间的对应关系,为优化模型效率,将全连接层替换为KAN(kolmogorov-arnold networks),显著减少参数量;最后,将双流的输出结果融合,回归肉牛体质量值。在试验中,构建了包含2546对RGB-D图像的数据集,包括2373对训练数据和173对验证数据。结果表明,CMHFF-ResNet在验证集上的平均绝对误差为14.19 kg。与基于RGB和深度的单流模型相比,双流模型在平均绝对误差上分别降低16.943%和26.133%。同时,该方法优于其他现有肉牛体质量估测方法:与多元线性回归、改进MobileNetv2模型、改进DenseNet201模型和改进跨模态特征融合模型CFF-ResNet相比,在平均绝对误差上分别减少57.233%、34.699%、24.761%和20.991%,提升了群养环境下肉牛个体质量估测的精度与泛化性,能够有效地学习跨模态的层级特征表示。该研究为大规模群养环境中肉牛个体质量的高精度估测提供了参考。 展开更多

关键词 模型 计算机视觉 目标检测 体质量估测 注意力机制 跨模态层级特征融合 双流网络

在线阅读 下载PDF 职称材料

跨维度特征融合视角下的科技论文新颖性测量方法研究

4

作者 马铭 郑哲浚 +2 位作者 毛进 白云 李纲 《情报学报》 北大核心 2025年第3期339-352,共14页

准确评估科技论文的内在新颖性,对追踪学术前沿和实现高质量科研创新评价具有重要意义。本文基于科技论文的知识内容和学术交流结构,创新性地提出一种跨维度特征融合视角下的科技论文新颖性测量新方法,以全面、客观地评估科技论文的新... 准确评估科技论文的内在新颖性,对追踪学术前沿和实现高质量科研创新评价具有重要意义。本文基于科技论文的知识内容和学术交流结构,创新性地提出一种跨维度特征融合视角下的科技论文新颖性测量新方法,以全面、客观地评估科技论文的新颖性。首先,基于“问题-方法”组合,构建科技论文的结构化知识表示模型,并利用领域预训练语言模型为组合赋权;其次,考虑知识内容和学术交流结构,围绕原创性、复杂性和研究热度等事前特征,构建科技论文新颖性的跨维度综合测量指标;最后,通过对生物医学领域数据集的实证分析以及新颖性论文的事后影响力检验,证明了本文方法的有效性。实证分析结果表明,本文方法不受时间和环境因素干扰,能够在长时间跨度内保持方法效力并有效挖掘领域论文的新颖性模式。此外,与单一维度方法的对比证明了新方法能够更好地综合捕捉多维复合特征评估新颖性论文,避免了测量维度的单一化与片面化。本文为科技论文新颖性测度提供了新的视角和方法,同时可作为科研工作者识别和推广创新性研究的有效工具。 展开更多

关键词 新颖性测量 跨维度特征融合 “问题-方法”组合 事前特征 事后影响力

在线阅读 下载PDF 职称材料

考虑跨层特征融合的抛洒风险车辆检测方法

5

作者 何永福 谢世维 +1 位作者 于佳禄 陈思宇 《浙江大学学报(工学版)》 北大核心 2025年第2期300-309,共10页

面对货运车辆抛洒风险检测的难题,针对现有方法存在的抛洒风险关键特征提取能力不足、特征跨层融合不充分的问题,提出面向货运车辆的抛洒风险检测方法(SRVDNet).骨干网络引入大核可选择性感受野机制,增强网络对货运车辆抛洒风险特征的... 面对货运车辆抛洒风险检测的难题,针对现有方法存在的抛洒风险关键特征提取能力不足、特征跨层融合不充分的问题,提出面向货运车辆的抛洒风险检测方法(SRVDNet).骨干网络引入大核可选择性感受野机制,增强网络对货运车辆抛洒风险特征的学习能力.颈部网络引入聚集-分发特征融合机制,实现特征跨层融合,为检测头提供丰富的车厢类型、篷布边缘细节纹理、货物轮廓形状等信息.采用真实的高速公路货运车辆数据集,验证所提方法的效果.实验结果表明,SRVDNet表现出更优的性能,检测精度达到81.5%,与YOLOv5、 YOLOv6、YOLOv8、RT-DETR、PP-YOLOE、YOLOv9等车辆检测SOTA方法相比,mAP@0.5分别提升了3.70%、3.09%、2.86%、1.37%、1.41%、2.00%,且模型参数量相对较小,检测速度较高,有效提升了在货物装载不规则、少量货物和满载货物等场景下的抛洒风险识别能力,有助于抛洒物的源头治理,增强高速公路安全风险的识别预警能力. 展开更多

关键词 智能交通 抛洒风险检测 目标检测 车辆检测 跨层特征融合

在线阅读 下载PDF 职称材料

跨通道细粒度特征融合的矿石图像分类算法

6

作者 高云霏 吕伏 冯永安 《计算机工程与应用》 北大核心 2025年第10期214-227,共14页

为解决深度学习算法在处理细粒度纹理特征的矿石图像时准确率低、计算资源需求大且难以在移动端部署的问题,提出一种跨通道细粒度特征融合的轻量级矿石图像分类算法。通过交替使用CNN与Transformer构建混合网络,以有效提取图像局部与全... 为解决深度学习算法在处理细粒度纹理特征的矿石图像时准确率低、计算资源需求大且难以在移动端部署的问题,提出一种跨通道细粒度特征融合的轻量级矿石图像分类算法。通过交替使用CNN与Transformer构建混合网络,以有效提取图像局部与全局信息;引入跨通道细粒度特征融合模块作为特征融合器,采用通道分组和随机通道混洗的融合策略,增强矿石纹理信息的获取能力和保持细粒度特征的多样性;利用多尺度轻量化自注意力模块降低模型参数,增强对不同尺度和空间位置的感知,确保训练的稳定性并避免过度拟合低级特征;构建高效坐标注意力模块作为细粒度特征提取器,实现轻量化和高效率的特征提取。所提算法在Kaggle平台的Mineral Photos和Petrology Thin Section Data两个公开矿石图像数据集上分别取得了95.78%和94.77%的分类准确率,相较于其他9种轻量级分类网络,如ShuffleNetV2、MobileNetV3、RegNet、ConvNeXtV2、LeViT、EdgeViTs、AFFNeT、EdgeNeXt和MViTV2,所提算法具有更少的参数(1.27 MB)、更低的计算量(269 MFLOPs)和更快的分类速度(219 FPS)。 展开更多

关键词 矿石图像分类 卷积神经网络(CNN) TRANSFORMER 跨通道特征融合 注意力机制

在线阅读 下载PDF 职称材料

多模态特征融合的RGB-T目标跟踪网络

7

作者 金静 刘建琴 翟凤文 《光学精密工程》 北大核心 2025年第12期1940-1954,共15页

近年来,RGB-T跟踪方法因可见光与热红外图像的互补特性而在视觉跟踪领域得到广泛应用。然而,现有方法在模态互补信息利用方面仍存在局限,特别是基于Transformer的算法缺乏模态间的直接交互,难以充分挖掘RGB和TIR模态的语义信息。针对这... 近年来,RGB-T跟踪方法因可见光与热红外图像的互补特性而在视觉跟踪领域得到广泛应用。然而,现有方法在模态互补信息利用方面仍存在局限,特别是基于Transformer的算法缺乏模态间的直接交互,难以充分挖掘RGB和TIR模态的语义信息。针对这些问题,提出了一种多模态特征融合的RGB-T目标跟踪网络(Multi-Modal Feature Fusion Tracking Network for RGB-T,MMFFTN)。该网络首先在骨干网络提取初步特征后,引入通道特征融合模块(Channel Feature Fusion Module,CFFM),实现RGB和TIR通道特征的直接交互与融合。其次,针对RGB和TIR模态差异可能导致的融合效果不理想问题,设计了跨模态特征融合模块(Cross-Modal Feature Fusion Module,CMFM),通过自适应融合策略进一步融合RGB和TIR的全局特征,以提升跟踪的准确性。对本文提出的跟踪模型在GTOT,RGBT234和LasHeR三个数据集上进行了详细的实验评估。实验结果表明,与当前先进的基于Transformer的跟踪器ViPT相比,MMFFTN在成功率(Success Rate)和精确率(Precision Rate)上分别提升了3.0%和4.7%;与基于Transformer的跟踪器SDSTrack相比,成功率和精确率分别提升了2.4%和3.3%。 展开更多

关键词 RGB-T目标跟踪 TRANSFORMER 通道特征融合 跨模态特征融合

在线阅读 下载PDF 职称材料

DCFF-Net:基于人体骨骼点的双流跨级特征融合动作识别网络 被引量：2

8

作者 余翔 连世龙 《现代电子技术》 北大核心 2024年第23期81-88,共8页

在基于骨骼的动作识别任务中,骨骼点特征对于动作识别来说至关重要。针对现有方法存在输入特征不足、特征融合策略粗糙、参数量大等问题,提出一种基于人体骨骼点的双流跨级特征融合网络。首先,针对特征输入,用欧氏距离骨架特征(EDSF)和... 在基于骨骼的动作识别任务中,骨骼点特征对于动作识别来说至关重要。针对现有方法存在输入特征不足、特征融合策略粗糙、参数量大等问题,提出一种基于人体骨骼点的双流跨级特征融合网络。首先,针对特征输入,用欧氏距离骨架特征(EDSF)和余弦角度骨架特征(CASF)两种局部关节特征来表征人体骨骼序列,帮助网络识别不同体态和体态相似的人体动作;其次,考虑到部分动作类别的运动轨迹与全局运动的相关性,引入全局运动特征(GMF)弥补局部关节特征在此类动作上识别精度不足的问题;此外,为了加强不同特征之间的信息交互,提出一种跨级特征融合模块(CLFF),对不同特征层、不同属性的动作特征进行特征互补,丰富了网络的特征形式;最后,网络采用一维卷积(Conv1D)进行搭建,减轻了模型的计算负担。实验结果表明,所提模型在JHMDB身体动作数据集上获得了84.1%的识别准确率,在SHREC手势动作数据集上分别获得了97.4%(粗糙数据集)和95%(精确数据集)的识别准确率,取得了与先进方法相当的性能。 展开更多

关键词 动作识别 骨架特征 运动轨迹 局部关节特征 全局运动特征 跨级特征融合

在线阅读 下载PDF 职称材料

基于位置感知和跨层特征融合的航拍小目标检测算法 被引量：3

9

作者 雷帮军 余翱 +1 位作者 吴正平 余快 《电子测量技术》 北大核心 2024年第5期112-123,共12页

针对航拍图像目标尺度小、背景复杂、漏检和误检严重,提出了一种基于位置感知和跨层特征融合的航拍小目标检测算法DC-YOLOv8s。DC-YOLOv8s新增小目标检测层,增强对小目标尺度的敏感性,提高检测精度。为了减少特征信息的丢失,设计了跨层... 针对航拍图像目标尺度小、背景复杂、漏检和误检严重,提出了一种基于位置感知和跨层特征融合的航拍小目标检测算法DC-YOLOv8s。DC-YOLOv8s新增小目标检测层,增强对小目标尺度的敏感性,提高检测精度。为了减少特征信息的丢失,设计了跨层特征融合模块,充分融合小目标浅层语义信息和深层语义信息,丰富特征表示。改进C 2f结构,结合可变性卷积设计了基于位置感知融入残差的感受野注意力模块,适应航拍小目标形状的变化,快速提取感受野特征,降低漏检和误检率。最后使用基于注意力机制的动态检测头在尺度感知、空间感知、任务感知方面提高复杂场景下小目标的定位性能。实验表明,在VisDrone2019数据集上,DC-YOLOv8s在P、R、mAP上相较于YOLOv8s分别提高了7.2%、7.5%、9.1%,显著提高了小目标检测的性能,FPS为71帧,满足实时性要求。在VOC2007+2012上进行模型泛化性实验验证,效果优于其他经典算法。 展开更多

关键词 小目标检测层 跨层特征融合 位置感知 感受野 动态检测头

在线阅读 下载PDF 职称材料

融合监督注意力模块和跨阶段特征融合的图像修复改进网络 被引量：2

10

作者 黄巧玲 郑伯川 +1 位作者 丁梓成 吴泽东 《计算机应用》 CSCD 北大核心 2024年第2期572-579,共8页

非规则缺失区域的图像修复技术用途广泛但具有挑战性。针对现有修复方法对高分辨率图像可能会产生伪影、扭曲结构和模糊纹理的问题,提出一种融合监督注意力模块(SAM)和跨阶段特征融合(CSFF)的图像修复改进网络(Gconv_CS)。在Gconv的两... 非规则缺失区域的图像修复技术用途广泛但具有挑战性。针对现有修复方法对高分辨率图像可能会产生伪影、扭曲结构和模糊纹理的问题,提出一种融合监督注意力模块(SAM)和跨阶段特征融合(CSFF)的图像修复改进网络(Gconv_CS)。在Gconv的两阶段网络模型上,引入了SAM与CSFF模块。SAM通过提供真实图像监督信号,监督上阶段输出特征,确保传入下阶段特征信息的有效性。CSFF将上阶段编码器-解码器的特征融合后送入下阶段的编码器,以弥补上阶段修复中特征信息的损失。实验结果表明,在缺失区域占比为1%~10%时,相较于基线模型Gconv,Gconv_CS在CelebA-HQ数据集上峰值信噪比(PSNR)和结构相似性指数(SSIM)分别提高了1.5%和0.5%,Fréchet起始距离(FID)和L1损失分别降低了21.8%、14.8%;在Place2数据集上,前2个指标分别提高了26.7%和0.8%,后2个指标分别降低了7.9%、37.9%。将Gconv_CS用于去除大熊猫面部遮挡物时,取得了较好的修复视觉效果。 展开更多

关键词 图像修复 两阶段网络 跨阶段特征融合 监督注意力模块 门控卷积

在线阅读 下载PDF 职称材料

基于多尺度跨模态特征融合的图文情感分类模型 被引量：1

11

作者 刘倩 白志豪 +1 位作者 程春玲 归耀城 《计算机科学》 CSCD 北大核心 2024年第9期258-264,共7页

图文情感分类任务常用早期融合和Transformer模型相结合的跨模态特征融合策略进行图文特征融合,但该策略更倾向于关注模态内部的独有信息,而忽略了模态间的相互联系和共有信息,导致跨模态特征融合效果不理想。针对此问题,提出一种基于... 图文情感分类任务常用早期融合和Transformer模型相结合的跨模态特征融合策略进行图文特征融合,但该策略更倾向于关注模态内部的独有信息,而忽略了模态间的相互联系和共有信息,导致跨模态特征融合效果不理想。针对此问题,提出一种基于多尺度跨模态特征融合的图文情感分类方法。局部尺度方面,基于跨模态注意力机制进行局部特征融合,使模型不仅关注图像和文本的独有信息,而且可以发现图像和文本之间的联系和共有信息。全局尺度方面,基于MLM损失进行全局特征融合,使模型对图像和文本数据进行全局建模,进一步挖掘图像和文本之间的联系,从而促进图像和文本特征的深度融合。在两个公开数据集MVSA-Single和MVSA-Multiple上与10个基线模型进行对比实验,结果表明所提方法在精度、F1值和模型参数量方面均具有明显优势,验证了其有效性。 展开更多

关键词 图文情感分类 跨模态特征融合 Transformer模型 注意力机制 MLM损失

在线阅读 下载PDF 职称材料

基于跨尺度特征融合与注意力机制的遥感船舶检测

12

作者 汤永恒 郭璇 +2 位作者 孙水发 李昌振 张晶 《遥感信息》 CSCD 北大核心 2024年第5期29-37,共9页

针对常规目标检测算法对遥感船舶目标检测精度低且预测框不能将船舶目标紧密封装,为后续匹配计算带来极大误差等问题,提出一种跨尺度特征融合与注意力机制的遥感船舶检测算法。该算法通过HRNetV2_w40骨干网络提取高分辨率图像特征,并采... 针对常规目标检测算法对遥感船舶目标检测精度低且预测框不能将船舶目标紧密封装,为后续匹配计算带来极大误差等问题,提出一种跨尺度特征融合与注意力机制的遥感船舶检测算法。该算法通过HRNetV2_w40骨干网络提取高分辨率图像特征,并采用跨尺度融合特征金字塔模块对backbone提取的多级特征信息进行跨级融合,设计卷积注意力网络模块让网络模型在空间和通道两个维度产生注意力特征图信息以生成更加精细化特征图。同时,全新设计融合旋转角度信息的旋转目标损失函数使算法可有效检测任意方向船舶目标。实验结果表明,该算法能有效检测与识别遥感船舶目标,平均准确率达到74.8%,高于现有其他方法。此外,该算法很容易扩展到其他工业领域旋转目标检测任务中。 展开更多

关键词 深度学习 船舶检测 旋转检测 跨尺度特征融合 卷积注意力

在线阅读 下载PDF 职称材料

级联跨域特征融合的虚拟试衣 被引量：2

13

作者 胡新荣 张君宇 +3 位作者 彭涛 刘军平 何儒汉 何凯 《计算机应用》 CSCD 北大核心 2022年第4期1269-1274,共6页

基于图像合成蒙版策略的虚拟试衣技术在扭曲服装和人体融合时能较好地保留服装细节。然而由于在试衣过程中人体和服装的位置和结构难以对齐,试衣结果容易产生严重的遮挡,影响视觉效果。为解决试衣过程中的遮挡问题,提出了一种基于U-Net... 基于图像合成蒙版策略的虚拟试衣技术在扭曲服装和人体融合时能较好地保留服装细节。然而由于在试衣过程中人体和服装的位置和结构难以对齐,试衣结果容易产生严重的遮挡,影响视觉效果。为解决试衣过程中的遮挡问题,提出了一种基于U-Net的生成器。该生成器在U-Net解码器上添加级联的空间和通道注意力模块,从而实现了着装人体的局部特征和扭曲服装的和全局特征的跨域融合。形式上,首先采用卷积网络预测薄板样条插值(TPS)变换的方法将服装根据目标人体姿态进行扭曲;然后,将着装人体解析信息和扭曲服装输入到提出的生成器中,并获取对应服装区域的掩码图像以渲染中间结果;最后,采用掩码合成的策略来通过掩码处理将扭曲服装与中间结果合成得到最终的试衣结果。实验结果表明,所提方法不仅可以减少遮挡,而且增强了图像细节,相较于CP-VTON方法,产生的图像的平均峰值信噪比(PSNR)提高了10.47%,平均FID减小了47.28%,平均结构相似性(SSIM)提高了4.16%。 展开更多

关键词 虚拟试衣 注意力机制 特征融合 遮挡处理 级联 跨域特征融合

在线阅读 下载PDF 职称材料

基于上下文感知跨层特征融合的光场图像显著性检测 被引量：3

14

作者 邓慧萍 曹召洋 +1 位作者 向森 吴谨 《电子与信息学报》 EI CSCD 北大核心 2023年第12期4489-4498,共10页

光场图像的显著性检测是视觉跟踪、目标检测、图像压缩等应用中的关键技术。然而,现有深度学习方法在处理特征时,忽略特征差异和全局上下文信息,导致显著图模糊,甚至在前景与背景颜色、纹理相似或者背景杂乱的场景中,存在检测对象不完... 光场图像的显著性检测是视觉跟踪、目标检测、图像压缩等应用中的关键技术。然而,现有深度学习方法在处理特征时,忽略特征差异和全局上下文信息,导致显著图模糊,甚至在前景与背景颜色、纹理相似或者背景杂乱的场景中,存在检测对象不完整以及背景难抑制的问题,因此该文提出一种基于上下文感知跨层特征融合的光场图像显著性检测网络。首先,构建跨层特征融合模块自适应地从输入特征中选择互补分量,减少特征差异,避免特征不准确整合,以更有效地融合相邻层特征和信息性系数;同时利用跨层特征融合模块构建了并行级联反馈解码器(PCFD),采用多级反馈机制重复迭代细化特征,避免特征丢失及高层上下文特征被稀释;最后构建全局上下文模块(GCM)产生多尺度特征以利用丰富的全局上下文信息,以此获取不同显著区域之间的关联并减轻高级特征的稀释。在最新光场数据集上的实验结果表明,该文方法在定量和定性上均优于所比较的方法,并且能够精确地从前/背景相似的场景中检测出完整的显著对象、获得清晰的显著图。 展开更多

关键词 光场图像 显著性检测 跨层特征融合 上下文感知

在线阅读 下载PDF 职称材料

基于推文传播模式与跨模态特征的网络谣言检测研究 被引量：1

15

作者 彭竞杰 顾益军 张岚泽 《情报杂志》 CSSCI 北大核心 2024年第8期124-134,58,共12页

[研究目的]为了有效治理网络谣言,减少网络谣言对社会稳定带来的威胁,提出充分整合帖子的多模态信息和传播模式信息对谣言进行精准识别。[研究方法]提出融合推文传播模式信息与跨模态特征的网络谣言检测模型(PPCMRD)。在推文传播特征挖... [研究目的]为了有效治理网络谣言,减少网络谣言对社会稳定带来的威胁,提出充分整合帖子的多模态信息和传播模式信息对谣言进行精准识别。[研究方法]提出融合推文传播模式信息与跨模态特征的网络谣言检测模型(PPCMRD)。在推文传播特征挖掘方面,首先通过推断潜在连接补全推文传播图,接着采用双向标签图注意力模块编码推文的多个传播模式,然后通过传播模式信息融合模块捕获模式特征间的互补信息,得到帖子的传播特征;在整合多模态特征方面,该模型将帖子的文本、图像和推文传播特征集成在一起,采用跨模态共同注意力机制捕捉不同模态信息间的互补关系,得到帖子的最终嵌入表示,判断是否是谣言。[研究结论]在两个公开数据集上的实验结果表明,PPCMRD模型能够有效地检测谣言,并优于当前的基线模型。 展开更多

关键词 网络谣言 谣言检测 网络谣言检测模型 推文传播模式信息 跨模态特征融合

在线阅读 下载PDF 职称材料

基于跨尺度特征融合自注意力的图像描述方法 被引量：2

16

作者 王鸣展 冀俊忠 +1 位作者 贾奥哲 张晓丹 《计算机科学》 CSCD 北大核心 2022年第10期191-197,共7页

近年来,基于自注意力机制的编码器-解码器框架已经成为主流的图像描述模型。然而,编码器中的自注意力只建模低尺度特征的视觉关系,忽略了高尺度视觉特征中的一些有效信息,从而影响了生成描述的质量。针对该问题,文中提出了一种基于跨尺... 近年来,基于自注意力机制的编码器-解码器框架已经成为主流的图像描述模型。然而,编码器中的自注意力只建模低尺度特征的视觉关系,忽略了高尺度视觉特征中的一些有效信息,从而影响了生成描述的质量。针对该问题,文中提出了一种基于跨尺度特征融合自注意力的图像描述方法。该方法在进行自注意力运算时,将低尺度和高尺度的视觉特征进行跨尺度融合,从视觉角度上提高自注意力关注的范围,增加有效视觉信息,减少噪声,从而学习到更准确的视觉语义关系。在MS COCO数据集上的实验结果表明,所提方法能够更精确地捕获跨尺度视觉特征间的关系,生成更准确的描述。特别地,该方法是一种通用的方法,通过与其他基于自注意力的图像描述方法相结合,能进一步提高模型性能。 展开更多

关键词 图像描述 自注意力 跨尺度特征融合

在线阅读 下载PDF 职称材料

基于跨列特征融合的人群计数方法 被引量：5

17

作者 李佳倩 严华 《计算机科学》 CSCD 北大核心 2021年第6期118-124,共7页

人群计数是计算机视觉和机器学习领域中一个极具挑战性的课题。由于人群尺度变化和场景遮挡等现象会导致计数准确度不高,因此提出了一种基于跨列特征融合的人群计数方法(Cross-column Features Fusion Network, CCFNet)。该方法融合了... 人群计数是计算机视觉和机器学习领域中一个极具挑战性的课题。由于人群尺度变化和场景遮挡等现象会导致计数准确度不高,因此提出了一种基于跨列特征融合的人群计数方法(Cross-column Features Fusion Network, CCFNet)。该方法融合了来自多列不同接受域的特征,并且结合了拥有互质扩张率的空洞卷积,因此不仅能够增大感受野,还能保证信息的连续性,从而更好地适应人群规模的巨大变化;同时引入注意力模型引导网络聚焦于图片中的头部位置,根据注意力分数图为不同位置分配不同的权重,突出人群而弱化背景,最终得到高质量的密度图。在当前主流的人群计数数据集上的对比实验中,所提方法的平均绝对误差(Mean Absolute Error, MAE)在ShanghaiTech数据集的A,B子集上分别达到了63.2和8.9,在UCF_CC_50数据集上达到了222.1,在WorldExpo’10数据集上达到了7.1。这表明所提方法具有更好的计数准确度,能够很好地适应不同的场景,尤其对于尺度变化较大的场景,效果优于以往的大多数算法。 展开更多

关键词 人群计数 跨列特征融合 空洞卷积 注意力模型

在线阅读 下载PDF 职称材料

抽样切分卷积实现跨尺度特征融合及内镜图像去模糊

18

作者 严靖易 李小霞 +2 位作者 秦佳敏 文黎明 周颖玥 《计算机应用研究》 CSCD 北大核心 2023年第4期1233-1238,共6页

针对内镜图像去模糊过程中语义信息难以提取和细节纹理重建困难的问题,设计了一种新的抽样切分卷积,并将其应用于跨尺度特征融合过程中:通过等间隔抽样将大尺度特征无损切分成小尺度特征块,再与小尺度特征进行卷积融合。过程中大尺度特... 针对内镜图像去模糊过程中语义信息难以提取和细节纹理重建困难的问题,设计了一种新的抽样切分卷积,并将其应用于跨尺度特征融合过程中:通过等间隔抽样将大尺度特征无损切分成小尺度特征块,再与小尺度特征进行卷积融合。过程中大尺度特征的所有值都参与了特征融合,避免了细节信息的丢失;未对小尺度特征进行插值,避免了语义信息的模糊。为进一步实现特征互补,设计了特征交互融合模块,先用语义特征激活细节特征,再将两者融合。针对内镜图像亮通道、中间通道和暗通道的特征差异性设计了梯度重建和频域重建损失函数,提升了重建图像的锐度。在EAD和Kvasir-SEG数据集上,该算法的PSNR分别达到32.88 dB和33.01 dB,SSIM分别达到0.972和0.973。实验结果表明,该算法的性能优于主流去模糊算法,视觉上重建图像的纹理更清晰,且未产生伪影。 展开更多

关键词 内镜图像重建 抽样切分卷积 去模糊 跨尺度特征融合 损失函数

在线阅读 下载PDF 职称材料

融合渐进式去雨网络的军用车辆检测算法

19

作者 苏胜君 仝秋红 +3 位作者 柴国庆 苏海东 王凯 胡待方 《现代电子技术》 北大核心 2025年第5期127-134,共8页

针对雨天场景下检测军用车辆目标时出现的精度退化问题,提出一种将渐进式去雨算法与高精确率检测器相融合的军用车辆检测方法。首先设计了一个图像去雨算法HISPNet,其包括轻量级高效雨纹特征提取模块和跨子网雨纹特征融合模块,捕获雨纹... 针对雨天场景下检测军用车辆目标时出现的精度退化问题,提出一种将渐进式去雨算法与高精确率检测器相融合的军用车辆检测方法。首先设计了一个图像去雨算法HISPNet,其包括轻量级高效雨纹特征提取模块和跨子网雨纹特征融合模块,捕获雨纹信息的同时缓解卷积过程中的细节特征丢失问题;其次引入SPPFCSPC模块改进了单阶段检测器,保证检测器感受野的同时提高了效率,增强了检测模型的表达能力。自建数据集中的实验结果表明,雨天场景下,相较于经典检测算法YOLOv7,所提算法的mAP@0.5、mAP@0.5:0.95分别提升了4.4%、2.8%,算法检测速度达到21.05 f/s,基本满足检测实时性要求,证明了所提算法的有效性与实用性。 展开更多

关键词 图像去雨 编码器-解码器架构 轻量级高效雨纹特征提取模块 跨子网雨纹特征融合模块 SPPFCSPC模块 军用车辆检测

在线阅读 下载PDF 职称材料

基于多尺度和跨空间融合的超声乳腺结节分割 被引量：1

20

作者 赵欣 祝倩倩 +1 位作者 赵聪 吴佳玲 《计算机应用》 CSCD 北大核心 2023年第11期3599-3606,共8页

针对超声成像分辨率低且存在噪声、结节形态与纹理复杂多变导致超声乳腺结节精确分割较为困难的问题,提出一种融合多尺度特征提取和跨空间特征融合的超声乳腺结节端到端自动分割方法。首先,设计一种多尺度特征提取与融合(MFEF)模块,通... 针对超声成像分辨率低且存在噪声、结节形态与纹理复杂多变导致超声乳腺结节精确分割较为困难的问题,提出一种融合多尺度特征提取和跨空间特征融合的超声乳腺结节端到端自动分割方法。首先,设计一种多尺度特征提取与融合(MFEF)模块,通过融合4条具有不同感受野的卷积路径使网络具有多尺度的特征提取能力。其次,为对高级语义信息进行多尺度观察和信息筛选,在瓶颈层采用尺度感知与特征聚合(SFA)模块,以增强编码阶段的深层特征提取能力。此外,设计跨空间残差融合(CRF)模块,并将它应用在编、解码器间的跳跃连接上。该模块一方面对不同编码层进行跨空间信息融合,实现不同编码层间的信息互补;另一方面进一步提取编码层信息特征,缓解编解码对等层之间的语义差异,从而更好地补偿解码阶段的信息损失。在公开的超声乳腺结节数据集上的实验结果显示,所提方法的DICE系数可达0.888,同主流的深度学习分割模型UNet、AttUNet、ResUNet++、SKUNet相比,提高了0.033~0.094,对比相同数据集中的改进模型如CF2-Net、ESTAN、FS-UNet、SMU-Net,提高了0.001~0.068。所提方法分割结果图的主观视觉效果与专家给出的金标准最接近,能更加准确地分割出乳腺结节区域。 展开更多

关键词 多尺度特征融合 跨空间特征融合 尺度感知与特征聚合 卷积神经网络 超声乳腺结节分割

在线阅读 下载PDF 职称材料