期刊文献+
共找到54篇文章
< 1 2 3 >
每页显示 20 50 100
基于特征融合和网络采样的点云配准 被引量:1
1
作者 陆军 王文豪 杜宏劲 《智能系统学报》 北大核心 2025年第3期621-630,共10页
针对点云配准过程中,下采样时容易丢失关键点、影响配准精度的问题,本文提出一种基于特征融合和网络采样的配准方法,提高了配准的精度和速度。在PointNet分类网络基础上,引入小型注意力机制,设计一种基于深度学习网络的关键点提取方法,... 针对点云配准过程中,下采样时容易丢失关键点、影响配准精度的问题,本文提出一种基于特征融合和网络采样的配准方法,提高了配准的精度和速度。在PointNet分类网络基础上,引入小型注意力机制,设计一种基于深度学习网络的关键点提取方法,将局部特征和全局特征融合,得到混合特征的特征矩阵。通过深度学习实现对应矩阵求解中相关参数的自动优化,最后利用加权奇异值分解(singular value decomposition,SVD)得到变换矩阵,完成配准。在ModelNet40数据集上的实验表明,和最远点采样相比,所提算法耗时减少45.36%;而配准结果和基于特征学习的鲁棒点匹配(robust point matching using learned features,RPM-Net)相比,平移矩阵均方误差降低5.67%,旋转矩阵均方误差降低13.1%。在自制点云数据上的实验,证实了算法在真实物体上配准的有效性。 展开更多
关键词 点云配准 特征融合 深度学习 网络采样 三维视觉 局部特征 全局特征 特征提取
在线阅读 下载PDF
具备红外感知的低光场景目标检测
2
作者 张志佳 那惺奇 +2 位作者 肖宇航 房建 赵怀慈 《沈阳工业大学学报》 北大核心 2025年第4期417-424,共8页
【目的】随着人工智能领域的快速发展,基于可见光图像的目标检测技术日益成熟,并在自动驾驶、安防监控、智能交通等领域得到了广泛应用。然而,在低光场景(如黑夜或昏暗灯光环境)下,基于可见光图像的目标检测算法性能显著下降。主要原因... 【目的】随着人工智能领域的快速发展,基于可见光图像的目标检测技术日益成熟,并在自动驾驶、安防监控、智能交通等领域得到了广泛应用。然而,在低光场景(如黑夜或昏暗灯光环境)下,基于可见光图像的目标检测算法性能显著下降。主要原因在于可见光图像在低光条件下信息丢失严重,导致目标特征难以提取。为解决这一问题,提出了基于可见光图像和红外图像的多模态目标检测技术,该技术能够有效改善低光场景下的目标检测性能。然而,多模态检测技术的成本较高,需要对不同模态的图像进行精确配准,计算量较大,从而增加了实现难度和处理负担。基于此,提出了一种具备红外感知的目标检测网络(InSCnet),旨在通过一个可见光相机来预测红外热辐射特征,在不增加模态的情况下提升网络在低光场景下的目标检测能力。【方法】InSCnet以可见光图像为输入,通过红外预测分支(IPB)生成红外图像来预测热辐射特征,从而增强网络对低光场景的感知能力。为了有效融合多尺度视觉和热辐射特征,设计了互补融合滤波(COFF)模块。COFF通过互补融合这两种特征,增强特征间的互补性,避免了网络对单一模态特征的过度依赖。此外,采用混合特征金字塔(HyFP)模块,通过特征金字塔和注意力机制,进一步提升多尺度全局与局部特征的融合与提取能力,确保网络在不同程度的低光条件下均能保持较高的检测准确率。【结果】实验结果表明,InSCnet在LLVIP行人检测数据集上表现优异。具体而言,S mAP50达到了0.830,S mAP50-95达到了0.426。同时在DroneVehicle数据集上进行了实验,S mAP50达到了0.702,证明了InSCnet具备多类别低光检测能力。【结论】InSCnet通过引入红外热辐射特征和特征融合机制,提升了低光场景下的目标检测性能;在低光场景下能够有效检测可见光图像中难以识别的目标,为低光场景下的目标检测提供了一种有效的解决方案。未来的研究可以进一步探索如何优化网络结构。 展开更多
关键词 目标检测 低光场景 红外预测 特征融合 特征金字塔 全局特征 局部特征 人工智能
在线阅读 下载PDF
基于前后景分割的图像情感分析
3
作者 高玮军 刘书君 孙子博 《计算机工程与应用》 北大核心 2025年第1期206-213,共8页
图像是生活中重要的信息源之一,对其所表达的内容进行细节分析,可以更充分地利用信息资源。随着信息化的快速发展,针对图像模态开展情感分析工作已成为目前研究的一大热点。图像情感分析的主要环节依次为:情感特征提取、情感空间的选择... 图像是生活中重要的信息源之一,对其所表达的内容进行细节分析,可以更充分地利用信息资源。随着信息化的快速发展,针对图像模态开展情感分析工作已成为目前研究的一大热点。图像情感分析的主要环节依次为:情感特征提取、情感空间的选择、特征融合和情感识别分类。现有的大部分图像情感分析工作以图像整体为单位进行输入,未能充分发挥图像中局部特征的情感作用。如果不能对图像的全局特征和局部特征作出区分,当图像出现清晰度不高、背景噪声较多等问题时,图像的全局特征就会变得较为敏感,特征提取和识别工作将会受到严重干扰,对情感分析的准确性产生一定影响。针对目前图像情感分析存在的不足,提出一种基于前后景分割的图像情感分析方法。该方法以YOLOv5为框架,引入ConvNeXt模块和AFF模块,分别进行特征提取和注意力融合。实验结果表明,与目前比较流行的几种图像情感分析方法相比,该方法对于包含更多情感信息和语义信息的场景更为适用,性能也有所提升。 展开更多
关键词 图像情感分析 前后景分割 特征融合 YOLOv5 局部特征 全局特征
在线阅读 下载PDF
结合CNN-Transformer特征交互的红外与可见光图像融合方法
4
作者 张德银 张裕尧 +1 位作者 李俊佟 吴章辉 《红外技术》 北大核心 2025年第7期813-822,共10页
针对CNN与Transformer提取的特征之间交互作用未充分挖掘而导致的融合图像易产生红外特征分布不均匀、轮廓不清晰以及重要背景信息丢失等问题,本文提出了一种新的结合CNN-Transformer特征交互的红外与可见光图像融合网络。首先,新融合... 针对CNN与Transformer提取的特征之间交互作用未充分挖掘而导致的融合图像易产生红外特征分布不均匀、轮廓不清晰以及重要背景信息丢失等问题,本文提出了一种新的结合CNN-Transformer特征交互的红外与可见光图像融合网络。首先,新融合网络设计了新的空间通道混合注意力机制以提升全局及局部特征的提取效率并得到混合特征块;其次,利用CNN-Transformer的特征交互获取融合混合特征块,并构建多尺度重构网络以实现图像特征重构输出;最后,使用TNO数据集将新融合网络与其它9种融合网络进行对比图像融合实验。实验结果表明,新融合网络获得的融合图像在视觉感知方面表现优异,既突出了红外特征和物体轮廓,又保留了丰富的背景纹理细节;网络在EN、SD、AG、SF、SCD以及VIF指标上相较于现有融合网络平均提高约64.73%、8.17%、69.05%、66.34%、15.39%和25.66%。消融实验证明了新模型的有效性。 展开更多
关键词 CNN-Transformer特征交互 全局特征 混合注意力 图像融合 局部特征
在线阅读 下载PDF
时空网络特征融合的病理步态识别方法
5
作者 李聪聪 王斌 +1 位作者 李亚南 李一帆 《计算机工程与设计》 北大核心 2025年第7期2109-2116,共8页
针对病理步态识别方法中存在空间信息或时序信息丢失的问题,提出一种时空网络特征融合的病理步态识别方法。结合卷积网络和时序网络,学习更具判别性的步态时空特征。卷积网络中引入阶梯融合式空洞空间金字塔池化,获得更鲁棒的多尺度融... 针对病理步态识别方法中存在空间信息或时序信息丢失的问题,提出一种时空网络特征融合的病理步态识别方法。结合卷积网络和时序网络,学习更具判别性的步态时空特征。卷积网络中引入阶梯融合式空洞空间金字塔池化,获得更鲁棒的多尺度融合步态表征。联合卷积核替换和残差块改进对卷积网络进一步优化。时序网络中引入全局与局部时空特征融合模块,形成对时空特征的更细节表达。融合空间特征和时空特征,减轻Bi LSTM学习空间特征中时间模式的过程中丢失空间特征的影响。所提模型在自建数据集和GAIT-IST数据集上的准确率分别达到了97.69%和94.16%,实验结果表明,该方法较其它方法取得了更优的性能。 展开更多
关键词 病理步态识别 时空网络 特征融合 时空特征 阶梯融合式空洞空间金字塔池化 多尺度特征 全局与局部时空特征融合模块
在线阅读 下载PDF
全局-局部特征融合的甲状腺细针穿刺活检全玻片图像轻量化样本级分类
6
作者 高俊涛 张菁 +1 位作者 孙萌 卓力 《电子测量与仪器学报》 北大核心 2025年第3期159-168,共10页
细针穿刺活检全玻片图像(FNAB-WSI)的细胞学检查对甲状腺乳头状癌或良性结节性增生的诊断至关重要。由于样本级FNAB-WSI具有上亿像素的超高分辨率,利用深度网络进行样本级别分类会消耗相当规模的计算资源。考虑到样本级FNAB-WSI兼具全... 细针穿刺活检全玻片图像(FNAB-WSI)的细胞学检查对甲状腺乳头状癌或良性结节性增生的诊断至关重要。由于样本级FNAB-WSI具有上亿像素的超高分辨率,利用深度网络进行样本级别分类会消耗相当规模的计算资源。考虑到样本级FNAB-WSI兼具全局和细胞团局部细节特征,提出了一种全局-局部特征融合的轻量化样本级分类方法。首先利用轻量化GhostNet网络提取全局特征,通过设置卷积步长控制特征图谱尺寸,并用特征切片与融合获取局部特征;然后对全局和局部特征分别最大池化和降维,进而融合为全局-局部特征;最后全连接全局-局部特征,并通过softmax分类器达成甲状腺样本级良恶性分类。在自建的FNAB-WSI样本级数据集上,方法的各项性能指标上均超越了其他轻量化方法,精度、召回率、准确率和AUC分别达到了最高的89.9%、91.2%、91.7%和92.5%,同时参数量方面具有可比性,为6.1×106,展现出了良好的平衡性能。方法不仅提高了样本级分类的准确性,还通过减少参数量优化了模型的计算效率,有望为甲状腺癌的临床诊断提供了一种有效的辅助工具。 展开更多
关键词 深度学习 全玻片图像 样本级分类 轻量化 全局-局部特征融合
在线阅读 下载PDF
基于Transformer全局-局部特征融合的RGB-D显著性检测 被引量:1
7
作者 宋梦柯 王芸 郑元超 《计算机应用与软件》 北大核心 2025年第3期176-182,共7页
现有的RGB-D方法一般通过局部操作分别应用多尺度和多模态融合,但这无法捕获远程依赖性,因此对特征整体表征能力不足。针对此问题,提出一种全局-局部特征融合网络。在低层特征提取阶段,将两个分支特征直接融合;在高层特征提取阶段,将融... 现有的RGB-D方法一般通过局部操作分别应用多尺度和多模态融合,但这无法捕获远程依赖性,因此对特征整体表征能力不足。针对此问题,提出一种全局-局部特征融合网络。在低层特征提取阶段,将两个分支特征直接融合;在高层特征提取阶段,将融合后特征送入Transformer编码器通过在所有位置同时整合多尺度和多模态的特征来进行充分的特征融合,获得全局特征依赖关系之后再送入主干网络提取全局—局部融合特征。同时提出双重注意力模块,用来增强两个分支特征的融合效果。在五个公开数据集上进行的实验表明,该网络在三个评价指标上均取得了较好的表现。 展开更多
关键词 RGB-D显著性检测 全局-局部特征 跨模态融合 多尺度 TRANSFORMER
在线阅读 下载PDF
基于Transformer的全局-局部融合特征的遮挡行人重识别方法
8
作者 汪旭 胡晓光 +1 位作者 付哲宇 赵利欣 《计算机科学与探索》 北大核心 2025年第7期1832-1850,共19页
行人重识别(ReID)是利用人工智能解决车站安检、城市监控系统等公共安全应用问题的技术,具有从跨设备采集的图像中识别某一特定行人的能力。但是在行人重识别等问题中,往往会出现行人被刻意遮挡或被复杂场景环境遮挡等因素,这大大增加... 行人重识别(ReID)是利用人工智能解决车站安检、城市监控系统等公共安全应用问题的技术,具有从跨设备采集的图像中识别某一特定行人的能力。但是在行人重识别等问题中,往往会出现行人被刻意遮挡或被复杂场景环境遮挡等因素,这大大增加了行人重识别的难度。在目前所提出的大部分遮挡行人重识别方法中,卷积神经网络模型更加关注局部特征,但难以获得全局结构信息,Transformer网络模型建模长距离的特征依赖,但易忽略局部特征细节。为解决这些难题,提出了一种全局-局部融合特征的遮挡行人重识别方法,利用CNN和Transformer特征学习网络的特点,在丰富行人局部特征的同时提升特征的全局表达能力。该模型由三个部分组成:CNN网络主要提取局部细节特征,Transformer分支侧重提取全局特征信息,并通过跨维度多尺度池化融合模块计算上述两个分支特征的相关性,进而实现全局-局部的特征融合;由多层级注意力引导生成的掩码模块能够精准地突出行人图像中的关键特征,自动对齐行人特征信息,抑制遮挡部分或背景噪声的干扰;图像高低频特征增强模块强化被遮挡行人的高低频特征信息,突出有效信息。消融实验以及在相关数据集上的实验结果证明了所提方法的有效性。 展开更多
关键词 全局 局部 跨维度多尺度池化融合 多层级注意力 高低频特征
在线阅读 下载PDF
掩模特征融合:实例分割新范式
9
作者 李伟康 张思全 《计算机工程》 北大核心 2025年第2期126-138,共13页
实例分割任务是视觉场景理解的基本任务之一,现有的算法具有一定的相似性,通过梳理现有算法中的共通性与差异性,抽象出一种新颖的实例分割范式:掩模特征融合(MFF)。该范式将实例分割任务分为语义无关的掩模特征提取、语义相关的序列提... 实例分割任务是视觉场景理解的基本任务之一,现有的算法具有一定的相似性,通过梳理现有算法中的共通性与差异性,抽象出一种新颖的实例分割范式:掩模特征融合(MFF)。该范式将实例分割任务分为语义无关的掩模特征提取、语义相关的序列提取以及序列特征和掩模特征融合3个模块。进一步,根据新范式的结构特性提出2项优化。首先,通过设计一个非局部全局偏置增强骨干网络对全局信息的关注,使掩模特征提取模块在网络浅层可以提取到全局的信息,并且消除预训练权重带来的数据集固有偏置。其次,实验过程中观察到一些Transformer模型在训练初期出现查询向量不稳定的现象,即多数查询向量的感兴趣区域(ROI)在每次交叉注意力操作后会发生漂移现象。为了解决查询向量漂移的问题,针对序列提取模块提出一种去噪训练的方法,保证查询向量的注意力在训练前期就可以保持在同一区域,从而加速Transformer解码器的收敛,并在其他参数配置相同的情况下提高模型精度。实验结果证明了上述改进的有效性。在MS-COCO2017数据集上的实例分割任务中,相比MMF范式的基础模型,增加了新的改进措施后,模型在掩模平均精度均值(mAP)指标上取得了5.0%的显著性能提升。 展开更多
关键词 实例分割范式 掩模特征融合 非局部全局偏置 去噪训练 查询向量漂移
在线阅读 下载PDF
融合多特征与全局-局部Transformer的图像修复算法 被引量:1
10
作者 滕诗宇 何丽君 《电子测量技术》 北大核心 2025年第6期121-129,共9页
针对当前图像修复领域所面临的高计算复杂度以及在生成结构合理且细节丰富的图像方面的局限,提出了一种融合多尺度分层特征与全局-局部协同Transformer的图像修复模型。首先提出多尺度分层特征融合模块,以实现深层特征与浅层特征细节上... 针对当前图像修复领域所面临的高计算复杂度以及在生成结构合理且细节丰富的图像方面的局限,提出了一种融合多尺度分层特征与全局-局部协同Transformer的图像修复模型。首先提出多尺度分层特征融合模块,以实现深层特征与浅层特征细节上的有效融合,在扩大感受野的同时减少关键信息丢失情况。其次提出用于全局推理的全局-局部协同Transformer模块,它通过集成矩形窗口注意力机制和局部前馈神经网络,在降低计算复杂度的同时,提高模型对全局上下文信息的宏观理解和对局部细节特征的微观捕捉能力,增强图像的整体一致性。实验在CelebA-HQ和Places2数据集上进行了验证,在处理40%~50%掩码时,所提方法与常用的修复方法对比,PSNR平均提高了0.26~6.25 dB,SSIM平均提升了1.4%~19%,L1平均下降了0.2%~5.66%。实验证明,所提方法修复后的图像在视觉上具有更加真实和自然的效果,进一步验证了该方法的有效性。 展开更多
关键词 深度学习 图像修复 多尺度分层特征融合 全局-局部协同Transformer 矩形窗口注意力机制 局部前馈神经网络
在线阅读 下载PDF
面向视障人群的室内视觉辅助算法的研究
11
作者 欧阳玉旋 张荣芬 +1 位作者 刘宇红 彭垚潘 《激光技术》 北大核心 2025年第2期166-174,共9页
为了解决现有室内视觉辅助算法检测性能低、模型参数量大、不易部署于边缘设备等问题,对你只看一次(YOLO)网络YOLOv7-tiny进行改进,提出一种新的YOLOv7-ghost网络模型。针对模型参数量大的问题,引入幽灵瓶颈(GB)代替部分池化操作和高效... 为了解决现有室内视觉辅助算法检测性能低、模型参数量大、不易部署于边缘设备等问题,对你只看一次(YOLO)网络YOLOv7-tiny进行改进,提出一种新的YOLOv7-ghost网络模型。针对模型参数量大的问题,引入幽灵瓶颈(GB)代替部分池化操作和高效层聚合网络(ELAN),大幅度降低模型参数量;构建了一个全新的高性能轻量化模块(即C2f-全局注意力模块),综合考虑全局和局部特征信息,更好地捕捉节点的上下文信息;然后引入快速空间金字塔池化和幽灵瓶颈(SPPF-GB)模块,对特征进行重组和压缩,以融合不同尺度的特征信息、增强特征的表达能力;最后在头部引入可变形卷积(DCN),增强感受野的表达能力,以捕获目标周围更细粒度的目标结构和背景信息。结果表明,改进后的模型参数量下降了20.33%,模型大小下降了18.70%,平均精度mAP@0.50和mAP@0.50~0.95分别提升了1.2%和3.3%。该网络模型在保证轻量化的同时,检测精度得到了大幅度的提升,更利于室内场景目标检测算法实际应用的部署。 展开更多
关键词 图像处理 轻量化 幽灵瓶颈模块 C2f-全局注意力模块 多尺度特征融合 可变形卷积 YOLOv7-tiny网络模型
在线阅读 下载PDF
全局与局部多尺度特征融合晶圆缺陷分类网络 被引量:1
12
作者 陈晓雷 李正成 +2 位作者 杨富龙 温润玉 沈星阳 《电子测量与仪器学报》 CSCD 北大核心 2024年第10期159-169,共11页
在半导体制造领域,晶圆缺陷分类是确保产品质量的重要步骤。然而,由于晶圆缺陷的多样性和复杂性,现有的混合型晶圆缺陷分类网络在准确性上仍然存在不足。针对这一问题,提出了一种基于全局和局部多尺度特征融合的混合型晶圆缺陷分类网络... 在半导体制造领域,晶圆缺陷分类是确保产品质量的重要步骤。然而,由于晶圆缺陷的多样性和复杂性,现有的混合型晶圆缺陷分类网络在准确性上仍然存在不足。针对这一问题,提出了一种基于全局和局部多尺度特征融合的混合型晶圆缺陷分类网络—MLG-Net。MLG-Net由3个主要模块组成:特征提取模块、全局分支和局部分支。该网络旨在更好地提取和利用晶圆缺陷图像的全局语义信息与局部细节特征,这两种特征通过多尺度特征融合技术相结合,最终形成一个更加全面的特征表示,有助于分类器在面对复杂混合缺陷时,做出更为准确的判断,从而提升分类精度。为了验证MLG-Net的有效性,在包含38种混合类型缺陷的数据集—MixedWM38上进行了大量实验,其分类准确度达到98.84%。结果表明,MLG-Net在综合性能上优于当前主流的六种晶圆缺陷分类方法。这一结果证明了全局与局部特征融合在处理混合型晶圆缺陷分类任务中的重要性和有效性。 展开更多
关键词 半导体制造 晶圆缺陷分类 混合型缺陷 全局与局部特征 特征融合
在线阅读 下载PDF
结合CSWin-Transformer和门卷积的壁画图像修复方法 被引量:5
13
作者 徐志刚 杨欣宇 《计算机工程与应用》 CSCD 北大核心 2024年第21期215-224,共10页
敦煌壁画是珍贵的文化遗产,但现存壁画存在着大量破损现象。针对现有图像修复方法在处理敦煌壁画时面临着计算复杂度高、纹理模糊和特征提取不足等问题,提出了一种结合CSWin-Transformer(cross stripe window-Transformer)和门卷积的壁... 敦煌壁画是珍贵的文化遗产,但现存壁画存在着大量破损现象。针对现有图像修复方法在处理敦煌壁画时面临着计算复杂度高、纹理模糊和特征提取不足等问题,提出了一种结合CSWin-Transformer(cross stripe window-Transformer)和门卷积的壁画图像修复方法。构建由全局层网络和局部层门卷积残差密集网络组成的并行网络,利用条纹窗口增强图像特征提取能力,并通过门卷积残差块提升结构纹理修复的准确性。设计全局-局部特征融合模块来融合全局层和局部层输出的特征图像,以保持修复结果整体的一致性。通过建立共享注意力机制实现全局层和局部层之间的信息交互,同时为了完成破损壁画的修复,采用谱归一化马尔科夫判别模型进行对抗训练。通过对真实破损壁画的修复实验,结果表明,所提方法在主客观指标上均优于所对比的方法。 展开更多
关键词 深度学习 壁画修复 门卷积 CSWin-Transformer 全局-局部特征融合
在线阅读 下载PDF
基于三分支对抗学习和补偿注意力的红外和可见光图像融合 被引量:1
14
作者 邸敬 任莉 +2 位作者 刘冀钊 郭文庆 廉敬 《红外技术》 CSCD 北大核心 2024年第5期510-521,共12页
针对现有深度学习图像融合方法依赖卷积提取特征,并未考虑源图像全局特征,融合结果容易产生纹理模糊、对比度低等问题,本文提出一种基于三分支对抗学习和补偿注意力的红外和可见光图像融合方法。首先,生成器网络采用密集块和补偿注意力... 针对现有深度学习图像融合方法依赖卷积提取特征,并未考虑源图像全局特征,融合结果容易产生纹理模糊、对比度低等问题,本文提出一种基于三分支对抗学习和补偿注意力的红外和可见光图像融合方法。首先,生成器网络采用密集块和补偿注意力机制构建局部-全局三分支提取特征信息。然后,利用通道特征和空间特征变化构建补偿注意力机制提取全局信息,更进一步提取红外目标和可见光细节表征。其次,设计聚焦双对抗鉴别器,以确定融合结果和源图像之间的相似分布。最后,选用公开数据集TNO和RoadScene进行实验并与其他9种具有代表性的图像融合方法进行对比,本文提出的方法不仅获得纹理细节更清晰、对比度更好的融合结果,而且客观度量指标优于其他先进方法。 展开更多
关键词 红外可见光图像融合 局部-全局三分支 局部特征提取 补偿注意力机制 对抗学习 聚焦双对抗鉴别器
在线阅读 下载PDF
DCFF-Net:基于人体骨骼点的双流跨级特征融合动作识别网络 被引量:2
15
作者 余翔 连世龙 《现代电子技术》 北大核心 2024年第23期81-88,共8页
在基于骨骼的动作识别任务中,骨骼点特征对于动作识别来说至关重要。针对现有方法存在输入特征不足、特征融合策略粗糙、参数量大等问题,提出一种基于人体骨骼点的双流跨级特征融合网络。首先,针对特征输入,用欧氏距离骨架特征(EDSF)和... 在基于骨骼的动作识别任务中,骨骼点特征对于动作识别来说至关重要。针对现有方法存在输入特征不足、特征融合策略粗糙、参数量大等问题,提出一种基于人体骨骼点的双流跨级特征融合网络。首先,针对特征输入,用欧氏距离骨架特征(EDSF)和余弦角度骨架特征(CASF)两种局部关节特征来表征人体骨骼序列,帮助网络识别不同体态和体态相似的人体动作;其次,考虑到部分动作类别的运动轨迹与全局运动的相关性,引入全局运动特征(GMF)弥补局部关节特征在此类动作上识别精度不足的问题;此外,为了加强不同特征之间的信息交互,提出一种跨级特征融合模块(CLFF),对不同特征层、不同属性的动作特征进行特征互补,丰富了网络的特征形式;最后,网络采用一维卷积(Conv1D)进行搭建,减轻了模型的计算负担。实验结果表明,所提模型在JHMDB身体动作数据集上获得了84.1%的识别准确率,在SHREC手势动作数据集上分别获得了97.4%(粗糙数据集)和95%(精确数据集)的识别准确率,取得了与先进方法相当的性能。 展开更多
关键词 动作识别 骨架特征 运动轨迹 局部关节特征 全局运动特征 跨级特征融合
在线阅读 下载PDF
多视野精细分析下的弱监督目标定位算法
16
作者 张英俊 贾聪聪 谢斌红 《计算机工程与设计》 北大核心 2024年第6期1750-1756,共7页
针对多尺度目标定位精度较差,难以捕获完整目标边界的问题,设计一种多视野精细分析模块并融入通道与空间注意力机制抑制背景噪声的干扰,获取多尺度目标的高分辨率特征。利用随机特征选取模块获取特征图随机位置的组合,聚合多个位置图获... 针对多尺度目标定位精度较差,难以捕获完整目标边界的问题,设计一种多视野精细分析模块并融入通道与空间注意力机制抑制背景噪声的干扰,获取多尺度目标的高分辨率特征。利用随机特征选取模块获取特征图随机位置的组合,聚合多个位置图获取最具辨别性的位置及其它位置的信息,融合浅层生成的类激活图与聚合类激活图获取细粒度位置信息,捕获完整的目标边界。与现有的弱监督定位方法相比,在解决多尺度目标定位效果差和局部最优问题上具有一定的优势。 展开更多
关键词 弱监督学习 目标定位 多尺度特征融合 注意力机制 全局平均池化 类激活图 正则化
在线阅读 下载PDF
基于面部全局抑郁特征局部感知力增强和全局-局部语义相关性特征融合的抑郁强度识别
17
作者 孙强 李正 何浪 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第5期2249-2263,共15页
现有基于深度学习的大多数方法在实现患者抑郁程度自动识别的过程中,主要存在两大挑战:(1)难以利用深度模型自动地从面部表情有效学习到抑郁强度相关的全局上下文信息,(2)往往忽略抑郁强度相关的全局和局部信息之间的语义一致性。为此,... 现有基于深度学习的大多数方法在实现患者抑郁程度自动识别的过程中,主要存在两大挑战:(1)难以利用深度模型自动地从面部表情有效学习到抑郁强度相关的全局上下文信息,(2)往往忽略抑郁强度相关的全局和局部信息之间的语义一致性。为此,该文提出一种全局抑郁特征局部感知力增强和全局-局部语义相关性特征融合(PLEGDF-FGLSCF)的抑郁强度识别深度模型。首先,设计了全局抑郁特征局部感知力增强(PLEGDF)模块,用于提取面部局部区域之间的语义相关性信息,促进不同局部区域与抑郁相关的信息之间的交互,从而增强局部抑郁特征驱动的全局抑郁特征表达力。然后,提出了全局-局部语义相关性特征融合(FGLSCF)模块,用于捕捉全局和局部语义信息之间的关联性,实现全局和局部抑郁特征之间的语义一致性描述。最后,在AVEC2013和AVEC2014数据集上,利用PLEGDF-FGLSCF模型获得的识别结果在均方根误差(RMSE)和平均绝对误差(MAE)指标上的值分别是7.75/5.96和7.49/5.99,优于大多数已有的基准模型,证实了该方法的合理性和有效性。 展开更多
关键词 抑郁强度 人脸图像 局部感知力增强 全局和局部特征融合 语义一致性
在线阅读 下载PDF
基于全局与局部特征的二阶段文档图像可见水印去除模型
18
作者 赵江锋 和红杰 +1 位作者 陈帆 杨树斌 《计算机科学》 CSCD 北大核心 2024年第2期172-181,共10页
可见水印是一种常用的数字图像版权保护手段。分析可见水印去除结果可以验证图像上水印的有效性,并为水印设计者提供设计或添加水印的参考和启发。目前,大多数的水印去除方法都是基于自然图像的研究,而文档图像在生活中也被广泛使用,但... 可见水印是一种常用的数字图像版权保护手段。分析可见水印去除结果可以验证图像上水印的有效性,并为水印设计者提供设计或添加水印的参考和启发。目前,大多数的水印去除方法都是基于自然图像的研究,而文档图像在生活中也被广泛使用,但由于缺乏公开的文档图像去水印数据集,相关文档图像的水印去除研究较少。为了探究水印去除方法在文档图像上的水印去除效果,构建了一个文档图像水印去除数据集(SDIWRD)。在对文档图像可见水印去除的研究中发现,使用已有的水印去除方法得到的水印去除结果中容易留下水印主体伪影或者轮廓伪影。为了解决这个问题,提出了一种基于全局与局部特征的二阶段文档图像可见水印去除模型(RWRNet),该模型采用由粗到细的二阶段的半实例归一化编解码器架构。在粗略阶段,使用全局与局部特征提取模块增强对全局空间特征的捕捉能力,同时保留对局部细节信息的提取能力,从而帮助进行水印去除;在细化阶段,细化网络共享粗略阶段权重,并构建循环特征融合模块来充分挖掘粗略阶段编解码器的重要特征,为细化阶段提供丰富的上下文信息,帮助进行细致的水印去除。此外,还结合了结构相似性损失来帮助获取更好的视觉质量。所提方法在SDIWRD数据集上进行了实验,实验结果显示PSNR达到了41.21 dB,SSIM达到了99.07%,RMSE降低至3.64,优于现有水印去除方法。另外也在公开的CLWD彩色水印去除数据集进行了实验,实验结果显示PNSR达到了39.31dB,SSIM达到98.81%,RMSE降低至3.50,也优于现有水印去除方法。实验结果证明了所提方法具有良好的泛化性和去水印的能力,能有效减轻水印伪影。最后还提出了一些防止水印去除的建议,在相关网站1)可公开访问所提出的方法和数据集。 展开更多
关键词 可见水印 水印去除 全局与局部特征提取 循环特征融合 文档图像
在线阅读 下载PDF
融合全局增强-局部注意特征的表情识别网络 被引量:3
19
作者 刘娟 王颖 +1 位作者 胡敏 黄忠 《计算机科学与探索》 CSCD 北大核心 2024年第9期2487-2500,共14页
为抑制自然场景下遮挡和姿态变化等因素对人脸表情识别的影响,提出一种融合全局增强-局部注意特征(GE-LA)的表情识别网络。为获取增强的全局上下文信息,构建通道-空间全局特征增强结构,该结构采用通道流模块(CFM)和空间流模块(SFM),分... 为抑制自然场景下遮挡和姿态变化等因素对人脸表情识别的影响,提出一种融合全局增强-局部注意特征(GE-LA)的表情识别网络。为获取增强的全局上下文信息,构建通道-空间全局特征增强结构,该结构采用通道流模块(CFM)和空间流模块(SFM),分别获取对称多尺度通道语义以及像素级空间语义,并结合两类语义生成全局增强特征;为抽取局部细节特征,将高效通道注意力(ECA)机制改进为通道-空间注意力(CSA)机制,并以此构建局部注意模块(LAM)获取通道和空间高级语义。为提升网络对遮挡、姿态变化等因素的抗干扰能力,设计一种自适应策略实现全局增强特征和局部注意特征的加权融合,并基于自适应融合特征实现表情分类。在自然场景人脸表情数据集RAF-DB和FERPlus上的实验结果表明,提出网络的表情识别率分别为89.82%和89.93%,比基线网络ResNet50分别提高了13.39个百分点和10.62个百分点。与相关方法相比,提出方法降低了遮挡、姿态变化的影响,在自然场景下具有较好的表情识别效果。 展开更多
关键词 人脸表情识别 全局增强特征 局部注意特征 自适应融合策略
在线阅读 下载PDF
基于局部和全局特征融合的二阶段人脸图像修复算法研究 被引量:2
20
作者 徐克 《现代电子技术》 北大核心 2024年第9期40-46,共7页
针对大面积不规则破损的人脸图像修复过程中出现的伪影和不连贯问题,提出一种基于特征融合和多尺度注意力机制的二阶段人脸图像修复算法。在粗修复网络增加全局和局部特征分支来处理编码器的输出。其中,局部特征分支使用多尺度空洞卷积... 针对大面积不规则破损的人脸图像修复过程中出现的伪影和不连贯问题,提出一种基于特征融合和多尺度注意力机制的二阶段人脸图像修复算法。在粗修复网络增加全局和局部特征分支来处理编码器的输出。其中,局部特征分支使用多尺度空洞卷积和门控残差连接来聚合上下文信息,并与全局特征分支的输出进行正交融合,提高局部特征与全局特征的相关性,减少特征冗余。在精修复网络增加平均和最大金字塔池化模块,其中,平均池化用于捕捉整体统计信息,最大池化用于提取空间上显著的特征并保留关键信息,并利用通道⁃空间注意力机制进行图像特征结构调整和纹理生成。最后,构建了一个包括多尺度结构相似性损失的复合函数对网络进行训练。实验结果表明,所提算法在主观和客观评价指标上均优于现有算法。 展开更多
关键词 全局特征 局部特征 正交融合 金字塔池化 CBAM 多尺度特征融合 人脸图像修复
在线阅读 下载PDF
上一页 1 2 3 下一页 到第
使用帮助 返回顶部