基于零样本学习的管道焊缝缺陷跨模态识别方法

1

作者 余泽禹 卫小龙 《实验室研究与探索》 北大核心 2025年第5期89-95,共7页

深度学习模型在工业质检获得了很好应用,但其高度依赖于对每个类别大量数据标注,且无法识别未知缺陷类型。管道焊缝缺陷种类多、特异性强,收集大量不同缺陷样本并标注难以实现。基于这些困难,提出零样本学习方法,充分利用从业人员对缺... 深度学习模型在工业质检获得了很好应用,但其高度依赖于对每个类别大量数据标注,且无法识别未知缺陷类型。管道焊缝缺陷种类多、特异性强,收集大量不同缺陷样本并标注难以实现。基于这些困难,提出零样本学习方法,充分利用从业人员对缺陷类别的语义描述,将人工语义特征和超声检测信号特征跨模态融合,构建已知和未知类别的跨模态融合特征,实现对未知缺陷的识别。实验对比了4种工业质检中的常用模型。结果表明,模型对各类缺陷种类均有着良好的识别能力,有效解决对未知缺陷的识别问题,降低人工智能模型训练成本和对未知缺陷的漏检率,为管道焊缝缺陷智能识别模型工业化部署提供有效解决方案。 展开更多

关键词 超声无损检测 零样本学习 管道焊缝 缺陷识别 跨模态识别

在线阅读 下载PDF 职称材料

生成对抗网络图像类别标签跨模态识别系统设计 被引量：3

2

作者 刘尚争 刘斌 《现代电子技术》 北大核心 2020年第8期173-175,共3页

针对传统图像类别标签识别系统只能单一模态识别图像类别标签的问题,设计一种生成对抗网络图像类别标签跨模态识别系统。将待识别图像输入系统跨模态多标签标定模块中,该模块采用卷积神经网络构建图像模型和文本模型,采用同质迁徙学习... 针对传统图像类别标签识别系统只能单一模态识别图像类别标签的问题,设计一种生成对抗网络图像类别标签跨模态识别系统。将待识别图像输入系统跨模态多标签标定模块中,该模块采用卷积神经网络构建图像模型和文本模型,采用同质迁徙学习和混合迁徙学习训练两个模型,融合训练后的图像内容和说明文本两种模态,多模态类别标签标定图像;将标定图像传输到生成对抗网络中,该网络采用流行一致方法结合生成器生成的图像和隐变量、真实图像和编码器获取的图像特征,将结合结果传输到鉴别器后采用循环交替优化方式训练对抗网络,输出图像类别标签识别结果。经过实验分析发现,该系统能跨模态识别出原始图像中的花、电视图像类别标签,汉明损失数值均低于0.02,宏平均值高于0.97,系统跨模态识别图像类别标签效果好。 展开更多

关键词 生成对抗网络 图像类别标签 跨模态识别 系统设计 卷积神经网络 训练模型

在线阅读 下载PDF 职称材料

二值化图像与双流网络在跨模态行人重识别的应用

3

作者 崔洪刚 曹钢钢 苏荻翔 《计算机应用与软件》 北大核心 2025年第2期216-226,共11页

在现有的跨模态行人重识别方法中,很少有方法会利用图像中人的姿态信息进行网络的学习。考虑到姿态信息在行人重识别网络学习中的重要性,提出一种融合局部阈值二值化图像特征的端到端的行人重识别方法。该方法使用ResNet50作为骨干网络... 在现有的跨模态行人重识别方法中,很少有方法会利用图像中人的姿态信息进行网络的学习。考虑到姿态信息在行人重识别网络学习中的重要性,提出一种融合局部阈值二值化图像特征的端到端的行人重识别方法。该方法使用ResNet50作为骨干网络对三种模态图像进行特征提取和特征融合,使用交叉熵损失和改进的难样本三元组损失进行网络训练。在使用简单网络结构的同时使用姿态信息。实验结果表明,在跨模态行人重识别网络中融合局部阈值二值化图像信息,能提高网络对行人重识别的准确率,显著提升最难样本的挖掘能力。 展开更多

关键词 跨模态行人重识别 卷积神经网络 局部阈值二值化

在线阅读 下载PDF 职称材料

对齐特征表示的跨模态人脸识别 被引量：4

4

作者 明悦 王绍颖 +1 位作者 范春晓 周江婉 《光学精密工程》 EI CAS CSCD 北大核心 2020年第10期2311-2322,共12页

跨模态人脸识别一直是人脸识别领域的研究热点,在安防、刑侦等现实场景中具有极高的应用价值和发展潜力。现有的跨模态人脸识别算法通常在图像空间或潜在空间建立不同模态人脸的联系,却忽略了二者的内在关联性,容易导致跨模态信息的丢... 跨模态人脸识别一直是人脸识别领域的研究热点,在安防、刑侦等现实场景中具有极高的应用价值和发展潜力。现有的跨模态人脸识别算法通常在图像空间或潜在空间建立不同模态人脸的联系,却忽略了二者的内在关联性,容易导致跨模态信息的丢失。为解决这一问题,本文提出基于对齐特征表示的跨模态人脸识别算法(Cross-Domain Representation Alignment,CDRA)。CDRA算法在人脸图像空间和潜在空间、模态内和模态间探索不同模态人脸数据间的关联性首先,为减少信息损失,CDRA算法通过对单一模态内人脸的重建,学习到包含判别信息的模态内潜在特征表示;然后,在图像空间,CDRA算法通过从不同模态的潜在特征表示中,跨模态地重建图像,以间接对齐不同模态的潜在特征表示,在潜在空间,CDRA算法通过对齐不同模态数据的潜在高斯分布直接对齐不同模态的潜在特征表示,促使特征表示学习到不同模态人脸在不同空间维度多个层次的跨模态信息。实验结果表明CDRA算法在Multi-Pie数据集上的人脸识别准确率的平均值为97.2%,在CASIA NIR-VIS 2.0数据集上的人脸识别准确率为99.4%±0.2%,同时实现了跨模态人脸数据的高效互生成。CDRA算法能够在图像空间和潜在子空间学习到更具判别能力的跨模态关联信息,有效地提高了跨模态人脸识别准确率。 展开更多

关键词 跨模态人脸识别 变分自动编码器 人脸合成 潜在子空间

在线阅读 下载PDF 职称材料

基于双中间模态的四流网络跨模态行人重识别 被引量：1

5

作者 韩华 黄丽 +1 位作者 田瑾 王春媛 《计算机工程》 CAS CSCD 北大核心 2023年第8期302-309,共8页

摄像头大多配备红外和可见光功能,因此,重识别方法的应用必然要解决跨模态行人重识别问题。为缩小跨模态行人重识别中红外和可见光模态之间的差异,提高识别精度,提出基于双中间模态的四流跨模态行人重识别方法。由2个轻量级网络分别生... 摄像头大多配备红外和可见光功能,因此,重识别方法的应用必然要解决跨模态行人重识别问题。为缩小跨模态行人重识别中红外和可见光模态之间的差异,提高识别精度,提出基于双中间模态的四流跨模态行人重识别方法。由2个轻量级网络分别生成可见光模态和红外模态的双中间模态图像,并从可见光图像和红外图像中继承标签,通过拆分ResNet50骨干网络以重构适应于4种模态共享特征学习的网络。此外,还探讨了四流骨干网络中的参数共享问题,分析四模态共享块数量对于跨模态行人重识别的影响。实验结果表明,相比HcTri,该方法在SYSUMM01数据集上的全局检索模式下的Rank-1和mAP分别提高2.38和4.64个百分点,在室内检索模式下分别提高6.24和6.77个百分点,在RegDB数据集上可见光至红外检索模式下的Rank-1、mAP和mINP分别提高2.52、3.74和4.68个百分点,在红外至可见光检索模式下的Rank-1、mAP和mINP分别分别提高2.70、3.47和5.56个百分点。 展开更多

关键词 行人重识别 双中间模态 四流骨干网络 跨模态重识别 参数共享

在线阅读 下载PDF 职称材料

多模态特征融合和自蒸馏的红外-可见光行人重识别 被引量：1

6

作者 万磊 李华锋 张亚飞 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2024年第7期1065-1076,共12页

现有跨模态行人重识别方法大多挖掘模态不变的特征,忽略了不同模态内的具有判别性的自有特征.为了充分地利用不同模态内的自有特征,提出一种多模态特征融合和自蒸馏的红外-可见光行人重识别方法.首先提出一种基于双分类器的注意力融合机... 现有跨模态行人重识别方法大多挖掘模态不变的特征,忽略了不同模态内的具有判别性的自有特征.为了充分地利用不同模态内的自有特征,提出一种多模态特征融合和自蒸馏的红外-可见光行人重识别方法.首先提出一种基于双分类器的注意力融合机制,为各模态的自有特征赋予较大的融合权重,共有特征赋予较小的融合权重,得到含有各模态判别性自有特征的多模态融合特征;为了提升网络特征的鲁棒性以适应行人外观的变化,构建一个记忆存储器来存储行人的多视角特征;还设计了一种自蒸馏无参数动态引导策略,在多模态融合特征和多视角特征的引导下,利用该策略动态强化网络的多模态推理和多视角推理能力;最后网络能够从一个行人的单模态图像推理出另一模态不同视角行人特征,提升模型跨模态行人重识别的性能.基于PyTorch深度学习框架,在公开数据集SYSU-MM01和RegDB上与当前主流的方法进行对比实验,结果表明,所提方法的Rank-1分别达到63.12%和92.55%, mAP分别达到61.51%和89.55%,优于对比方法. 展开更多

关键词 跨模态行人重识别 特征融合 注意力机制 记忆存储机制 自蒸馏

在线阅读 下载PDF 职称材料

基于自注意力模态融合网络的跨模态行人再识别方法研究 被引量：9

7

作者 杜鹏 宋永红 张鑫瑶 《自动化学报》 EI CAS CSCD 北大核心 2022年第6期1457-1468,共12页

行人再识别是实现多目标跨摄像头跟踪的核心技术,该技术能够广泛应用于安防、智能视频监控、刑事侦查等领域.一般的行人再识别问题面临的挑战包括摄像机的低分辨率、行人姿态变化、光照变化、行人检测误差、遮挡等.跨模态行人再识别相... 行人再识别是实现多目标跨摄像头跟踪的核心技术,该技术能够广泛应用于安防、智能视频监控、刑事侦查等领域.一般的行人再识别问题面临的挑战包括摄像机的低分辨率、行人姿态变化、光照变化、行人检测误差、遮挡等.跨模态行人再识别相比于一般的行人再识别问题增加了相同行人不同模态的变化.针对跨模态行人再识别中存在的模态变化问题,本文提出了一种自注意力模态融合网络.首先是利用CycleGAN生成跨模态图像.在得到了跨模态图像后利用跨模态学习网络同时学习两种模态图像特征,对于原始数据集中的图像利用SoftMax损失进行有监督的训练,对生成的跨模态图像利用LSR (Label smooth regularization)损失进行有监督的训练.之后,使用自注意力模块将原始图像和CycleGAN生成的图像进行区分,自动地对跨模态学习网络的特征在通道层面进行筛选.最后利用模态融合模块将两种筛选后的特征进行融合.通过在跨模态数据集SYSU-MM01上的实验证明了本文提出的方法和跨模态行人再识别其他方法相比有一定程度的性能提升. 展开更多

关键词 跨模态行人再识别 自注意力 跨模态融合 CycleGAN

在线阅读 下载PDF 职称材料

利用局部监督的跨模态行人重识别研究 被引量：2

8

作者 江锴威 王进 +2 位作者 张琳钰 芦欣 刘国庆 《计算机应用研究》 CSCD 北大核心 2023年第4期1226-1232,共7页

跨模态行人重识别技术旨在从非重叠视域不同模态的摄像头捕获的行人图像中,识别出特定行人,行人图像间存在巨大的跨模态差异以及模态内部差异,导致识别率不高。为此,提出了一种利用局部监督的跨模态行人重识别方法(LSN)。首先将可见光... 跨模态行人重识别技术旨在从非重叠视域不同模态的摄像头捕获的行人图像中,识别出特定行人,行人图像间存在巨大的跨模态差异以及模态内部差异,导致识别率不高。为此,提出了一种利用局部监督的跨模态行人重识别方法(LSN)。首先将可见光图像转换成与红外图像更为接近的灰度图像,在图像层面缓解跨模态的差异,并使用共享参数的双流网络,提取具有判别性的共享特征,在特征层面缓解跨模态差异;其次,设计了局部监督网络,增强了对背景、遮挡等噪声的鲁棒性,缓解了模态内部差异;最后,设计了跨模态分组损失、联合身份损失对网络进行约束。实验结果显示,在SYSU-MM01数据集上,评价指标rank-1和mAP分别达到了53.31%、50.88%;在RegDB数据集上,达到了73.51%、68.55%,实验结果优于同类方法,验证了该方法的有效性和先进性。 展开更多

关键词 跨模态行人重识别 智能安防 双流网络 局部监督 跨模态分组损失

在线阅读 下载PDF 职称材料

互惠双向生成对抗网络用于跨模态行人重识别 被引量：1

9

作者 魏梓钰 杨曦 +2 位作者 王楠楠 杨东 高新波 《西安电子科技大学学报》 EI CAS CSCD 北大核心 2021年第2期205-212,共8页

为提高跨模态行人重识别的准确率,提出一种基于互惠双向生成对抗网络的跨模态行人重识别方法。首先,建立两个生成对抗网络以生成跨模态异质图像;其次,设计一种联合损失在可见光与红外图像相互转换过程中拉近隐藏空间特征的分布,促使网... 为提高跨模态行人重识别的准确率,提出一种基于互惠双向生成对抗网络的跨模态行人重识别方法。首先,建立两个生成对抗网络以生成跨模态异质图像;其次,设计一种联合损失在可见光与红外图像相互转换过程中拉近隐藏空间特征的分布,促使网络生成更接近真实图像的伪异质图像;最后,通过将原始图像与生成的异质行人图像相结合并输入至区别性特征提取网络中,使得不同模态的图像统一至相同模态,消减了跨模态差异。利用表征学习与度量学习,使网络提取出更具有判别性的行人特征。通过在跨模态数据集SYSU-MM01和RegDB上做对比实验,分析了该方法在不同损失函数下的识别效果。对比于其他前沿跨模态行人重识别方法,这种方法具有更高准确率和更强鲁棒性。 展开更多

关键词 生成对抗网络 图像转换 特征提取 跨模态行人重识别

在线阅读 下载PDF 职称材料

基于边缘智能终端的跨模态行人重识别方法及应用

10

作者 卞紫阳 许廷发 +1 位作者 马亮 李佳男 《兵工学报》 EI CAS CSCD 北大核心 2023年第9期2631-2638,共8页

跨模态行人重识别技术旨在可见光、红外等不同模态图像中识别出同一个人,其在人机协同、万物互联、跨界融合、万物智能的智能系统与装备中具有重要应用。提出一种数据增强的跨模态行人重识别方法,在波长域进行数据增强的同时保留可见图... 跨模态行人重识别技术旨在可见光、红外等不同模态图像中识别出同一个人,其在人机协同、万物互联、跨界融合、万物智能的智能系统与装备中具有重要应用。提出一种数据增强的跨模态行人重识别方法,在波长域进行数据增强的同时保留可见图像的结构信息,以弥合不同模态之间的差距。在此基础上,基于瑞芯微的RK3588芯片设计实现了一套边缘智能终端,并部署了跨模态行人重识别算法。在边缘计算部署的硬件设计、软件开发中,通过模块化的设计、层级配置的方案,实现了系统弹性可扩展,降低了数据集中处理的计算压力。实验结果表明,新方法在两个基准数据集SYSU-MM01和RegDB上取得了较好的性能,并能够在实际场景中进行应用部署。 展开更多

关键词 跨模态行人重识别 数据增强 边缘智能终端

在线阅读 下载PDF 职称材料

基于多维互信息特征的跨模态行人重识别方法

11

作者 吴林涛 王文明 《实验技术与管理》 CAS 北大核心 2023年第12期82-91,共10页

针对如何缓解跨模态行人重识别任务中行人模态之间的差异性问题,提出一种随机通道邻近数据增强方法RCNA和一种结合多维互信息的U型网络UMME。RCNA通过选取同类别的可见光图像和红外图像进行数据增强生成新的行人图像,既满足了真实数据分... 针对如何缓解跨模态行人重识别任务中行人模态之间的差异性问题,提出一种随机通道邻近数据增强方法RCNA和一种结合多维互信息的U型网络UMME。RCNA通过选取同类别的可见光图像和红外图像进行数据增强生成新的行人图像,既满足了真实数据分布,又融合了可见光图像的形状和结构信息以及红外图像的语义信息,缓解了可见光图像与红外图像之间的模态差异性。UMME通过互信息提取模块UMI提取同类别行人之间的互信息特征,再经过特征整合模块MSIF将互信息特征嵌入语义特征,增强了同类别行人之间语义特征的一致性。所提出的方法在数据集SYSU-MM01和RegDB上的Rank-1和mAP分别达到70.48%、68.34%和91.70%、88.42%,与现有研究方法相比,取得了优异的识别效果。 展开更多

关键词 跨模态行人重识别 深度学习 数据增强 互信息

在线阅读 下载PDF 职称材料

基于百度飞桨的面向黑暗环境人员行为检测与身份识别 被引量：7

12

作者 杜闯 何赟泽 +2 位作者 邓海平 常珊 王耀南 《电子测量与仪器学报》 CSCD 北大核心 2023年第8期21-29,共9页

针对传统可见光在黑暗环境中难以实现人员行为检测与身份识别的问题,本文结合红外热成像技术基于百度飞桨深度学习框架研究了一种面向黑暗环境的人员行为检测与身份识别算法。首先经过实地采集,自主构建红外热成像人员行为数据集总计10... 针对传统可见光在黑暗环境中难以实现人员行为检测与身份识别的问题,本文结合红外热成像技术基于百度飞桨深度学习框架研究了一种面向黑暗环境的人员行为检测与身份识别算法。首先经过实地采集,自主构建红外热成像人员行为数据集总计10900张9种行为类别以及双光人脸数据集总计3000张30位人员。针对行为检测方面,基于轻量化网络PP-LCNet改进YOLOv5骨干网络进行人员行为检测,大幅度减少模型参数并提高检测精度与推理速度。针对人脸识别方面,引入Cycle GAN算法改进Insight Face实现将红外人脸转化为可见光人脸进行身份识别,提高在黑暗环境下人脸识别准确率。最后实现红外人员行为检测网络与人脸识别网络的级联工作,在黑暗环境下可以实时行为检测与身份识别,具有很好的应用效果。实验结果表明,基于PPLCNet轻量化改进的YOLOv5相对于原网络模型参数减少56.4%,平均精度m AP由89.1%提高至94.7%,推理速度由68提高至101 fps;基于Cycle GAN算法改进Insight Face相对于原网络黑暗环境下识别准确率由84%提高至99%。 展开更多

关键词 黑暗环境 红外热成像 行为检测 跨模态人脸识别

在线阅读 下载PDF 职称材料

双重对比学习框架下近红外-可见光人脸图像转换方法 被引量：11

13

作者 孙锐 单晓全 +2 位作者 孙琦景 韩春军 张旭东 《光电工程》 CAS CSCD 北大核心 2022年第4期26-38,共13页

随着可见光-红外双模相机在视频监控中的广泛应用,跨模态人脸识别也成为计算机视觉领域的研究热点,而将近红外域人脸图像转化为可见光域人脸图像是跨模态人脸识别中的关键问题,在刑侦安防领域有着重要研究价值。针对近红外人脸图像在着... 随着可见光-红外双模相机在视频监控中的广泛应用,跨模态人脸识别也成为计算机视觉领域的研究热点,而将近红外域人脸图像转化为可见光域人脸图像是跨模态人脸识别中的关键问题,在刑侦安防领域有着重要研究价值。针对近红外人脸图像在着色过程中面部轮廓易被扭曲、肤色还原不真实等问题,本文提出了一种双重对比学习框架下的近红外-可见光人脸图像转换方法。该方法构建了基于StyleGAN2结构的生成器网络并将其嵌入到双重对比学习框架下,利用双向的对比学习挖掘人脸图像的精细化表征。同时,本文设计了一种面部边缘增强损失,利用从源域图像中提取的面部边缘信息进一步强化生成人脸图像中的面部细节、提高人脸图像的视觉效果。最后,在NIR-VIS Sx1和NIR-VIS Sx2数据集上的实验表明,与近期的主流方法相比,本文方法生成的可见光人脸图像更加贴近真实图像,能够更好地还原人脸图像的面部边缘细节和肤色信息。 展开更多

关键词 跨模态人脸识别 人脸图像转换 对比学习 StyleGAN2

在线阅读 下载PDF 职称材料