无监督异常检测因只需要正常样本进行训练而被广泛应用于工业质检等领域。直接将现有的单类别异常检测方法应用到多类别异常检测中会导致性能显著下降,其中基于知识蒸馏的异常检测方法将预训练的教师模型关于正常样本的特征知识蒸馏到...无监督异常检测因只需要正常样本进行训练而被广泛应用于工业质检等领域。直接将现有的单类别异常检测方法应用到多类别异常检测中会导致性能显著下降,其中基于知识蒸馏的异常检测方法将预训练的教师模型关于正常样本的特征知识蒸馏到学生模型中,然而它们在多类别异常检测中存在无法保证学生模型只学习到正常样本知识的问题。文中提出一种基于反向知识蒸馏框架的无监督多类别异常检测方法(Prototype based Reverse Distillation,PRD),其通过Multi-class Normal Prototype模块和Sparse Prototype Recall训练策略来学习教师模型关于多类别正常样本特征的Prototype,并以此来过滤学生模型的输入特征,从而确保学生模型只学习到教师模型关于正常样本的特征知识。PRD在多种工业异常检测数据集上性能均超越了现有的SOTA方法,定性、定量和消融实验验证了PRD整体框架和内部模块的有效性。展开更多
近年来,小样本图异常检测在各个领域中引起了广泛的研究兴趣,其旨在在少量有标记训练节点(支持集)的引导下去检测出大量无标记测试节点(查询集)中的异常行为。然而,现有的小样本图异常检测算法通常假设其可以从具有大量有标记节点的训...近年来,小样本图异常检测在各个领域中引起了广泛的研究兴趣,其旨在在少量有标记训练节点(支持集)的引导下去检测出大量无标记测试节点(查询集)中的异常行为。然而,现有的小样本图异常检测算法通常假设其可以从具有大量有标记节点的训练任务(元训练任务)中学习,从而有效地推广到具有少量标记节点的测试任务(元测试任务),这一假设并不符合真实世界的应用条件。在实际应用中,用于小样本图异常检测训练的元训练任务通常只包含极其有限的有标记节点,其标签占比通常不超过0.1%,甚至更低。由于元训练和元测试任务之间存在的巨大任务差异,现有的小样本图异常检测算法很容易出现模型的过拟合问题。除此之外,现有的小样本图异常检测算法仅利用节点间的一阶邻域(局部结构信息)来学习节点的低维特征嵌入,反而忽略了节点间的长距离依赖关系(全局结构信息),进而导致学习到的低维特征嵌入的不准确性和失真问题。针对上述挑战,本文提出了极其弱监督场景下的小样本图异常检测算法——EWSFSGAD。具体来说,该方法首先提出了一个简单且有效的图神经网络框架——GLN(Global and Local Network),其能够同时有效地利用节点间的全局和局部结构信息,并进一步引入注意力机制实现节点间的信息交互,从而更加有效地学习节点鲁棒的低维特征嵌入;该方法还引入了图对比学习中的自监督重建损失,使得节点原始视图与其增强视图之间低维特征嵌入的互信息尽可能一致,为EWS-FSGAD模型的优化提供更多有效的自监督信息,进而提升模型的泛化性;为了提升模型在真实场景中小样本图异常检测任务的快速适应性,该方法引入跨网络元学习训练机制,从多个辅助网络学习可迁移元知识,为模型提供良好的参数初始化,从而能够通过在仅有很少甚至一个标记节点的目标网络上进行微调并有效泛化。在三个真实世界的数据集(Flickr、PubMed、Yelp)上的大量实验结果表明,本文所提方法的性能明显优于现有的图异常检测算法。特别是在PubMed数据集上,AUC-PR提升了28.8%~35.4%。这些实验结果强有力地证明了在极其有限标记的元训练任务引导下,本文所提方法能够更好地学习到异常节点本质特征,从而提升小样本图异常检测任务的有效性。展开更多
针对现有无监督异常检测方法普遍存在特征提取不充分和不能有效关注异常区域导致检测性能下降的问题,提出一种基于通用视觉大模型——视觉变换器(Vision Transformer,ViT)与注意力增强的无监督异常检测方法.首先,利用预训练的通用视觉Vi...针对现有无监督异常检测方法普遍存在特征提取不充分和不能有效关注异常区域导致检测性能下降的问题,提出一种基于通用视觉大模型——视觉变换器(Vision Transformer,ViT)与注意力增强的无监督异常检测方法.首先,利用预训练的通用视觉ViT模型对输入图像进行特征提取.其次,为进一步增强模型对异常区域的关注度,引入通道与空间注意力模块(Convolutional Block At-tention Module,CBAM),在特征提取阶段自适应调整特征权重,以更精准地捕捉局部异常信息.最后,本文在MVTec工业数据集与自制钢缆异常数据集上进行了大量实验,全面评估所提方法的检测性能.实验结果表明:所提方法在无监督异常检测任务上优于同期多种主流方法.在钢缆异常数据集上,所提方法的图像级受试者特征曲线下面积(Image-wise Area Under ROC,Image-wise AUROC)和F1-Score平均值分别达到88.1%和80.8%,较基准Fastflow算法提升了11.7%和7.8%.展开更多
在工业检测场景下,按照是否引入正常样本中不存在的异常,可以将异常检测问题分为结构异常检测和逻辑异常检测两类,逻辑异常检测对网络的全局理解能力提出了更高的要求。针对现有无监督异常检测模型在结构异常上已有较好的检测精度,但无...在工业检测场景下,按照是否引入正常样本中不存在的异常,可以将异常检测问题分为结构异常检测和逻辑异常检测两类,逻辑异常检测对网络的全局理解能力提出了更高的要求。针对现有无监督异常检测模型在结构异常上已有较好的检测精度,但无法适应逻辑异常检测需求的问题,提出一种包含空间聚合模块和通道聚合模块的双自编码器结构,主要由3部分组成。首先设计了并行空空间通道双自编码器架构,从空间和通道两个方向得到包含全局信息的特征向量,提升网络的长程依赖关系;其次设计一个选择性融合模块,融合双自编码器信息,放大包含重要信息的特征,以进一步提高对逻辑异常的表达能力;最后提出在自编码器与学生网络的损失函数中加入余弦损失,避免网络对单个像素差异过于敏感,从而关注于全局差异。在MVTec LOCO AD数据集上进行实验,逻辑异常检测精度达到89.4%,结构异常检测精度达到94.9%,平均检测精度92.1%,超越了基线方法和其他无监督缺陷检测方法,验证了方法的有效性和优越性。展开更多
在公共安全领域,如何借助视频监控设备实现实时、高效的异常事件检测,已成为一个的重要研究课题。为此,本文提出一种基于隐式类激活特征和标签置信度的弱监督视频异常检测算法。针对正常与异常之间的界限模糊并会随着不同的场景而有所...在公共安全领域,如何借助视频监控设备实现实时、高效的异常事件检测,已成为一个的重要研究课题。为此,本文提出一种基于隐式类激活特征和标签置信度的弱监督视频异常检测算法。针对正常与异常之间的界限模糊并会随着不同的场景而有所变化的问题,提出使用隐式类激活模块差异化正常和异常的类间特征表达。针对多示例学习框架引入的标签噪声问题,采用基于标签置信度感知的自训练策略,通过计算伪标签的置信度,在模型迭代过程不断提高伪标签的质量。本文算法在ShanghaiTech和UCF-Crime这2个公开数据集上的曲线下面积(area under curve,AUC)分别达到97.63%和86.38%。模型在制造业工厂实际场景中进行测试,实验结果表明所提算法能够有效检测视频中的异常事件。展开更多
文摘无监督异常检测因只需要正常样本进行训练而被广泛应用于工业质检等领域。直接将现有的单类别异常检测方法应用到多类别异常检测中会导致性能显著下降,其中基于知识蒸馏的异常检测方法将预训练的教师模型关于正常样本的特征知识蒸馏到学生模型中,然而它们在多类别异常检测中存在无法保证学生模型只学习到正常样本知识的问题。文中提出一种基于反向知识蒸馏框架的无监督多类别异常检测方法(Prototype based Reverse Distillation,PRD),其通过Multi-class Normal Prototype模块和Sparse Prototype Recall训练策略来学习教师模型关于多类别正常样本特征的Prototype,并以此来过滤学生模型的输入特征,从而确保学生模型只学习到教师模型关于正常样本的特征知识。PRD在多种工业异常检测数据集上性能均超越了现有的SOTA方法,定性、定量和消融实验验证了PRD整体框架和内部模块的有效性。
文摘近年来,小样本图异常检测在各个领域中引起了广泛的研究兴趣,其旨在在少量有标记训练节点(支持集)的引导下去检测出大量无标记测试节点(查询集)中的异常行为。然而,现有的小样本图异常检测算法通常假设其可以从具有大量有标记节点的训练任务(元训练任务)中学习,从而有效地推广到具有少量标记节点的测试任务(元测试任务),这一假设并不符合真实世界的应用条件。在实际应用中,用于小样本图异常检测训练的元训练任务通常只包含极其有限的有标记节点,其标签占比通常不超过0.1%,甚至更低。由于元训练和元测试任务之间存在的巨大任务差异,现有的小样本图异常检测算法很容易出现模型的过拟合问题。除此之外,现有的小样本图异常检测算法仅利用节点间的一阶邻域(局部结构信息)来学习节点的低维特征嵌入,反而忽略了节点间的长距离依赖关系(全局结构信息),进而导致学习到的低维特征嵌入的不准确性和失真问题。针对上述挑战,本文提出了极其弱监督场景下的小样本图异常检测算法——EWSFSGAD。具体来说,该方法首先提出了一个简单且有效的图神经网络框架——GLN(Global and Local Network),其能够同时有效地利用节点间的全局和局部结构信息,并进一步引入注意力机制实现节点间的信息交互,从而更加有效地学习节点鲁棒的低维特征嵌入;该方法还引入了图对比学习中的自监督重建损失,使得节点原始视图与其增强视图之间低维特征嵌入的互信息尽可能一致,为EWS-FSGAD模型的优化提供更多有效的自监督信息,进而提升模型的泛化性;为了提升模型在真实场景中小样本图异常检测任务的快速适应性,该方法引入跨网络元学习训练机制,从多个辅助网络学习可迁移元知识,为模型提供良好的参数初始化,从而能够通过在仅有很少甚至一个标记节点的目标网络上进行微调并有效泛化。在三个真实世界的数据集(Flickr、PubMed、Yelp)上的大量实验结果表明,本文所提方法的性能明显优于现有的图异常检测算法。特别是在PubMed数据集上,AUC-PR提升了28.8%~35.4%。这些实验结果强有力地证明了在极其有限标记的元训练任务引导下,本文所提方法能够更好地学习到异常节点本质特征,从而提升小样本图异常检测任务的有效性。
文摘针对现有无监督异常检测方法普遍存在特征提取不充分和不能有效关注异常区域导致检测性能下降的问题,提出一种基于通用视觉大模型——视觉变换器(Vision Transformer,ViT)与注意力增强的无监督异常检测方法.首先,利用预训练的通用视觉ViT模型对输入图像进行特征提取.其次,为进一步增强模型对异常区域的关注度,引入通道与空间注意力模块(Convolutional Block At-tention Module,CBAM),在特征提取阶段自适应调整特征权重,以更精准地捕捉局部异常信息.最后,本文在MVTec工业数据集与自制钢缆异常数据集上进行了大量实验,全面评估所提方法的检测性能.实验结果表明:所提方法在无监督异常检测任务上优于同期多种主流方法.在钢缆异常数据集上,所提方法的图像级受试者特征曲线下面积(Image-wise Area Under ROC,Image-wise AUROC)和F1-Score平均值分别达到88.1%和80.8%,较基准Fastflow算法提升了11.7%和7.8%.
文摘在工业检测场景下,按照是否引入正常样本中不存在的异常,可以将异常检测问题分为结构异常检测和逻辑异常检测两类,逻辑异常检测对网络的全局理解能力提出了更高的要求。针对现有无监督异常检测模型在结构异常上已有较好的检测精度,但无法适应逻辑异常检测需求的问题,提出一种包含空间聚合模块和通道聚合模块的双自编码器结构,主要由3部分组成。首先设计了并行空空间通道双自编码器架构,从空间和通道两个方向得到包含全局信息的特征向量,提升网络的长程依赖关系;其次设计一个选择性融合模块,融合双自编码器信息,放大包含重要信息的特征,以进一步提高对逻辑异常的表达能力;最后提出在自编码器与学生网络的损失函数中加入余弦损失,避免网络对单个像素差异过于敏感,从而关注于全局差异。在MVTec LOCO AD数据集上进行实验,逻辑异常检测精度达到89.4%,结构异常检测精度达到94.9%,平均检测精度92.1%,超越了基线方法和其他无监督缺陷检测方法,验证了方法的有效性和优越性。
文摘在公共安全领域,如何借助视频监控设备实现实时、高效的异常事件检测,已成为一个的重要研究课题。为此,本文提出一种基于隐式类激活特征和标签置信度的弱监督视频异常检测算法。针对正常与异常之间的界限模糊并会随着不同的场景而有所变化的问题,提出使用隐式类激活模块差异化正常和异常的类间特征表达。针对多示例学习框架引入的标签噪声问题,采用基于标签置信度感知的自训练策略,通过计算伪标签的置信度,在模型迭代过程不断提高伪标签的质量。本文算法在ShanghaiTech和UCF-Crime这2个公开数据集上的曲线下面积(area under curve,AUC)分别达到97.63%和86.38%。模型在制造业工厂实际场景中进行测试,实验结果表明所提算法能够有效检测视频中的异常事件。
