针对现有无监督异常检测方法普遍存在特征提取不充分和不能有效关注异常区域导致检测性能下降的问题,提出一种基于通用视觉大模型——视觉变换器(Vision Transformer,ViT)与注意力增强的无监督异常检测方法.首先,利用预训练的通用视觉Vi...针对现有无监督异常检测方法普遍存在特征提取不充分和不能有效关注异常区域导致检测性能下降的问题,提出一种基于通用视觉大模型——视觉变换器(Vision Transformer,ViT)与注意力增强的无监督异常检测方法.首先,利用预训练的通用视觉ViT模型对输入图像进行特征提取.其次,为进一步增强模型对异常区域的关注度,引入通道与空间注意力模块(Convolutional Block At-tention Module,CBAM),在特征提取阶段自适应调整特征权重,以更精准地捕捉局部异常信息.最后,本文在MVTec工业数据集与自制钢缆异常数据集上进行了大量实验,全面评估所提方法的检测性能.实验结果表明:所提方法在无监督异常检测任务上优于同期多种主流方法.在钢缆异常数据集上,所提方法的图像级受试者特征曲线下面积(Image-wise Area Under ROC,Image-wise AUROC)和F1-Score平均值分别达到88.1%和80.8%,较基准Fastflow算法提升了11.7%和7.8%.展开更多
针对剪纸图像分类中文本与图像模态差异大、类原型表达能力弱的问题,提出了一种基于CLIP模型的文本特征增强方法(CLIP visual text enhancer,C-VTE)。该方法通过人工提示模板提取文本特征,设计了一种视觉文本增强模块,并利用Cross Atten...针对剪纸图像分类中文本与图像模态差异大、类原型表达能力弱的问题,提出了一种基于CLIP模型的文本特征增强方法(CLIP visual text enhancer,C-VTE)。该方法通过人工提示模板提取文本特征,设计了一种视觉文本增强模块,并利用Cross Attention和比例残差进行连接和融合图像特征与文本特征,以减小模态差异,增强类别特征表达能力。在剪纸数据集及Caltech101等4个公开数据集上进行了实验,验证其有效性:在剪纸数据集的基类分类任务中,C-VTE平均准确率达到了72.51%,较现有方法提升3.14百分点;在公开数据集的小样本分类任务中,平均准确率达到了84.78%,提升2.45百分点。消融实验表明,模态融合模块与比例残差对性能提升影响显著。该方法为视觉语言大模型在下游分类任务中的高效适配提供了新思路,尤其适用于小样本与基类主导的场景。展开更多
文摘针对现有无监督异常检测方法普遍存在特征提取不充分和不能有效关注异常区域导致检测性能下降的问题,提出一种基于通用视觉大模型——视觉变换器(Vision Transformer,ViT)与注意力增强的无监督异常检测方法.首先,利用预训练的通用视觉ViT模型对输入图像进行特征提取.其次,为进一步增强模型对异常区域的关注度,引入通道与空间注意力模块(Convolutional Block At-tention Module,CBAM),在特征提取阶段自适应调整特征权重,以更精准地捕捉局部异常信息.最后,本文在MVTec工业数据集与自制钢缆异常数据集上进行了大量实验,全面评估所提方法的检测性能.实验结果表明:所提方法在无监督异常检测任务上优于同期多种主流方法.在钢缆异常数据集上,所提方法的图像级受试者特征曲线下面积(Image-wise Area Under ROC,Image-wise AUROC)和F1-Score平均值分别达到88.1%和80.8%,较基准Fastflow算法提升了11.7%和7.8%.
文摘针对剪纸图像分类中文本与图像模态差异大、类原型表达能力弱的问题,提出了一种基于CLIP模型的文本特征增强方法(CLIP visual text enhancer,C-VTE)。该方法通过人工提示模板提取文本特征,设计了一种视觉文本增强模块,并利用Cross Attention和比例残差进行连接和融合图像特征与文本特征,以减小模态差异,增强类别特征表达能力。在剪纸数据集及Caltech101等4个公开数据集上进行了实验,验证其有效性:在剪纸数据集的基类分类任务中,C-VTE平均准确率达到了72.51%,较现有方法提升3.14百分点;在公开数据集的小样本分类任务中,平均准确率达到了84.78%,提升2.45百分点。消融实验表明,模态融合模块与比例残差对性能提升影响显著。该方法为视觉语言大模型在下游分类任务中的高效适配提供了新思路,尤其适用于小样本与基类主导的场景。
