在只有图像和目标文本提示作为输入的情况下,对真实图像进行基于文本引导的编辑是一项极具挑战性的任务。以往基于微调大型预训练扩散模型的方法,往往对源文本特征和目标文本特征进行简单的插值组合,用于引导图像生成过程,这限制了其编...在只有图像和目标文本提示作为输入的情况下,对真实图像进行基于文本引导的编辑是一项极具挑战性的任务。以往基于微调大型预训练扩散模型的方法,往往对源文本特征和目标文本特征进行简单的插值组合,用于引导图像生成过程,这限制了其编辑能力,同时微调大型扩散模型极易出现过拟合且耗时长的问题。提出了一种基于映射融合嵌入扩散模型的文本引导图像编辑方法(Text-guided image editing method based on diffusion model with mapping-fusion embedding,MFE-Diffusion)。该方法由两部分组成:(1)大型预训练扩散模型与源文本特征向量联合学习框架,使模型可以快速学习以重建给定的原图像;(2)特征映射融合模块,深度融合目标文本与原图像的特征信息,生成条件嵌入,用于引导图像编辑过程。在具有挑战性的文本引导图像编辑基准TEdBench上进行实验验证,结果表明所提方法在图像编辑性能上具有优势。展开更多
图像异常检测旨在识别并定位图像中的异常区域,针对现有算法中不同层次特征信息利用不充分的问题,提出了基于多层次特征融合网络的图像异常检测算法。通过使用融合了异常先验知识的伪异常数据生成算法,对训练集进行了异常数据扩充,将异...图像异常检测旨在识别并定位图像中的异常区域,针对现有算法中不同层次特征信息利用不充分的问题,提出了基于多层次特征融合网络的图像异常检测算法。通过使用融合了异常先验知识的伪异常数据生成算法,对训练集进行了异常数据扩充,将异常检测任务转化为监督学习任务;构建了多层次特征融合网络,将神经网络中不同层次特征进行融合,丰富了特征中的低层纹理信息和高层语义信息,使得用于异常检测的特征更具区分性;训练时,设计了分数约束损失和一致性约束损失,并结合特征约束损失对整个网络模型进行训练。实验结果表明,MVTec数据集上图像级检测接收机工作特性曲线下面积(area under the receiver operating characteristic, AUROC)平均值为98.7%,像素级定位AUROC平均值为97.9%,每区域重叠率平均值为94.2%,均高于现有的异常检测算法。展开更多
文摘在只有图像和目标文本提示作为输入的情况下,对真实图像进行基于文本引导的编辑是一项极具挑战性的任务。以往基于微调大型预训练扩散模型的方法,往往对源文本特征和目标文本特征进行简单的插值组合,用于引导图像生成过程,这限制了其编辑能力,同时微调大型扩散模型极易出现过拟合且耗时长的问题。提出了一种基于映射融合嵌入扩散模型的文本引导图像编辑方法(Text-guided image editing method based on diffusion model with mapping-fusion embedding,MFE-Diffusion)。该方法由两部分组成:(1)大型预训练扩散模型与源文本特征向量联合学习框架,使模型可以快速学习以重建给定的原图像;(2)特征映射融合模块,深度融合目标文本与原图像的特征信息,生成条件嵌入,用于引导图像编辑过程。在具有挑战性的文本引导图像编辑基准TEdBench上进行实验验证,结果表明所提方法在图像编辑性能上具有优势。
文摘图像异常检测旨在识别并定位图像中的异常区域,针对现有算法中不同层次特征信息利用不充分的问题,提出了基于多层次特征融合网络的图像异常检测算法。通过使用融合了异常先验知识的伪异常数据生成算法,对训练集进行了异常数据扩充,将异常检测任务转化为监督学习任务;构建了多层次特征融合网络,将神经网络中不同层次特征进行融合,丰富了特征中的低层纹理信息和高层语义信息,使得用于异常检测的特征更具区分性;训练时,设计了分数约束损失和一致性约束损失,并结合特征约束损失对整个网络模型进行训练。实验结果表明,MVTec数据集上图像级检测接收机工作特性曲线下面积(area under the receiver operating characteristic, AUROC)平均值为98.7%,像素级定位AUROC平均值为97.9%,每区域重叠率平均值为94.2%,均高于现有的异常检测算法。
