随着数据维度和规模的不断增加,基于深度学习的异常检测方法取得了优异的检测性能,其中深度支持向量数据描述(Deep SVDD)得到了广泛应用。然而,要缓解超球崩溃问题,就需要对Deep SVDD中映射网络的各种参数施加约束。为了进一步提高Deep ...随着数据维度和规模的不断增加,基于深度学习的异常检测方法取得了优异的检测性能,其中深度支持向量数据描述(Deep SVDD)得到了广泛应用。然而,要缓解超球崩溃问题,就需要对Deep SVDD中映射网络的各种参数施加约束。为了进一步提高Deep SVDD中映射网络的特征学习能力,同时解决超球崩溃问题,提出了基于混合高斯先验变分自编码器的深度多球支持向量数据描述(Deep Multiple-Sphere Support Vector Data Description Based on Variational Autoencoder with Mixture-of-Gaussians Prior,DMSVDD-VAE-MoG)。首先,通过预训练初始化网络参数和多个超球中心;其次,利用映射网络获得训练数据的潜在特征,对VAE损失、多个超球的平均半径和潜在特征到所对应超球中心的平均距离进行联合优化,以获得最优网络连接权重和多个最小超球。实验结果表明,所提DMSVDD-VAE-MoG在MNIST,Fashion-MNIST和CIFAR-10上均取得了优于其他8种相关方法的检测性能。展开更多
文摘随着数据维度和规模的不断增加,基于深度学习的异常检测方法取得了优异的检测性能,其中深度支持向量数据描述(Deep SVDD)得到了广泛应用。然而,要缓解超球崩溃问题,就需要对Deep SVDD中映射网络的各种参数施加约束。为了进一步提高Deep SVDD中映射网络的特征学习能力,同时解决超球崩溃问题,提出了基于混合高斯先验变分自编码器的深度多球支持向量数据描述(Deep Multiple-Sphere Support Vector Data Description Based on Variational Autoencoder with Mixture-of-Gaussians Prior,DMSVDD-VAE-MoG)。首先,通过预训练初始化网络参数和多个超球中心;其次,利用映射网络获得训练数据的潜在特征,对VAE损失、多个超球的平均半径和潜在特征到所对应超球中心的平均距离进行联合优化,以获得最优网络连接权重和多个最小超球。实验结果表明,所提DMSVDD-VAE-MoG在MNIST,Fashion-MNIST和CIFAR-10上均取得了优于其他8种相关方法的检测性能。
文摘变分自编码(variational autoencoder,VAE)是一种基于连续隐向量的生成模型,通过变分近似构建目标函数,其中的生成模型及变分推理模型均采用神经网络结构.传统变分自编码模型中的变分识别模型假设多维隐变量之间是相互独立的,这种假设简化了推理过程,但是这使得变分下界过于松弛,同时限制了隐向量空间的表示能力.提出混合变分自编码(mixture of variational autoencoder,MVAE)模型,它通过多个变分自编码组件生成样本数据,丰富了变分识别模型结构,同时扩展了隐向量表示空间.该模型以连续型隐向量作为模型的隐层表示,其先验分布为高斯分布;以离散型隐向量作为各组件的指示向量,其先验分布为多项式分布.对于MVAE模型的变分优化目标,采用重参策略和折棍参数化策略处理目标函数,并用随机梯度下降方法求解模型参数.MVAE采用混合组件的方法可以增强隐变量空间的表示能力,提高近似推理精度,重参策略和折棍参数化策略可以有效求解对应的优化问题.最后在MNIST和OMNIGLOT数据集上设计了对比实验,验证了MVAE模型较高的推理精度及较强的隐变量空间表示能力.
