-
题名自动化张量分解加速卷积神经网络
被引量：8
- 1
-
-
作者
宋冰冰
张浩
吴子锋
刘俊晖
梁宇
周维
-
机构
云南大学信息学院
云南大学软件学院
云南大学跨境网络空间安全工程研究中心
-
出处
《软件学报》
EI
CSCD
北大核心
2021年第11期3468-3481,共14页
-
基金
国家自然科学基金(61762089,61863036,61663047)。
-
文摘
近年来,卷积神经网络(CNN)展现了强大的性能,被广泛应用到了众多领域.由于CNN参数数量庞大,且存储和计算能力需求高,其难以部署在资源受限设备上.因此,对CNN的压缩和加速成为一个迫切需要解决的问题.随着自动化机器学习(AutoML)的研究与发展,AutoML对神经网络发展产生了深远的影响.受此启发,提出了基于参数估计和基于遗传算法的两种自动化加速卷积神经网络算法.该算法能够在给定精度损失范围内自动计算出最优的CNN加速模型,有效地解决了张量分解中,人工选择秩带来的误差问题,能够有效地提升CNN的压缩和加速效果.通过在MNIST和CIFAR-10数据集上的严格测试,与原网络相比,在MNIST数据集上准确率稍微下降了0.35%,模型的运行时间获得了4.1倍的大幅提升;在CIFAR-10数据集上,准确率稍微下降了5.13%,模型的运行时间获得了0.8倍的大幅提升.
-
关键词
张量分解
卷积神经网络
自动化机器学习
神经网络压缩
神经网络加速
-
Keywords
tensor decomposition
convolutional neural network
automatic machine learning
neural network compression
neural network acceleration
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于视觉特征解耦的无数据依赖模型窃取攻击方法
- 2
-
-
作者
张锦弘
刘仁阳
韦廷楚
董云云
周维
-
机构
云南大学信息学院
-
出处
《软件学报》
2025年第10期4812-4826,共15页
-
基金
国家自然科学基金(62162067,62101480)
云南省院士专家工作站项目(202205AF150145)。
-
文摘
随着深度学习模型安全性和隐私性研究的不断深入,研究者发现模型窃取攻击能够对神经网络产生极大的威胁.典型的数据依赖模型窃取攻击可以利用一定比例的真实数据查询目标模型,在本地训练一个替代模型,从而达到目标模型窃取的目的.2020年以来,一种新颖的无数据依赖模型窃取攻击方法被提出,仅使用生成模型生成伪造的查询样本便能对深度神经网络开展窃取和攻击.由于不依赖于真实数据,无数据依赖模型窃取攻击具有更严重的破坏力.然而,目前的无数据依赖模型窃取攻击方法所构造查询样本的多样性和有效性不足,存在模型窃取过程中查询次数大、攻击成功率较低的问题.因此提出一种基于视觉特征解耦的无数据依赖模型窃取攻击方法VFDA (vision feature decoupling-based model stealing attack),该方法通过利用多解码器结构对无数据依赖模型窃取过程中生成的查询样本的视觉特征进行解耦与生成,从而提高查询样本的多样性和模型窃取的有效性.具体来说,VFDA利用3个解码器分别生成查询样本的纹理信息、区域编码和平滑信息,完成查询样本的视觉特征解耦.其次,为了使生成的查询样本更加符合真实样本的视觉特征,通过限制纹理信息的稀疏性以及对生成的平滑信息进行滤波.VFDA利用了神经网络的表征倾向依赖于图像纹理特征的性质,能够生成类间多样性的查询样本,从而有效提高了模型窃取的相似性以及攻击成功率.此外,VFDA对解耦生成的查询样本平滑信息添加了类内多样性损失,使查询样本更加符合真实样本的分布.通过与多个模型窃取攻击方法对比,VFDA方法在模型窃取的相似性以及攻击的成功率上具有更好的表现.特别在分辨率较高的GTSRB和Tiny-ImageNet数据集上,相比于目前较好的EBFA方法,在攻击成功率上VFDA方法平均提高了3.86%和4.15%.
-
关键词
模型窃取
对抗样本
迁移攻击
生成模型
模型隐私
-
Keywords
model stealing
adversarial example
transfer attack
generative model
model privacy
-
分类号
TP309
[自动化与计算机技术]
-
