内容导读随着5G网络的广泛部署与应用,全球通信产业正迈入以智能化、泛在化、绿色化为核心特征的6G发展新阶段。6G不仅聚焦于极致的通信性能提升,还承载着构建智慧社会、推动产业数字化转型的使命。在这一背景下,物联网(Internet of Thi...内容导读随着5G网络的广泛部署与应用,全球通信产业正迈入以智能化、泛在化、绿色化为核心特征的6G发展新阶段。6G不仅聚焦于极致的通信性能提升,还承载着构建智慧社会、推动产业数字化转型的使命。在这一背景下,物联网(Internet of Things,IoT)作为“万物互联”的核心支撑技术,正朝着更大规模、更高智能、更强感知的方向演进,二者的深度融合成为引领未来通信技术发展的关键动力。展开更多
知识蒸馏的核心思想是利用1个作为教师网络的大型模型来指导1个作为学生网络的小型模型,提升学生网络在图像分类任务上的性能.现有知识蒸馏方法通常从单一的输入样本中提取类别概率或特征信息作为知识,并没有对样本间关系进行建模,造成...知识蒸馏的核心思想是利用1个作为教师网络的大型模型来指导1个作为学生网络的小型模型,提升学生网络在图像分类任务上的性能.现有知识蒸馏方法通常从单一的输入样本中提取类别概率或特征信息作为知识,并没有对样本间关系进行建模,造成网络的表征学习能力下降.为解决此问题,本文引入图卷积神经网络,将输入样本集视为图结点构建关系图,图中的每个样本都可以聚合其他样本信息,提升样本的表征能力.本文从图结点和图关系2个角度构建图表征知识蒸馏误差,利用元学习引导学生网络自适应学习教师网络更佳的图表征,提升学生网络的图建模能力.相比于基线方法,本文提出的图表征知识蒸馏方法在加拿大高等研究院(Canadian Institute For Advanced Research,CIFAR)发布的100种分类数据集上提升了3.70%的分类准确率,表明本文方法引导学生网络学习到了更具有判别性的特征空间,提升了图像分类能力.展开更多
文摘内容导读随着5G网络的广泛部署与应用,全球通信产业正迈入以智能化、泛在化、绿色化为核心特征的6G发展新阶段。6G不仅聚焦于极致的通信性能提升,还承载着构建智慧社会、推动产业数字化转型的使命。在这一背景下,物联网(Internet of Things,IoT)作为“万物互联”的核心支撑技术,正朝着更大规模、更高智能、更强感知的方向演进,二者的深度融合成为引领未来通信技术发展的关键动力。
文摘知识蒸馏的核心思想是利用1个作为教师网络的大型模型来指导1个作为学生网络的小型模型,提升学生网络在图像分类任务上的性能.现有知识蒸馏方法通常从单一的输入样本中提取类别概率或特征信息作为知识,并没有对样本间关系进行建模,造成网络的表征学习能力下降.为解决此问题,本文引入图卷积神经网络,将输入样本集视为图结点构建关系图,图中的每个样本都可以聚合其他样本信息,提升样本的表征能力.本文从图结点和图关系2个角度构建图表征知识蒸馏误差,利用元学习引导学生网络自适应学习教师网络更佳的图表征,提升学生网络的图建模能力.相比于基线方法,本文提出的图表征知识蒸馏方法在加拿大高等研究院(Canadian Institute For Advanced Research,CIFAR)发布的100种分类数据集上提升了3.70%的分类准确率,表明本文方法引导学生网络学习到了更具有判别性的特征空间,提升了图像分类能力.
