-
题名数字孪生中混合知识蒸馏辅助的异构联邦类增量学习
- 1
-
-
作者
张铭泉
贾圆圆
张荣华
-
机构
华北电力大学计算机系
华北电力大学河北省能源电力知识计算重点实验室
华北电力大学复杂能源系统智能计算教育部工程研究中心
-
出处
《智能系统学报》
北大核心
2025年第4期905-915,共11页
-
基金
中央高校基本科研业务费专项(2020MS122)。
-
文摘
在数字孪生背景下,联邦学习面临数据非独立同分布和类别动态变化的挑战,即空间和时间范围内的数据异构问题。为解决这一问题,本文构建了一个数字孪生背景下的联邦类增量学习整体框架,并提出了一种混合知识蒸馏辅助的联邦类增量学习方法。具体来说,与传统联邦学习本地更新方式不同,本文方法通过自适应语义蒸馏损失和自适应注意力蒸馏损失集成的混合知识蒸馏方法提取旧全局模型中输出层的软标签语义知识和中间层的高维特征知识,使客户端模型在拟合新数据的同时有效减少对旧数据的遗忘,提升联邦类增量模型的性能。在相同的数据异构情况下,与对比模型相比,本文方法在CIFAR100数据集上精度提升1.85%~2.56%,在医学CT图像数据集OrganAMNIST、OrganCMNIST、OrganSMNIST上也取得了最优或次优的性能。
-
关键词
数字孪生
联邦类增量学习
混合知识蒸馏
数据异构
图像分类
灾难性遗忘
CT图像
联邦学习
-
Keywords
digital twin
federated class incremental learning
hybrid knowledge distillation
data heterogeneity
image classification
catastrophic forgetting
CT images
federated learning
-
分类号
TP399
[自动化与计算机技术—计算机应用技术]
-
