-
题名融合多头自注意力的标签语义嵌入联邦类增量学习方法
- 1
-
-
作者
王虎
王晓峰
李可
马云洁
-
机构
北方民族大学计算机科学与工程学院
图形图像智能处理国家民委重点实验室(北方民族大学)
北方民族大学数学与信息科学学院
-
出处
《计算机应用》
北大核心
2025年第10期3083-3090,共8页
-
基金
宁夏自然科学基金资助项目(2024AAC03165,2024AAC03169)
宁夏青年拔尖人才项目(2021)。
-
文摘
灾难性遗忘对联邦类增量学习(FCIL)构成了显著挑战,导致进行FCIL持续任务时性能下降的问题。针对此问题,提出一种融合多头自注意力(MHSA)的标签语义嵌入(LSE)的FCIL方法——ATTLSE(ATTention Label Semantic Embedding)。首先,融合MHSA的LSE和生成器;其次,在无数据知识蒸馏(DFKD)阶段,依靠融合MHSA的生成器生成更多有意义的数据样本,以指导用户端模型的训练,并降低灾难性遗忘问题在FCIL中的影响。实验结果表明,在CIFAR-100和Tiny_ImageNet数据集上,与LANDER(Label Text Centered Data-Free Knowledge Transfer)方法相比,ATTLSE的平均准确率提升了0.06~6.45个百分点,缓解了持续任务在联邦类增量学习上的灾难性遗忘问题。
-
关键词
灾难性遗忘
联邦类增量学习
多头自注意力
标签语义嵌入
无数据知识蒸馏
-
Keywords
catastrophic forgetting
Federated Class-Incremental Learning(FCIL)
Multi-Head Self-Attention(MHSA)
Label Semantic Embedding(LSE)
Data-Free Knowledge Distillation(DFKD)
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
