数字孪生中混合知识蒸馏辅助的异构联邦类增量学习

1

作者 张铭泉 贾圆圆 张荣华 《智能系统学报》 北大核心 2025年第4期905-915,共11页

在数字孪生背景下,联邦学习面临数据非独立同分布和类别动态变化的挑战,即空间和时间范围内的数据异构问题。为解决这一问题,本文构建了一个数字孪生背景下的联邦类增量学习整体框架,并提出了一种混合知识蒸馏辅助的联邦类增量学习方法... 在数字孪生背景下,联邦学习面临数据非独立同分布和类别动态变化的挑战,即空间和时间范围内的数据异构问题。为解决这一问题,本文构建了一个数字孪生背景下的联邦类增量学习整体框架,并提出了一种混合知识蒸馏辅助的联邦类增量学习方法。具体来说,与传统联邦学习本地更新方式不同,本文方法通过自适应语义蒸馏损失和自适应注意力蒸馏损失集成的混合知识蒸馏方法提取旧全局模型中输出层的软标签语义知识和中间层的高维特征知识,使客户端模型在拟合新数据的同时有效减少对旧数据的遗忘,提升联邦类增量模型的性能。在相同的数据异构情况下,与对比模型相比,本文方法在CIFAR100数据集上精度提升1.85%~2.56%,在医学CT图像数据集OrganAMNIST、OrganCMNIST、OrganSMNIST上也取得了最优或次优的性能。 展开更多

关键词 数字孪生 联邦类增量学习 混合知识蒸馏 数据异构 图像分类 灾难性遗忘 CT图像 联邦学习

在线阅读 下载PDF 职称材料

融合多头自注意力的标签语义嵌入联邦类增量学习方法

2

作者 王虎 王晓峰 +1 位作者 李可 马云洁 《计算机应用》 北大核心 2025年第10期3083-3090,共8页

灾难性遗忘对联邦类增量学习(FCIL)构成了显著挑战,导致进行FCIL持续任务时性能下降的问题。针对此问题,提出一种融合多头自注意力(MHSA)的标签语义嵌入(LSE)的FCIL方法——ATTLSE(ATTention Label Semantic Embedding)。首先,融合MHSA... 灾难性遗忘对联邦类增量学习(FCIL)构成了显著挑战,导致进行FCIL持续任务时性能下降的问题。针对此问题,提出一种融合多头自注意力(MHSA)的标签语义嵌入(LSE)的FCIL方法——ATTLSE(ATTention Label Semantic Embedding)。首先,融合MHSA的LSE和生成器;其次,在无数据知识蒸馏(DFKD)阶段,依靠融合MHSA的生成器生成更多有意义的数据样本,以指导用户端模型的训练,并降低灾难性遗忘问题在FCIL中的影响。实验结果表明,在CIFAR-100和Tiny_ImageNet数据集上,与LANDER(Label Text Centered Data-Free Knowledge Transfer)方法相比,ATTLSE的平均准确率提升了0.06~6.45个百分点,缓解了持续任务在联邦类增量学习上的灾难性遗忘问题。 展开更多

关键词 灾难性遗忘 联邦类增量学习 多头自注意力 标签语义嵌入 无数据知识蒸馏

在线阅读 下载PDF 职称材料

一种少样本类增量学习中的隐蔽性后门攻击方法

3

作者 钱慧 刘亚志 +2 位作者 李伟 安逸 李思维 《信息安全研究》 北大核心 2025年第9期797-806,共10页

深度学习的快速发展导致用户对训练数据的需求急剧增加,少样本类增量学习已经成为一种在训练深度学习模型时增强数据完整性的重要技术,用户可以直接下载经过少样本类增量学习算法训练好的数据集或模型提高使用效率.然而此技术带来便利... 深度学习的快速发展导致用户对训练数据的需求急剧增加,少样本类增量学习已经成为一种在训练深度学习模型时增强数据完整性的重要技术,用户可以直接下载经过少样本类增量学习算法训练好的数据集或模型提高使用效率.然而此技术带来便利的同时模型的安全问题也应引起人们的关注.对图像领域中的少样本类增量学习模型进行了后门攻击的研究,提出一种少样本类增量学习中的隐蔽性后门攻击方法,分别在初始和增量2个阶段进行后门攻击:在初始阶段将隐蔽性后门触发器注入基础数据集,含有后门的基础数据集代替原始数据进行增量学习;在增量阶段,当新增批次样本到来时选择部分样本加入触发器,并在增量过程中迭代地优化触发器,使其具有最佳的触发效果.经实验评估表明,隐蔽性后门攻击方法的攻击成功率(attack success rate, ASR)最高可达到100%,干净样本测试准确率(clean test accuracy, CTA)与干净样本模型性能保持稳定水平,同时对后门防御机制具有鲁棒性. 展开更多

关键词 少样本类增量学习 模型安全 后门攻击 数据投毒 隐蔽性触发器

在线阅读 下载PDF 职称材料

基于神经坍塌的类增量学习方法

4

作者 扈超舜 叶标华 +1 位作者 谢晓华 赖剑煌 《中山大学学报（自然科学版）（中英文）》 CAS CSCD 北大核心 2024年第6期224-235,共12页

类增量学习中的新旧类不平衡导致少数坍塌发生,旧类的识别能力降低.现有方法通常基于经验调整深度特征空间中类别间的几何关系以避免少数坍塌,缺乏理论指导.神经坍塌从理论上揭示了类别间的最佳几何结构——等角紧致框架.受此启发,本文... 类增量学习中的新旧类不平衡导致少数坍塌发生,旧类的识别能力降低.现有方法通常基于经验调整深度特征空间中类别间的几何关系以避免少数坍塌,缺乏理论指导.神经坍塌从理论上揭示了类别间的最佳几何结构——等角紧致框架.受此启发,本文提出了一种名为持续构造神经坍塌的方法来解决少数坍塌.该方法通过紧致损失和等角损失来约束形成等角紧致框架结构.然而不平衡数据分布导致全局质心估计不准确和旧类之间约束困难,进而导致上述两个损失无法充分施展其效果.为此,本文进一步提出了分类器向量辅助模块和难例采样模块来分别解决上述两个问题.实验结果表明,本文提出的方法有效诱导了神经坍塌的发生,并且在CIFAR100和ImageNet数据集上都超过了当前最优方法 . 展开更多

关键词 类增量学习 神经坍塌 少数坍塌 动态扩展结构

在线阅读 下载PDF 职称材料

类别数据流和特征空间双分离的类增量学习算法

5

作者 云涛 潘泉 +2 位作者 刘磊 白向龙 刘宏 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第10期3879-3889,共11页

针对类增量学习(CIL)中的灾难性遗忘问题,该文提出一种不同类的数据流和特征空间双分离的类增量学习算法。双分离(S2)算法在1次增量任务中包含2个阶段。第1个阶段通过分类损失、蒸馏损失和对比损失的综合约束训练网络。根据模块功能对... 针对类增量学习(CIL)中的灾难性遗忘问题,该文提出一种不同类的数据流和特征空间双分离的类增量学习算法。双分离(S2)算法在1次增量任务中包含2个阶段。第1个阶段通过分类损失、蒸馏损失和对比损失的综合约束训练网络。根据模块功能对各类的数据流进行分离,以增强新网络对新类别的识别能力。通过对比损失的约束,增大各类数据在特征空间中的距离,避免由于旧类样本的不完备性造成特征空间被新类侵蚀。第2个阶段对不均衡的数据集进行动态均衡采样,利用得到的均衡数据集对新网络进行动态微调。利用实测和仿真数据构建了一个飞机目标高分辨率距离像增量学习数据集,实验结果表明该算法相比其它几种对比算法在保持高可塑性的同时,具有更高的稳定性,综合性能更优。 展开更多

关键词 雷达目标识别 逆合成孔径雷达 高分辨率距离像 类增量学习

在线阅读 下载PDF 职称材料

基于知识蒸馏的不存储旧数据的类增量学习 被引量：1

6

作者 刘展阳 刘进锋 《计算机应用》 CSCD 北大核心 2024年第S2期12-17,共6页

以往的不存储旧数据的类增量学习方法虽然能通过模型反转等技术生成已学任务中的类别数据,但未能有效缓解模型的可塑性-稳定性困境,并且这些合成技术很容易忽略数据的多样性。针对以上问题,提出一种基于知识蒸馏的增量学习策略。首先,... 以往的不存储旧数据的类增量学习方法虽然能通过模型反转等技术生成已学任务中的类别数据,但未能有效缓解模型的可塑性-稳定性困境,并且这些合成技术很容易忽略数据的多样性。针对以上问题,提出一种基于知识蒸馏的增量学习策略。首先,采用局部交叉熵损失促使模型学习新的类别知识;其次,引入基于输出特征的蒸馏组合,以减少对旧类别知识的遗忘;最后,使用基于关系特征的蒸馏,从而缓解模型在学习新类别表征与保留旧类别表征之间的冲突。而且,为了增加生成数据的多样性,在模型反转的基础上引入一个正则项,以防止生成的样本过于相似。实验结果表明,与基于关系引导表示学习的不存储旧数据的类增量学习(R-DFCIL)相比:在CIFAR-100数据集上,所提模型在5个任务和10个任务上的平均增量准确率分别提高了0.25和0.18个百分点;在Tiny-ImageNet数据集上,相应的提升分别为0.21和0.07个百分点。此外,所提模型不需要额外的分类器微调,且所提多样性正则项为不存储旧数据的类增量学习提供了一种改进方向。 展开更多

关键词 知识蒸馏 类增量学习 模型反转 多样性正则 深度学习

在线阅读 下载PDF 职称材料

基于因果关系的小样本类增量学习

7

作者 刘冰瑶 刘进锋 《计算机应用》 CSCD 北大核心 2024年第S01期54-59,共6页

相较于一次性获得所有训练数据的批量学习,小样本类增量学习具有更高的现实意义,它既能使机器学习更接近人类智能水平,又可以减少深度学习模型对大量训练数据的依赖。为缓解小样本类增量学习对旧类的遗忘,同时使分类过程不受任何因素的... 相较于一次性获得所有训练数据的批量学习,小样本类增量学习具有更高的现实意义,它既能使机器学习更接近人类智能水平,又可以减少深度学习模型对大量训练数据的依赖。为缓解小样本类增量学习对旧类的遗忘,同时使分类过程不受任何因素的干扰,提出一种基于因果关系的小样本类增量学习策略。首先,采用干预式小样本学习剔除预训练知识所产生的混淆影响,使样本特征与分类标签具有真实的因果关系;其次,采用基于因果效应的类增量学习方法,通过在旧数据与最终标签间建立通路达到数据重放的因果效应,缓解灾难性遗忘;最后,采用随机情节选择策略增强特征的可扩展性,使它适应后续的增量学习。在miniImageNet与CIFAR100数据集上的实验结果表明,所提方法在1~8轮的增量学习过程中取得了最优的平均精度,同时具有一定稳定性、可解释性。 展开更多

关键词 小样本类增量学习 可解释性 因果推断 增量学习 神经网络

在线阅读 下载PDF 职称材料

基于超球支持向量机的类增量学习算法研究 被引量：8

8

作者 秦玉平 李祥纳 +1 位作者 王秀坤 王春立 《计算机科学》 CSCD 北大核心 2008年第8期116-118,共3页

提出了一种超球支持向量机类增量学习算法。对每一类样本,利用超球支持向量机在特征空间中求得包围该类尽可能多样本的最小超球,使各类样本之间通过超球隔开。类增量学习过程中,只对新增类样本进行训练,使得该算法在很小的样本集、很小... 提出了一种超球支持向量机类增量学习算法。对每一类样本,利用超球支持向量机在特征空间中求得包围该类尽可能多样本的最小超球,使各类样本之间通过超球隔开。类增量学习过程中,只对新增类样本进行训练,使得该算法在很小的样本集、很小的空间代价下实现了类增量学习,大大降低了训练时间,同时保留了历史训练结果。分类过程中,通过计算待分类样本到各超球球心的距离判定其所属类别,分类简单快捷。实验结果证明,该算法不仅具有较高的训练速度,而且具有较高的分类速度和分类精度。 展开更多

关键词 支持向量机 类增量学习 超球

在线阅读 下载PDF 职称材料

一种新的类增量学习方法 被引量：2

9

作者 秦玉平 陈一荻 +1 位作者 王春立 王秀坤 《计算机工程与应用》 CSCD 北大核心 2011年第34期181-183,237,共4页

提出一种新的基于超椭球的类增量学习算法。对每一类样本,在特征空间求得一个包围该类尽可能多样本的最小超椭球,使得各类样本之间通过超椭球隔开。类增量学习过程中,只对新增类样本进行训练。分类时,通过计算待分类样本是否在超椭球内... 提出一种新的基于超椭球的类增量学习算法。对每一类样本,在特征空间求得一个包围该类尽可能多样本的最小超椭球,使得各类样本之间通过超椭球隔开。类增量学习过程中,只对新增类样本进行训练。分类时,通过计算待分类样本是否在超椭球内判定其所属类别。实验结果证明,该方法较超球方法提高了分类精度和分类速度。 展开更多

关键词 超椭球 类增量学习 缩放因子

在线阅读 下载PDF 职称材料

用于P2P流媒体识别的类增量学习算法 被引量：1

10

作者 李进 张鑫 王晖 《计算机工程》 CAS CSCD 北大核心 2011年第20期154-156,共3页

针对P2P流媒体流量识别中的类增量学习问题,提出一种基于"一对一"支持向量机多分类器的类增量学习算法CIOOL。充分利用原有多分类器知识,在不打破原有分类器体系的前提下加入新增类样本知识,以构造出新的多分类器。实验结果表... 针对P2P流媒体流量识别中的类增量学习问题,提出一种基于"一对一"支持向量机多分类器的类增量学习算法CIOOL。充分利用原有多分类器知识,在不打破原有分类器体系的前提下加入新增类样本知识,以构造出新的多分类器。实验结果表明,CIOOL算法能在保证识别精度的同时减少训练时间和内存消耗,是一种解决P2P流媒体流量识别中类增量问题的有效方法。 展开更多

关键词 P2P流媒体识别 类增量学习 一对一 支持向量机 CIOOL算法

在线阅读 下载PDF 职称材料

基于VAE的伪样本重排练实现的类增量学习 被引量：2

11

作者 莫建文 陈瑶嘉 《计算机工程与设计》 北大核心 2021年第8期2284-2290,共7页

针对神经网络模型进行类增量学习时产生的灾难性遗忘问题,提出一种基于VAE的伪样本重排练实现的类增量学习方法。采用VAE生成伪样本的方法,实现重排练,生成与真实图像相似的伪图像;引入大边界Softmax损失训练分类器,使分类器学习到类间... 针对神经网络模型进行类增量学习时产生的灾难性遗忘问题,提出一种基于VAE的伪样本重排练实现的类增量学习方法。采用VAE生成伪样本的方法,实现重排练,生成与真实图像相似的伪图像;引入大边界Softmax损失训练分类器,使分类器学习到类间距离更大、类内距离更小的特征;采用一种基于类均值特征的伪样本选择策略,基于分类器训练样本的类均值特征,使筛选出来的伪样本更具代表性。在MNIST、FASHION数据集上的实验结果表明,所提方法能有效减少灾难性遗忘的影响,提高图像分类精度。 展开更多

关键词 类增量学习 灾难性遗忘 伪样本重排练 变分自编码器 伪样本选择

在线阅读 下载PDF 职称材料

支持向量机加权类增量学习算法研究

12

作者 秦玉平 李祥纳 +1 位作者 王秀坤 王春立 《计算机工程与应用》 CSCD 北大核心 2007年第34期177-179,共3页

针对支持向量机类增量学习过程中参与训练的两类样本数量不平衡而导致的错分问题,给出了一种加权类增量学习算法,将新增类作为正类,原有类作为负类,利用一对多方法训练子分类器,训练时根据训练样本所占的比例对类加权值,提高了小类别样... 针对支持向量机类增量学习过程中参与训练的两类样本数量不平衡而导致的错分问题,给出了一种加权类增量学习算法,将新增类作为正类,原有类作为负类,利用一对多方法训练子分类器,训练时根据训练样本所占的比例对类加权值,提高了小类别样本的分类精度。实验证明了该方法的有效性。 展开更多

关键词 支持向量机 类增量学习 分类算法 加权

在线阅读 下载PDF 职称材料

基于特征分布学习的小样本类增量学习 被引量：1

13

作者 姚光乐 祝钧桃 +3 位作者 周文龙 张贵宇 张伟 张谦 《计算机工程与应用》 CSCD 北大核心 2023年第14期151-157,共7页

关注了一个非常具有挑战性的问题:深度神经网络的小样本类增量学习。其中深度神经网络模型可以从少量的样本中逐步学习新知识,同时不会忘记已学习的旧知识。为了平衡模型对旧知识的记忆和对新知识的学习,提出了一个基于特征分布学习的... 关注了一个非常具有挑战性的问题:深度神经网络的小样本类增量学习。其中深度神经网络模型可以从少量的样本中逐步学习新知识,同时不会忘记已学习的旧知识。为了平衡模型对旧知识的记忆和对新知识的学习,提出了一个基于特征分布学习的小样本类增量学习方法。在基类上学习模型以获得一个性能良好的特征提取器,并使用每类的特征分布信息来表示知识。将已学习的知识与新类的特征一起映射到一个新的低维子空间中,以统一地回顾旧知识与学习新知识。在子空间内,还为每个新类生成了分类权值初始化,以提高模型对新类的适应性。大量实验表明,该方法可以有效地减轻模型对已学习知识的遗忘,同时提高模型对新知识的适应性。 展开更多

关键词 小样本类增量学习 深度神经网络 增量学习

在线阅读 下载PDF 职称材料

基于脑启发的类增量学习 被引量：2

14

作者 王伟 张志莹 +3 位作者 郭杰龙 兰海 俞辉 魏宪 《计算机应用研究》 CSCD 北大核心 2023年第3期671-675,688,共6页

现有的类增量学习方法多是采用存储数据或者扩展网络结构,但受内存资源限制不能有效缓解灾难性遗忘问题。针对这一问题,创新地提出基于脑启发生成式重放方法。首先,通过VAE-ACGAN模拟记忆自组织系统,提高生成伪样本的质量;再引入共享参... 现有的类增量学习方法多是采用存储数据或者扩展网络结构,但受内存资源限制不能有效缓解灾难性遗忘问题。针对这一问题,创新地提出基于脑启发生成式重放方法。首先,通过VAE-ACGAN模拟记忆自组织系统,提高生成伪样本的质量;再引入共享参数模块和私有参数模块,保护已提取的特征;最后,针对生成器中的潜在变量使用高斯混合模型,采样特定重放伪样本。在MNIST、Permuted MNIST和CIFAR-10数据集上的实验结果表明,所提方法的分类准确率分别为92.91%、91.44%和40.58%,显著优于其他类增量学习方法。此外,在MNIST数据集上,反向迁移和正向迁移指标达到了3.32%和0.83%,证明该方法实现任务的稳定性和可塑性之间的权衡,有效地防止了灾难性遗忘。 展开更多

关键词 类增量学习 持续学习 灾难性遗忘 脑启发生成重放

在线阅读 下载PDF 职称材料

面向多姿态点云目标的在线类增量学习 被引量：1

15

作者 张润江 郭杰龙 +3 位作者 俞辉 兰海 王希豪 魏宪 《液晶与显示》 CAS CSCD 北大核心 2023年第11期1542-1553,共12页

针对目前增量学习中所面向目标都是固定姿态这一现象,本文考虑了更严格的设定,即面向多姿态目标的在线类增量学习,并提出了无视姿态重放方法来缓解在线类增量学习中面对多姿态目标时的灾难性遗忘。首先,将2D/3D目标进行点云化处理,以方... 针对目前增量学习中所面向目标都是固定姿态这一现象,本文考虑了更严格的设定,即面向多姿态目标的在线类增量学习,并提出了无视姿态重放方法来缓解在线类增量学习中面对多姿态目标时的灾难性遗忘。首先,将2D/3D目标进行点云化处理,以方便提取目标的有效几何信息;其次,基于SE(d)(d=2,3)群对网络进行平移旋转等变性改进,使网络能够提取更丰富的几何信息,从而降低模型在每个任务中受目标姿态的影响;最后,根据损失变化采样特定样本用于重放来缓解灾难性遗忘。实验结果表明,在面对固定姿态目标MNIST、CIFAR-10时,本文方法的最终平均精度分别达到了88%和42.6%,与对比方法结果相近,但最终平均遗忘率明显优于对比方法,分别降低了约3%和15%。在面对多姿态目标RotMNIST、trCIFAR-10时,本文方法依旧能很好地保持在固定姿态目标中的表现,基本不受目标姿态的影响。此外,在3D数据集ModelNet40中的表现也依旧稳定。本文所提方法在在线类增量学习中能够不受目标姿态的影响,同时能缓解灾难性遗忘,具有很好的稳定性和可塑性。 展开更多

关键词 在线类增量学习 灾难性遗忘 无视姿态重放 等变性 点云分类

在线阅读 下载PDF 职称材料

基于原型回放和动态更新的类增量学习方法

16

作者 张禹 曹熙卿 +3 位作者 钮赛赛 许鑫磊 张倩 王喆 《计算机科学》 CSCD 北大核心 2023年第S02期14-20,共7页

灾难性遗忘问题在增量学习场景中普遍存在,而对旧知识的遗忘会严重影响模型在整个任务序列上的平均性能。因此,针对在增量学习过程中原型偏移引起的旧知识遗忘问题,提出了一种基于原型回放和动态更新的类增量学习方法。该方法在原型更... 灾难性遗忘问题在增量学习场景中普遍存在,而对旧知识的遗忘会严重影响模型在整个任务序列上的平均性能。因此,针对在增量学习过程中原型偏移引起的旧知识遗忘问题,提出了一种基于原型回放和动态更新的类增量学习方法。该方法在原型更新阶段保留新类的原型后,进一步采用动态更新策略对旧类的原型进行实时更新。具体地,在学习新任务后,该策略基于当前可访问数据的已知偏移,来实现在旧类原型中存在的未知偏移的近似估计,并最终完成对旧类原型的更新,从而缓解原始的旧类原型与当前的特征映射间的不匹配。在CIFAR-100和Tiny-ImageNet数据集上的实验结果表明,所提出的基于原型回放和动态更新的类增量学习方法能够有效地减少对旧知识的灾难性遗忘,提高模型在类增量学习场景中的分类性能。 展开更多

关键词 类增量学习 原型更新 知识蒸馏 原型回放 灾难性遗忘

在线阅读 下载PDF 职称材料

元类增量迁移学习驱动的跨域终身智能诊断方法

17

作者 林翠颖 陈科 +4 位作者 吕宇璠 孔运 董明明 刘辉 褚福磊 《振动工程学报》 北大核心 2025年第6期1270-1279,共10页

机械装备在长期服役过程中将持续新增故障模式,这对故障诊断模型的持续学习与智能诊断能力提出了更高要求。类增量学习驱动的终身智能诊断技术为高端装备全寿命安全服役保障提供了一种途径,但现有类增量学习方法难以解决跨工况条件下高... 机械装备在长期服役过程中将持续新增故障模式,这对故障诊断模型的持续学习与智能诊断能力提出了更高要求。类增量学习驱动的终身智能诊断技术为高端装备全寿命安全服役保障提供了一种途径,但现有类增量学习方法难以解决跨工况条件下高效增量迁移诊断的难题。为此,本文提出元类增量迁移学习驱动的跨域终身智能诊断方法。通过集成深度残差网络与卷积块自注意力特征融合模块,设计了增强型特征提取器,实现通道和空间维度的深度特征提取与融合;结合特征级与决策级知识蒸馏机制,构建了多级知识蒸馏策略,解决增量迁移诊断场景下的灾难性遗忘难题;将元学习思想融入类增量学习框架,提出了元类增量参数学习机制,提高模型的增量迁移诊断泛化性能。开展了列车传动系统故障试验验证,结果表明不同增量迁移诊断场景下所提方法的平均诊断精度为94.96%,平均遗忘率为3.85%,优于前沿类增量学习方法,为实现高端装备全寿命周期健康管理的终身智能故障诊断提供了见解。 展开更多

关键词 终身智能诊断 类增量学习 元学习 知识蒸馏 迁移学习

在线阅读 下载PDF 职称材料

基于IMIU的在线类增量对比学习 被引量：1

18

作者 刘雨薇 陈松灿 《软件学报》 EI CSCD 北大核心 2024年第12期5544-5557,共14页

在线类增量连续学习旨在数据流场景下进行有效的新类学习,并保证模型满足小缓存和小批次约束.然而由于数据流的单趟(one-pass)特性,小批次内的类别信息难以如离线学习那样被多趟探索利用.为缓解该问题,目前常采用数据多重增广并借助对... 在线类增量连续学习旨在数据流场景下进行有效的新类学习,并保证模型满足小缓存和小批次约束.然而由于数据流的单趟(one-pass)特性,小批次内的类别信息难以如离线学习那样被多趟探索利用.为缓解该问题,目前常采用数据多重增广并借助对比回放建模.但考虑到小缓存和小批次限制,现有随机选择和保存数据的策略不利于获取多样性的负样本,制约了模型判别性.已有研究表明困难负样本是提升对比学习性能的关键,但这鲜少在在线学习场景被探索.Universum学习提出的概念含混(condued)数据恰好提供一种生成困难负样本的简单直观思路,据此先前用特定系数插值混合(mixup)诱导出的Universum数据(mixup-induced Universum,MIU)已有效提升了离线对比学习的性能.受此启发,尝试将其引入在线场景.但不同于先前静态生成的Universum,数据流场景面临着某些额外挑战.首先随类数的动态增加,相对基于全局给定类生成的静态Universum不再适用,需重新加以定义和动态生成,为此提出仅利用当前数据(局部)递归生成相对已见类熵为最大的MIU(称为增量MIU,IMIU),并为其提供额外的小缓存从总体上满足内存限制;其次将生成的IMIU和小批次内的正样本再次插值混合出多样且高质的困难负样本.最后综合上述各步,发展出基于IMIU的在线类增量对比学习(incrementally mixup-induced Universum based online class-increment contrastive learning,IUCL)学习算法.在标准数据集CIFAR-10、CIFAR-100和Mini-ImageNet上的对比实验验证所提算法一致的有效性. 展开更多

关键词 机器学习 在线类增量学习 对比学习 插值混合 Universum

在线阅读 下载PDF 职称材料

基于多原型重放和对齐的类增量无源域适应

19

作者 田青 康陆禄 周亮宇 《计算机科学》 北大核心 2025年第3期206-213,共8页

传统无源域适应通常假设目标域数据全部可用,然而在实际应用中目标域数据常以流的形式出现,即未标记的目标域中的类会依次增加,这无疑带来了新的挑战。首先,在每个时间步骤中,目标域的标签空间都是源域的一个子集,盲目对齐反而会导致模... 传统无源域适应通常假设目标域数据全部可用,然而在实际应用中目标域数据常以流的形式出现,即未标记的目标域中的类会依次增加,这无疑带来了新的挑战。首先,在每个时间步骤中,目标域的标签空间都是源域的一个子集,盲目对齐反而会导致模型性能下降;其次,在学习新类的过程中会破坏先前学习到的知识,导致之前知识的灾难性遗忘。为了解决这些问题,提出了一种基于多原型重放和对齐(MPRA)的方法。该方法通过累积预测概率检测目标域中的共享类来应对标签空间不一致问题,并采用多原型重放来处理灾难性遗忘,提高模型的记忆能力。同时,基于多原型和源模型权重进行跨域的对比学习,从而对齐特征分布,提高模型性能。大量的实验表明,所提方法在3个基准数据集上都取得了优越的表现。 展开更多

关键词 无源域适应 类增量学习 多原型 对比学习 迁移学习

在线阅读 下载PDF 职称材料

自监督解耦动态分类器的小样本类增量SAR图像目标识别 被引量：1

20

作者 赵琰 赵凌君 +2 位作者 张思乾 计科峰 匡纲要 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第10期3936-3948,共13页

为提升基于深度学习(DL)的合成孔径雷达自动目标识别(SAR ATR)系统在开放动态的非合作场景中对新类别目标的持续敏捷识别能力,该文研究了SAR ATR的小样本类增量学习(FSCIL)问题,并提出了自监督解耦动态分类器(SDDC)。针对FSCIL中“灾难... 为提升基于深度学习(DL)的合成孔径雷达自动目标识别(SAR ATR)系统在开放动态的非合作场景中对新类别目标的持续敏捷识别能力,该文研究了SAR ATR的小样本类增量学习(FSCIL)问题,并提出了自监督解耦动态分类器(SDDC)。针对FSCIL中“灾难性遗忘”和“过拟合”本质难点和SAR ATR领域挑战,根据SAR图像目标信息的部件化与方位角敏感性特点,于图像域构建了基于散射部件混淆与旋转模块(SCMR)的自监督学习任务,以提升目标表征的泛化性与稳健性。同时,设计了类印记交叉熵(CI-CE)损失并以参数解耦学习(PDL)策略对模型动态微调,以对新旧知识平衡判别。实验在由MSTAR和SAR-AIRcraft-1.0数据集分别构建的覆盖多种目标类别、观测条件和成像平台的FSCIL场景上验证了该算法开放动态环境的适应能力。 展开更多

关键词 SAR目标识别 小样本类增量学习 自监督学习 深度学习

在线阅读 下载PDF 职称材料