基于大语言模型的CIL-LLM类别增量学习框架

1

作者 王晓宇 李欣 +1 位作者 胡勉宁 薛迪 《计算机科学与探索》 北大核心 2025年第2期374-384,共11页

在文本分类领域,为了提升类别增量学习模型的分类准确率并避免灾难性遗忘问题,提出了一种基于大语言模型(LLM)的类别增量学习框架(CIL-LLM)。CIL-LLM框架通过抽样和压缩环节选取具有代表性的样本,利用较强语言理解能力的LLM基于上下文... 在文本分类领域,为了提升类别增量学习模型的分类准确率并避免灾难性遗忘问题,提出了一种基于大语言模型(LLM)的类别增量学习框架(CIL-LLM)。CIL-LLM框架通过抽样和压缩环节选取具有代表性的样本,利用较强语言理解能力的LLM基于上下文学习提炼关键技能,以这些技能作为分类的依据,从而降低了存储成本;采用关键词匹配环节选取最优技能,以此构建提示词,引导下游弱LLM进行分类,提高了分类的准确性;根据基于知识蒸馏的技能融合环节,不仅实现了技能库的有效拓展和更新,还兼顾了新旧类别特性的学习。对比实验结果表明,在THUCNews数据集上的测试中,与现有的L-SCL方法相比,CIL-LLM框架在所有任务上的平均准确率提升了6.3个百分点,性能下降率降低了3.1个百分点。此外,在消融实验中,经由CIL-LLM框架增强的SLEICL模型相比于原有模型,所有任务的平均准确率提高了10.4个百分点,性能下降率降低了3.3个百分点。消融实验进一步验证了提出的样本压缩、关键词匹配和技能融合环节均对模型的准确率和性能下降率产生了优化效果。 展开更多

关键词 类别增量学习 大语言模型(LLM) 主题分类 知识蒸馏

在线阅读 下载PDF 职称材料

数字孪生中混合知识蒸馏辅助的异构联邦类增量学习

2

作者 张铭泉 贾圆圆 张荣华 《智能系统学报》 北大核心 2025年第4期905-915,共11页

在数字孪生背景下,联邦学习面临数据非独立同分布和类别动态变化的挑战,即空间和时间范围内的数据异构问题。为解决这一问题,本文构建了一个数字孪生背景下的联邦类增量学习整体框架,并提出了一种混合知识蒸馏辅助的联邦类增量学习方法... 在数字孪生背景下,联邦学习面临数据非独立同分布和类别动态变化的挑战,即空间和时间范围内的数据异构问题。为解决这一问题,本文构建了一个数字孪生背景下的联邦类增量学习整体框架,并提出了一种混合知识蒸馏辅助的联邦类增量学习方法。具体来说,与传统联邦学习本地更新方式不同,本文方法通过自适应语义蒸馏损失和自适应注意力蒸馏损失集成的混合知识蒸馏方法提取旧全局模型中输出层的软标签语义知识和中间层的高维特征知识,使客户端模型在拟合新数据的同时有效减少对旧数据的遗忘,提升联邦类增量模型的性能。在相同的数据异构情况下,与对比模型相比,本文方法在CIFAR100数据集上精度提升1.85%~2.56%,在医学CT图像数据集OrganAMNIST、OrganCMNIST、OrganSMNIST上也取得了最优或次优的性能。 展开更多

关键词 数字孪生 联邦类增量学习 混合知识蒸馏 数据异构 图像分类 灾难性遗忘 CT图像 联邦学习

在线阅读 下载PDF 职称材料

元类增量迁移学习驱动的跨域终身智能诊断方法

3

作者 林翠颖 陈科 +4 位作者 吕宇璠 孔运 董明明 刘辉 褚福磊 《振动工程学报》 北大核心 2025年第6期1270-1279,共10页

机械装备在长期服役过程中将持续新增故障模式,这对故障诊断模型的持续学习与智能诊断能力提出了更高要求。类增量学习驱动的终身智能诊断技术为高端装备全寿命安全服役保障提供了一种途径,但现有类增量学习方法难以解决跨工况条件下高... 机械装备在长期服役过程中将持续新增故障模式,这对故障诊断模型的持续学习与智能诊断能力提出了更高要求。类增量学习驱动的终身智能诊断技术为高端装备全寿命安全服役保障提供了一种途径,但现有类增量学习方法难以解决跨工况条件下高效增量迁移诊断的难题。为此,本文提出元类增量迁移学习驱动的跨域终身智能诊断方法。通过集成深度残差网络与卷积块自注意力特征融合模块,设计了增强型特征提取器,实现通道和空间维度的深度特征提取与融合;结合特征级与决策级知识蒸馏机制,构建了多级知识蒸馏策略,解决增量迁移诊断场景下的灾难性遗忘难题;将元学习思想融入类增量学习框架,提出了元类增量参数学习机制,提高模型的增量迁移诊断泛化性能。开展了列车传动系统故障试验验证,结果表明不同增量迁移诊断场景下所提方法的平均诊断精度为94.96%,平均遗忘率为3.85%,优于前沿类增量学习方法,为实现高端装备全寿命周期健康管理的终身智能故障诊断提供了见解。 展开更多

关键词 终身智能诊断 类增量学习 元学习 知识蒸馏 迁移学习

在线阅读 下载PDF 职称材料

结合本征脸与正交权重修正的连续学习算法

4

作者 廖丁丁 刘俊峰 +1 位作者 曾君 徐诗康 《计算机工程与应用》 北大核心 2025年第14期230-237,共8页

常规的深度神经网络在连续学习中表现出对已学习知识的灾难性遗忘。近年来正交权重修正(orthogonal weight modified,OWM)被认为是一种行之有效的连续学习算法,然而其在大批次数数据集中表现出较差的连续学习性能,且对随机样本的选择极... 常规的深度神经网络在连续学习中表现出对已学习知识的灾难性遗忘。近年来正交权重修正(orthogonal weight modified,OWM)被认为是一种行之有效的连续学习算法,然而其在大批次数数据集中表现出较差的连续学习性能,且对随机样本的选择极为敏感。针对上述问题,提出一种基于本征脸法与正交权重修正相结合的连续学习算法(BZL-OWM)。本征脸法用来改善神经网络层的输入空间表示,使得权重参数能在更准确的正交方向上进行权重修正,从而实现更优的连续学习性能。在多个数据集上进行的大量类增量连续学习实验表明,BZL-OWM算法的连续学习能力显著优于原OWM算法,尤其在大批次数场景中的平均测试精度提升率可达50%。 展开更多

关键词 连续学习 深度学习 类增量学习 正交权重修正(OWM)

在线阅读 下载PDF 职称材料

基于改进SVM与马氏距离的机器人状态评估方法研究

5

作者 姚伟滨 吴湘柠 +3 位作者 陈义时 陈成刚 韦锦 蒙艳玫 《组合机床与自动化加工技术》 北大核心 2025年第10期32-38,43,共8页

针对复杂环境作业机器人运行过程健康状态定量评估不准确问题,以及进一步进行机器人故障异常检测分析。从机器人电机故障引起的电流信号异常特征与数据驱动两个方面出发,采用一种自适应窗口的特征提取方法提取时频域运动不敏感特征。提... 针对复杂环境作业机器人运行过程健康状态定量评估不准确问题,以及进一步进行机器人故障异常检测分析。从机器人电机故障引起的电流信号异常特征与数据驱动两个方面出发,采用一种自适应窗口的特征提取方法提取时频域运动不敏感特征。提出一种基于增量one-class SVM算法的无监督学习机器人实时异常检测方法,提升局部异常检测能力,并采用马氏距离法建立状态数据与健康值之间的非线性映射关系,最终得到健康状态评估结果。通过分析机器人维护前后的运行数据结果表明,该方法检测效果达到97.54%,与其他类似方法对比,准确率更高,耗时更短,适应性和鲁棒性更好,能有效应用于作业机器人运行过程的健康状态评估。 展开更多

关键词 机器人 增量学习 one-class SVM 马氏距离 健康评估

在线阅读 下载PDF 职称材料

一种基于双层模型和指标分布的恶意网络流持续检测和分类方法

6

作者 陆浩天 董育宁 全宇轩 《电子学报》 北大核心 2025年第5期1637-1649,共13页

开集恶意流量识别在网络安全领域发挥着重要的作用.现有文献方法存在模型结构单一,缺乏灵活性;忽视增量训练样本选择,造成分类性能欠优等问题.针对这些问题,本文提出了一种基于双层模型和指标分布的恶意网络流持续检测和分类方法.该方... 开集恶意流量识别在网络安全领域发挥着重要的作用.现有文献方法存在模型结构单一,缺乏灵活性;忽视增量训练样本选择,造成分类性能欠优等问题.针对这些问题,本文提出了一种基于双层模型和指标分布的恶意网络流持续检测和分类方法.该方法基于可扩展极限学习机(Scalable Extreme Learning Machine,S-ELM)输出权重与标准输出的关系,设计了改进的最接近皮尔森相关系数、归一化相对方差和归一化“其他”列距离这三个指标,通过相乘最终得到一个综合指标,并结合单分类器来进行未知类检测.为了提高S-ELM在开集识别任务中的连续增量能力,设计了基于综合指标分布的样本筛选方法,选择最优增量训练样本集.与代表性文献方法的对比实验表明,本方法的未知类检测NA指标能改善3%~13%,持续增量更新后的分类Acc性能可以提高约3%~7%. 展开更多

关键词 网络流量分类 入侵检测系统 开放集识别 未知类检测 增量学习 极限学习机

在线阅读 下载PDF 职称材料

融合多头自注意力的标签语义嵌入联邦类增量学习方法

7

作者 王虎 王晓峰 +1 位作者 李可 马云洁 《计算机应用》 北大核心 2025年第10期3083-3090,共8页

灾难性遗忘对联邦类增量学习(FCIL)构成了显著挑战,导致进行FCIL持续任务时性能下降的问题。针对此问题,提出一种融合多头自注意力(MHSA)的标签语义嵌入(LSE)的FCIL方法——ATTLSE(ATTention Label Semantic Embedding)。首先,融合MHSA... 灾难性遗忘对联邦类增量学习(FCIL)构成了显著挑战,导致进行FCIL持续任务时性能下降的问题。针对此问题,提出一种融合多头自注意力(MHSA)的标签语义嵌入(LSE)的FCIL方法——ATTLSE(ATTention Label Semantic Embedding)。首先,融合MHSA的LSE和生成器;其次,在无数据知识蒸馏(DFKD)阶段,依靠融合MHSA的生成器生成更多有意义的数据样本,以指导用户端模型的训练,并降低灾难性遗忘问题在FCIL中的影响。实验结果表明,在CIFAR-100和Tiny_ImageNet数据集上,与LANDER(Label Text Centered Data-Free Knowledge Transfer)方法相比,ATTLSE的平均准确率提升了0.06~6.45个百分点,缓解了持续任务在联邦类增量学习上的灾难性遗忘问题。 展开更多

关键词 灾难性遗忘 联邦类增量学习 多头自注意力 标签语义嵌入 无数据知识蒸馏

在线阅读 下载PDF 职称材料

基于多原型重放和对齐的类增量无源域适应

8

作者 田青 康陆禄 周亮宇 《计算机科学》 北大核心 2025年第3期206-213,共8页

传统无源域适应通常假设目标域数据全部可用,然而在实际应用中目标域数据常以流的形式出现,即未标记的目标域中的类会依次增加,这无疑带来了新的挑战。首先,在每个时间步骤中,目标域的标签空间都是源域的一个子集,盲目对齐反而会导致模... 传统无源域适应通常假设目标域数据全部可用,然而在实际应用中目标域数据常以流的形式出现,即未标记的目标域中的类会依次增加,这无疑带来了新的挑战。首先,在每个时间步骤中,目标域的标签空间都是源域的一个子集,盲目对齐反而会导致模型性能下降;其次,在学习新类的过程中会破坏先前学习到的知识,导致之前知识的灾难性遗忘。为了解决这些问题,提出了一种基于多原型重放和对齐(MPRA)的方法。该方法通过累积预测概率检测目标域中的共享类来应对标签空间不一致问题,并采用多原型重放来处理灾难性遗忘,提高模型的记忆能力。同时,基于多原型和源模型权重进行跨域的对比学习,从而对齐特征分布,提高模型性能。大量的实验表明,所提方法在3个基准数据集上都取得了优越的表现。 展开更多

关键词 无源域适应 类增量学习 多原型 对比学习 迁移学习

在线阅读 下载PDF 职称材料

基于持续事件知识网络的持续社会事件分类研究

9

作者 张袁 张胜杰 +1 位作者 刘利龙 钱胜胜 《计算机科学》 北大核心 2025年第8期268-276,共9页

随着互联网的快速发展和社交媒体规模的不断扩大,社会事件分类(Social Event Classification,SEC)越来越受到人们的关注。现有的社会事件分类研究侧重于识别一组固定的社会事件。然而,在现实世界中,社交媒体上会不断出现新的社会事件,... 随着互联网的快速发展和社交媒体规模的不断扩大,社会事件分类(Social Event Classification,SEC)越来越受到人们的关注。现有的社会事件分类研究侧重于识别一组固定的社会事件。然而,在现实世界中,社交媒体上会不断出现新的社会事件,这就需要一种实用的SEC模型能够迅速适应社会事件不断发展的环境。因此,研究了一个新的关键问题,即持续社会事件分类(C-SEC),在持续收集的社会数据中会不断出现新事件;提出了一种新颖的持续事件知识网络(Continual Event Knowledge Network,CEKNet),用于持续学习持续事件知识,以实现具有持续增量事件的C-SEC分类。所提出的持续学习框架由两个部分组成:当前事件知识学习和过去事件知识重放。首先,进行当前事件知识学习,学习当前输入数据中新出现事件的分类。其次,设计了具有知识自蒸馏功能的过去事件知识重放,以巩固所学到的过去事件知识,防止灾难性遗忘。在真实世界的社会事件数据集上进行的综合实验表明,与先进的方法相比,为C-SEC而提出的CEKNet更具优势。 展开更多

关键词 社会事件分类 类递增持续学习 持续事件知识

在线阅读 下载PDF 职称材料

一种少样本类增量学习中的隐蔽性后门攻击方法

10

作者 钱慧 刘亚志 +2 位作者 李伟 安逸 李思维 《信息安全研究》 北大核心 2025年第9期797-806,共10页

深度学习的快速发展导致用户对训练数据的需求急剧增加,少样本类增量学习已经成为一种在训练深度学习模型时增强数据完整性的重要技术,用户可以直接下载经过少样本类增量学习算法训练好的数据集或模型提高使用效率.然而此技术带来便利... 深度学习的快速发展导致用户对训练数据的需求急剧增加,少样本类增量学习已经成为一种在训练深度学习模型时增强数据完整性的重要技术,用户可以直接下载经过少样本类增量学习算法训练好的数据集或模型提高使用效率.然而此技术带来便利的同时模型的安全问题也应引起人们的关注.对图像领域中的少样本类增量学习模型进行了后门攻击的研究,提出一种少样本类增量学习中的隐蔽性后门攻击方法,分别在初始和增量2个阶段进行后门攻击:在初始阶段将隐蔽性后门触发器注入基础数据集,含有后门的基础数据集代替原始数据进行增量学习;在增量阶段,当新增批次样本到来时选择部分样本加入触发器,并在增量过程中迭代地优化触发器,使其具有最佳的触发效果.经实验评估表明,隐蔽性后门攻击方法的攻击成功率(attack success rate, ASR)最高可达到100%,干净样本测试准确率(clean test accuracy, CTA)与干净样本模型性能保持稳定水平,同时对后门防御机制具有鲁棒性. 展开更多

关键词 少样本类增量学习 模型安全 后门攻击 数据投毒 隐蔽性触发器

在线阅读 下载PDF 职称材料

火箭发动机故障检测的快速增量单分类支持向量机算法 被引量：4

11

作者 张万旋 张箭 +2 位作者 卢哲 薛薇 张楠 《国防科技大学学报》 EI CAS CSCD 北大核心 2024年第2期115-122,共8页

为解决液体火箭发动机故障诊断正负样本不平均问题,以及实现发动机稳态工作段自适应故障检测,建立了基于快速增量单分类支持向量机的异常检测模型。采取特征工程方法,对传感器获得的多变量时间序列进行特征提取。通过增量学习方法,对单... 为解决液体火箭发动机故障诊断正负样本不平均问题,以及实现发动机稳态工作段自适应故障检测,建立了基于快速增量单分类支持向量机的异常检测模型。采取特征工程方法,对传感器获得的多变量时间序列进行特征提取。通过增量学习方法,对单分类支持向量机模型进行改进,并应用于液体火箭发动机异常检测,使单分类支持向量机检测模型具备对不同台次、不同工况的自适应性,提高了模型的计算速度。对多台次热试车数据的分析结果表明,该模型十分有效,训练速度快,具备实用价值。 展开更多

关键词 单分类支持向量机 特征提取 自适应检测 增量学习 异常检测

在线阅读 下载PDF 职称材料

自监督解耦动态分类器的小样本类增量SAR图像目标识别 被引量：1

12

作者 赵琰 赵凌君 +2 位作者 张思乾 计科峰 匡纲要 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第10期3936-3948,共13页

为提升基于深度学习(DL)的合成孔径雷达自动目标识别(SAR ATR)系统在开放动态的非合作场景中对新类别目标的持续敏捷识别能力,该文研究了SAR ATR的小样本类增量学习(FSCIL)问题,并提出了自监督解耦动态分类器(SDDC)。针对FSCIL中“灾难... 为提升基于深度学习(DL)的合成孔径雷达自动目标识别(SAR ATR)系统在开放动态的非合作场景中对新类别目标的持续敏捷识别能力,该文研究了SAR ATR的小样本类增量学习(FSCIL)问题,并提出了自监督解耦动态分类器(SDDC)。针对FSCIL中“灾难性遗忘”和“过拟合”本质难点和SAR ATR领域挑战,根据SAR图像目标信息的部件化与方位角敏感性特点,于图像域构建了基于散射部件混淆与旋转模块(SCMR)的自监督学习任务,以提升目标表征的泛化性与稳健性。同时,设计了类印记交叉熵(CI-CE)损失并以参数解耦学习(PDL)策略对模型动态微调,以对新旧知识平衡判别。实验在由MSTAR和SAR-AIRcraft-1.0数据集分别构建的覆盖多种目标类别、观测条件和成像平台的FSCIL场景上验证了该算法开放动态环境的适应能力。 展开更多

关键词 SAR目标识别 小样本类增量学习 自监督学习 深度学习

在线阅读 下载PDF 职称材料

基于YOLOX的类增量印刷电路板缺陷检测方法 被引量：2

13

作者 吴瑞林 葛泉波 刘华平 《智能系统学报》 CSCD 北大核心 2024年第4期1061-1070,共10页

为了应对更加实际的增量式印刷电路板缺陷检测场景,本文将知识蒸馏与YOLOX相结合,提出了一种基于YOLOX的类增量印刷电路板缺陷检测方法。在只使用新训练数据的情况下,模型能够检测出所有学过的缺陷类型。通过对模型的输出特征和中间特... 为了应对更加实际的增量式印刷电路板缺陷检测场景,本文将知识蒸馏与YOLOX相结合,提出了一种基于YOLOX的类增量印刷电路板缺陷检测方法。在只使用新训练数据的情况下,模型能够检测出所有学过的缺陷类型。通过对模型的输出特征和中间特征使用知识蒸馏来促进旧缺陷类别知识的传递,使得学生模型能够有效保留教师模型在旧缺陷类别上的检测性能。实验结果表明,本文方法能够显著缓解增量学习过程中的灾难性遗忘问题,在两阶段增量场景下,模型对所有缺陷的平均检测精度为88.5%,参数量为25.3×106,检测速度为39.8 f/s,便于工业设备部署的同时,可以满足增量式检测场景下印刷电路板(printed circuit board,PCB)质检的检测精度和检测速度要求。 展开更多

关键词 深度学习 印刷电路板 类增量 增量学习 缺陷检测 目标检测 动态检测 知识蒸馏 灾难性遗忘

在线阅读 下载PDF 职称材料

视觉语言模型引导的文本知识嵌入的小样本增量学习 被引量：3

14

作者 姚涵涛 余璐 徐常胜 《软件学报》 EI CSCD 北大核心 2024年第5期2101-2119,共19页

真实场景往往面临数据稀缺和数据动态变化的问题,小样本增量学习的目的是利用少量数据推理数据知识并减缓模型对于旧知识的灾难性遗忘.已有的小样本增量学习的算法(CEC和FACT等)主要是利用视觉特征来调整特征编码器或者分类器,实现模型... 真实场景往往面临数据稀缺和数据动态变化的问题,小样本增量学习的目的是利用少量数据推理数据知识并减缓模型对于旧知识的灾难性遗忘.已有的小样本增量学习的算法(CEC和FACT等)主要是利用视觉特征来调整特征编码器或者分类器,实现模型对于新数据的迁移和旧数据的抗遗忘.但是少量数据的视觉特征往往难以建模一个类别的完整特征分布,导致上述算法的泛化能力较弱.相比于视觉特征,图像类别描述的文本特征具有较好的泛化性和抗遗忘性.因此,在视觉语言模型的基础上,研究基于文本知识嵌入的小样本增量学习,通过在视觉特征中嵌入具有抗遗忘能力的文本特征,实现小样本增量学习中新旧类别数据的有效学习.具体而言,在基础学习阶段,利用视觉语言模型抽取图像的预训练视觉特征和类别的文本描述,并通过文本编码器实现预训练视觉特征到文本空间的映射.进一步利用视觉编码器融合学习到的文本特征和预训练视觉特征抽象具有高辨别能力的视觉特征.在增量学习阶段,提出类别空间引导的抗遗忘学习,利用旧数据的类别空间编码和新数据特征微调视觉编码器和文本编码器,实现新数据知识学习的同时复习旧知识.在4个数据集(CIFAR-100,CUB-200,Car-196和mini Image Net)上验证算法的有效性,证明基于视觉语言模型文本知识嵌入可以在视觉特征的基础上进一步提升小样本增量学习的鲁棒性. 展开更多

关键词 小样本增量学习 视觉语言模型 文本知识嵌入 类别空间引导的抗遗忘学习

在线阅读 下载PDF 职称材料

基于IMIU的在线类增量对比学习 被引量：1

15

作者 刘雨薇 陈松灿 《软件学报》 EI CSCD 北大核心 2024年第12期5544-5557,共14页

在线类增量连续学习旨在数据流场景下进行有效的新类学习,并保证模型满足小缓存和小批次约束.然而由于数据流的单趟(one-pass)特性,小批次内的类别信息难以如离线学习那样被多趟探索利用.为缓解该问题,目前常采用数据多重增广并借助对... 在线类增量连续学习旨在数据流场景下进行有效的新类学习,并保证模型满足小缓存和小批次约束.然而由于数据流的单趟(one-pass)特性,小批次内的类别信息难以如离线学习那样被多趟探索利用.为缓解该问题,目前常采用数据多重增广并借助对比回放建模.但考虑到小缓存和小批次限制,现有随机选择和保存数据的策略不利于获取多样性的负样本,制约了模型判别性.已有研究表明困难负样本是提升对比学习性能的关键,但这鲜少在在线学习场景被探索.Universum学习提出的概念含混(condued)数据恰好提供一种生成困难负样本的简单直观思路,据此先前用特定系数插值混合(mixup)诱导出的Universum数据(mixup-induced Universum,MIU)已有效提升了离线对比学习的性能.受此启发,尝试将其引入在线场景.但不同于先前静态生成的Universum,数据流场景面临着某些额外挑战.首先随类数的动态增加,相对基于全局给定类生成的静态Universum不再适用,需重新加以定义和动态生成,为此提出仅利用当前数据(局部)递归生成相对已见类熵为最大的MIU(称为增量MIU,IMIU),并为其提供额外的小缓存从总体上满足内存限制;其次将生成的IMIU和小批次内的正样本再次插值混合出多样且高质的困难负样本.最后综合上述各步,发展出基于IMIU的在线类增量对比学习(incrementally mixup-induced Universum based online class-increment contrastive learning,IUCL)学习算法.在标准数据集CIFAR-10、CIFAR-100和Mini-ImageNet上的对比实验验证所提算法一致的有效性. 展开更多

关键词 机器学习 在线类增量学习 对比学习 插值混合 Universum

在线阅读 下载PDF 职称材料

类别数据流和特征空间双分离的类增量学习算法

16

作者 云涛 潘泉 +2 位作者 刘磊 白向龙 刘宏 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第10期3879-3889,共11页

针对类增量学习(CIL)中的灾难性遗忘问题,该文提出一种不同类的数据流和特征空间双分离的类增量学习算法。双分离(S2)算法在1次增量任务中包含2个阶段。第1个阶段通过分类损失、蒸馏损失和对比损失的综合约束训练网络。根据模块功能对... 针对类增量学习(CIL)中的灾难性遗忘问题,该文提出一种不同类的数据流和特征空间双分离的类增量学习算法。双分离(S2)算法在1次增量任务中包含2个阶段。第1个阶段通过分类损失、蒸馏损失和对比损失的综合约束训练网络。根据模块功能对各类的数据流进行分离,以增强新网络对新类别的识别能力。通过对比损失的约束,增大各类数据在特征空间中的距离,避免由于旧类样本的不完备性造成特征空间被新类侵蚀。第2个阶段对不均衡的数据集进行动态均衡采样,利用得到的均衡数据集对新网络进行动态微调。利用实测和仿真数据构建了一个飞机目标高分辨率距离像增量学习数据集,实验结果表明该算法相比其它几种对比算法在保持高可塑性的同时,具有更高的稳定性,综合性能更优。 展开更多

关键词 雷达目标识别 逆合成孔径雷达 高分辨率距离像 类增量学习

在线阅读 下载PDF 职称材料

基于神经坍塌的类增量学习方法

17

作者 扈超舜 叶标华 +1 位作者 谢晓华 赖剑煌 《中山大学学报（自然科学版）（中英文）》 CAS CSCD 北大核心 2024年第6期224-235,共12页

类增量学习中的新旧类不平衡导致少数坍塌发生,旧类的识别能力降低.现有方法通常基于经验调整深度特征空间中类别间的几何关系以避免少数坍塌,缺乏理论指导.神经坍塌从理论上揭示了类别间的最佳几何结构——等角紧致框架.受此启发,本文... 类增量学习中的新旧类不平衡导致少数坍塌发生,旧类的识别能力降低.现有方法通常基于经验调整深度特征空间中类别间的几何关系以避免少数坍塌,缺乏理论指导.神经坍塌从理论上揭示了类别间的最佳几何结构——等角紧致框架.受此启发,本文提出了一种名为持续构造神经坍塌的方法来解决少数坍塌.该方法通过紧致损失和等角损失来约束形成等角紧致框架结构.然而不平衡数据分布导致全局质心估计不准确和旧类之间约束困难,进而导致上述两个损失无法充分施展其效果.为此,本文进一步提出了分类器向量辅助模块和难例采样模块来分别解决上述两个问题.实验结果表明,本文提出的方法有效诱导了神经坍塌的发生,并且在CIFAR100和ImageNet数据集上都超过了当前最优方法 . 展开更多

关键词 类增量学习 神经坍塌 少数坍塌 动态扩展结构

在线阅读 下载PDF 职称材料

基于加权宽度学习的异常用电辨识研究 被引量：2

18

作者 姚影 陆俊 +3 位作者 肖琦 龚钢军 徐志强 辛培哲 《电网技术》 EI CSCD 北大核心 2024年第5期2095-2102,I0075,I0076-I0083,共17页

针对异常用电与正常用电样本类别不平衡关系及现有模型训练耗时、缺乏可扩展性的问题,提出一种基于加权宽度学习(weighted broad learning system,WBLS)的异常用电辨识模型。首先,考虑到样本间类别不平衡关系,在目标函数中使用样本权重... 针对异常用电与正常用电样本类别不平衡关系及现有模型训练耗时、缺乏可扩展性的问题,提出一种基于加权宽度学习(weighted broad learning system,WBLS)的异常用电辨识模型。首先,考虑到样本间类别不平衡关系,在目标函数中使用样本权重约束每个类对模型的贡献,样本权重根据样本分布情况个性化赋予,并通过岭回归广义逆高效地建立WBLS辨识模型。其次,基于新增加的用电样本数据,通过增量学习算法对模型进行更新和重构。实验结果表明该模型提高了对异常用电样本的辨识精度,并在增加用电样本的情况下,可以快速地对旧模型进行更新和扩展。 展开更多

关键词 异常用电 加权宽度学习 类不平衡 增量学习

在线阅读 下载PDF 职称材料

基于知识蒸馏的不存储旧数据的类增量学习 被引量：1

19

作者 刘展阳 刘进锋 《计算机应用》 CSCD 北大核心 2024年第S2期12-17,共6页

以往的不存储旧数据的类增量学习方法虽然能通过模型反转等技术生成已学任务中的类别数据,但未能有效缓解模型的可塑性-稳定性困境,并且这些合成技术很容易忽略数据的多样性。针对以上问题,提出一种基于知识蒸馏的增量学习策略。首先,... 以往的不存储旧数据的类增量学习方法虽然能通过模型反转等技术生成已学任务中的类别数据,但未能有效缓解模型的可塑性-稳定性困境,并且这些合成技术很容易忽略数据的多样性。针对以上问题,提出一种基于知识蒸馏的增量学习策略。首先,采用局部交叉熵损失促使模型学习新的类别知识;其次,引入基于输出特征的蒸馏组合,以减少对旧类别知识的遗忘;最后,使用基于关系特征的蒸馏,从而缓解模型在学习新类别表征与保留旧类别表征之间的冲突。而且,为了增加生成数据的多样性,在模型反转的基础上引入一个正则项,以防止生成的样本过于相似。实验结果表明,与基于关系引导表示学习的不存储旧数据的类增量学习(R-DFCIL)相比:在CIFAR-100数据集上,所提模型在5个任务和10个任务上的平均增量准确率分别提高了0.25和0.18个百分点;在Tiny-ImageNet数据集上,相应的提升分别为0.21和0.07个百分点。此外,所提模型不需要额外的分类器微调,且所提多样性正则项为不存储旧数据的类增量学习提供了一种改进方向。 展开更多

关键词 知识蒸馏 类增量学习 模型反转 多样性正则 深度学习

在线阅读 下载PDF 职称材料

基于因果关系的小样本类增量学习

20

作者 刘冰瑶 刘进锋 《计算机应用》 CSCD 北大核心 2024年第S01期54-59,共6页

相较于一次性获得所有训练数据的批量学习,小样本类增量学习具有更高的现实意义,它既能使机器学习更接近人类智能水平,又可以减少深度学习模型对大量训练数据的依赖。为缓解小样本类增量学习对旧类的遗忘,同时使分类过程不受任何因素的... 相较于一次性获得所有训练数据的批量学习,小样本类增量学习具有更高的现实意义,它既能使机器学习更接近人类智能水平,又可以减少深度学习模型对大量训练数据的依赖。为缓解小样本类增量学习对旧类的遗忘,同时使分类过程不受任何因素的干扰,提出一种基于因果关系的小样本类增量学习策略。首先,采用干预式小样本学习剔除预训练知识所产生的混淆影响,使样本特征与分类标签具有真实的因果关系;其次,采用基于因果效应的类增量学习方法,通过在旧数据与最终标签间建立通路达到数据重放的因果效应,缓解灾难性遗忘;最后,采用随机情节选择策略增强特征的可扩展性,使它适应后续的增量学习。在miniImageNet与CIFAR100数据集上的实验结果表明,所提方法在1~8轮的增量学习过程中取得了最优的平均精度,同时具有一定稳定性、可解释性。 展开更多

关键词 小样本类增量学习 可解释性 因果推断 增量学习 神经网络

在线阅读 下载PDF 职称材料