期刊文献+
共找到4篇文章
< 1 >
每页显示 20 50 100
基于大语言模型的CIL-LLM类别增量学习框架
1
作者 王晓宇 李欣 +1 位作者 胡勉宁 薛迪 《计算机科学与探索》 北大核心 2025年第2期374-384,共11页
在文本分类领域,为了提升类别增量学习模型的分类准确率并避免灾难性遗忘问题,提出了一种基于大语言模型(LLM)的类别增量学习框架(CIL-LLM)。CIL-LLM框架通过抽样和压缩环节选取具有代表性的样本,利用较强语言理解能力的LLM基于上下文... 在文本分类领域,为了提升类别增量学习模型的分类准确率并避免灾难性遗忘问题,提出了一种基于大语言模型(LLM)的类别增量学习框架(CIL-LLM)。CIL-LLM框架通过抽样和压缩环节选取具有代表性的样本,利用较强语言理解能力的LLM基于上下文学习提炼关键技能,以这些技能作为分类的依据,从而降低了存储成本;采用关键词匹配环节选取最优技能,以此构建提示词,引导下游弱LLM进行分类,提高了分类的准确性;根据基于知识蒸馏的技能融合环节,不仅实现了技能库的有效拓展和更新,还兼顾了新旧类别特性的学习。对比实验结果表明,在THUCNews数据集上的测试中,与现有的L-SCL方法相比,CIL-LLM框架在所有任务上的平均准确率提升了6.3个百分点,性能下降率降低了3.1个百分点。此外,在消融实验中,经由CIL-LLM框架增强的SLEICL模型相比于原有模型,所有任务的平均准确率提高了10.4个百分点,性能下降率降低了3.3个百分点。消融实验进一步验证了提出的样本压缩、关键词匹配和技能融合环节均对模型的准确率和性能下降率产生了优化效果。 展开更多
关键词 类别增量学习 大语言模型(LLM) 主题分类 知识蒸馏
在线阅读 下载PDF
基于深度学习的类别增量学习算法综述 被引量:20
2
作者 周大蔚 汪福运 +1 位作者 叶翰嘉 詹德川 《计算机学报》 EI CAS CSCD 北大核心 2023年第8期1577-1605,共29页
近年来,深度学习模型在众多领域取得了广泛成功.现有的深度学习模型大多部署在静态环境下,依赖提前收集好的数据集进行离线训练,模型一经确定,便无法进一步更新.然而,现实中开放动态的环境往往存在以流形式不断到来的数据,包括随时间演... 近年来,深度学习模型在众多领域取得了广泛成功.现有的深度学习模型大多部署在静态环境下,依赖提前收集好的数据集进行离线训练,模型一经确定,便无法进一步更新.然而,现实中开放动态的环境往往存在以流形式不断到来的数据,包括随时间演进不断产生的新类别数据.因此,理想的机器学习模型应能够从流式数据中不断学习新类,从而增强自身的判别能力.这样的学习范式被称作“类别增量学习”(class-incremental learning),且近年来已成为机器学习领域的研究热点.面对流式数据,直接使用新类别样本训练模型会使其遗忘旧类别的数据,造成整体性能的下降.因此,设计增量学习模型时,需确保模型在学习新类的同时也能够抵抗灾难性遗忘.本文从机器学习的三个重要方面(数据层面、参数层面、算法层面)着眼,总结和归纳近几年基于深度学习的类别增量学习算法.此外,本文还在基准数据集上对10种典型算法进行了实验验证,并从中总结出适应类别增量学习的一般性规律.最后,本文对基于深度学习的类别增量学习算法目前存在的挑战加以分析,并展望未来的发展趋势. 展开更多
关键词 类别增量学习 持续学习 开放动态环境 灾难性遗忘 模型复用
在线阅读 下载PDF
基于声呐图像的类别增量学习方法研究
3
作者 陈鑫哲 梁红 徐微雨 《西北工业大学学报》 EI CAS CSCD 北大核心 2023年第2期303-309,共7页
由于声呐图像分辨率低、样本数少,现有的类别增量学习网络对历史任务目标出现了严重的灾难性遗忘问题,导致所有任务目标的平均识别率降低。基于生成重放的框架模式,提出了一种改进的类别增量学习网络,设计搭建新的深层卷积生成对抗网络... 由于声呐图像分辨率低、样本数少,现有的类别增量学习网络对历史任务目标出现了严重的灾难性遗忘问题,导致所有任务目标的平均识别率降低。基于生成重放的框架模式,提出了一种改进的类别增量学习网络,设计搭建新的深层卷积生成对抗网络取代变分自编码器,作为生成重放增量网络的重构模型,提升图像的重构效果;构建新的卷积神经网络取代多层感知机,作为生成重放增量网络的识别网络,提升图像的分类识别性能。结果表明,改进的生成重放增量网络缓解了历史任务目标的灾难性遗忘问题,显著提高所有任务目标的平均识别率显著提高。 展开更多
关键词 声呐图像识别 生成重放 类别增量学习
在线阅读 下载PDF
市场竞争机制下用户用电行为特性辨识模型 被引量:12
4
作者 李扬 陈玉辰 +1 位作者 王子健 蒋浩然 《电力自动化设备》 EI CSCD 北大核心 2019年第11期92-98,共7页
研究市场环境下的用户用电行为,有利于优化电力市场机制,为市场的数据化运营奠定基础,对电网的安全稳定运行有着积极的作用。首先,针对不同用户在电力市场环境下对电能价格和需求响应政策等的反应机制,从购电潜力、电价敏感度、需求响... 研究市场环境下的用户用电行为,有利于优化电力市场机制,为市场的数据化运营奠定基础,对电网的安全稳定运行有着积极的作用。首先,针对不同用户在电力市场环境下对电能价格和需求响应政策等的反应机制,从购电潜力、电价敏感度、需求响应潜力3个方面构建市场行为评价指标体系,在对初始用户样本进行指标量化的基础上,采用二次聚类法确定用户初始类别;然后,基于学习向量量化(LVQ)神经网络和自组织映射(SOM)神经网络,提出具有类别增量学习功能的自适应辨识模型;最后,基于某地市的实际用户数据进行模型验证。算例结果表明,所提自适应辨识模型的辨识结果准确,能有效地辨识得到新的用户类型,同时在更新辨识模型的速度上也有较大的优越性。 展开更多
关键词 电力市场 用电行为 竞争机制 自适应辨识 LVQ神经网络 SOM神经网络 类别增量学习 模型
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部