摘要
增量学习是近年来机器学习领域的一个重要的研究方向,它能高效地进行知识迁移却不产生遗忘.与静态模型相比,动态网络可以根据不同的输入调整其结构或参数,从而在准确性、计算效率和适应性等方面具有显著的优势.本文从动态架构角度出发,根据动态网络中的自适应选择方式,对当前增量学习模型中所涉及到动态神经网络进行了系统化的总结.文中首先了阐述了增量学习研究进展和定义,归纳了增量学习的学习场景.其次根据动态路由选择粒度的不同,将增量学习的动态神经网络划分为基于任务的动态选择、基于模块化的动态选择、基于神经元的动态选择、基于卷积通道的动态选择和基于权重的动态选择,并对常用的增量学习模型分类进行了阐述和比较.最后归纳了一些常见数据集,并对未来的研究方向进行展望.
Incremental learning is an important research direction in the field of machine learning in recent years.It can efficiently transfer knowledge without forgetting.Dynamic networks exhibit significant advantages in accuracy,compu⁃tational efficiency,and adaptability compared to static models,as they can adjust their structure or parameters according to different inputs.From the perspective of dynamic architecture,this paper systematically summarizes the dynamic neural network involved in the current incremental learning model according to the adaptive selection method in the dynamic net⁃work.Firstly,this paper describes the research progress and definition of incremental learning,and summarizes the learning scenarios of incremental learning.Then,according to the granularity of dynamic routing selection,the dynamic neural net⁃work of incremental learning is divided into task-based dynamic selection,modular dynamic selection,neuron-based dynam⁃ic selection,convolution channel-based dynamic selection and weight-based dynamic selection.At last,some common data⁃sets are summarized,and prospects for future research directions are discussed.
作者
赵海燕
马权益
曹健
陈庆奎
ZHAO Hai-yan;MA Quan-yi;CAO Jian;CHEN Qing-kui(School of Optical-Electrical&Computer Engineering,University of Shanghai for Science and Technology,Shanghai 200093,China;Department of Computer Science and Technology,Shanghai Jiaotong University,Shanghai 200030,China)
出处
《电子学报》
EI
CAS
CSCD
北大核心
2023年第6期1710-1724,共15页
Acta Electronica Sinica
基金
国家自然科学基金(No.62072301)
上海市科委科技创新计划(No.21511104700)。
关键词
增量学习
动态神经网络
深度学习
灾难性遗忘
自适应选择
incremental learning
dynamic neural network
deep learning
catastrophic forgetting
adaptive selection
作者简介
赵海燕,女,1975年11月出生于河南省焦作市.现为上海理工大学光电信息与计算机工程学院副教授.主要研究方向为智能数据分析,推荐系统.E-mail:zhaohaiyan1992@foxmail.com;马权益,男,1996年9月出生于浙江省金华市.现为上海理工大学光电信息与计算机工程学院硕士研究生.主要研究方向为神经网络,增量学习.E-mail:mannel22@163.com;通讯作者:曹健,男,1972年9月出生,出生于江苏省宜兴市.现为上海交通大学计算机系教授,主要方向为分布式人工智能,智能数据分析,服务计算.中国电子学会会员编号:E190007047S.E-mail:cao-jian@cs.sjtu.edu.cn;陈庆奎,男,1966年1月出生于黑龙江哈尔滨.现任上海理工大学光电信息与计算机工程院教授、博士生导师.主要研究方向:并行处理技术,智能计算,物联网技术.E-mail:chenqingkui@usst.edu.cn。
