-
题名脉冲深度学习梯度替代算法研究综述
- 1
-
-
作者
方维
朱耀宇
黄梓涵
姚满
余肇飞
田永鸿
-
机构
北京大学深圳研究生院信息工程学院
中国科学院计算技术研究所
北京大学计算机学院
中国科学院自动化研究所
北京大学人工智能研究院
鹏城实验室
-
出处
《计算机学报》
北大核心
2025年第8期1885-1922,共38页
-
基金
国家自然科学基金杰出青年科学基金(No.62425101)
国家自然科学基金重点项目(No.62332002)
+2 种基金
国家自然科学基金重大科研仪器研制项目(No.62027804)
国家自然科学基金科学中心项目(No.62088102)
国家自然科学基金青年科学基金(No.62406322)资助。
-
文摘
被誉为第三代神经网络模型的脉冲神经网络(Spiking Neural Network,SNN)具有二值通信、稀疏激活、事件驱动、超低功耗的特性,但也因其复杂的时域动态和离散不可导的脉冲发放过程而难以训练。近年来以梯度替代法和人工神经网络(Artificial Neural Network,ANN)转换SNN方法为代表的深度学习方法被提出,大幅度改善SNN性能,形成了脉冲深度学习这一全新领域。本文围绕梯度替代法的研究进展,对其中的基础学习算法、编码方式、神经元和突触改进、网络结构改进、正则化方法、ANN辅助训练算法、事件驱动学习算法、在线学习算法以及训练加速方法进行系统性地回顾和综述,并选择其中的代表性方法进行实验对比分析,讨论了目前的研究挑战和可能的解决方案,最后展望了未来可能取得突破的研究方向。
-
关键词
脉冲神经网络
梯度替代法
类脑计算
神经形态计算
脉冲深度学习
-
Keywords
spiking neural networks
surrogate gradient methods
brain-inspired computing
neuromorphic computing
spiking deep learning
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
