-
题名高维数据中鲁棒激活函数的极端学习机及线性降维
被引量：12
- 1
-
-
作者
冯林
刘胜蓝
张晶
王辉兵
-
机构
大连理工大学电子信息与电气工程学部计算机科学与技术学院
大连理工大学创新实验学院
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2014年第6期1331-1340,共10页
-
基金
国家自然科学基金项目(61173163
51105052)
辽宁省自然科学基金项目(201102037)
-
文摘
极端学习机(extreme learning machine,ELM)训练速度快、分类率高,已经广泛应用于人脸识别等实际问题中,并取得了较好的效果.但实际问题中的数据往往维数较高,且经常带有噪声及离群点,降低了ELM算法的分类率.这主要是由于:1)输入样本维数过高;2)激活函数选取不当.以上两点使激活函数的输出值趋于零,最终降低了ELM算法的性能.针对第1个问题,提出一种鲁棒的线性降维方法(RAF-global embedding,RAF-GE)预处理高维数据,再通过ELM算法对数据进行分类;而对第2个问题,深入分析不同激活函数的性质,提出一种鲁棒激活函数(robust activation function,RAF),该激活函数可尽量避免激活函数的输出值趋于零,提升RAF-GE及ELM算法的性能.实验证实人脸识别方法的性能普遍优于使用其他激活函数的对比方法.
-
关键词
极端学习机
线性降维
鲁棒激活函数
高维数据
神经网络
-
Keywords
extreme learning machine
linear dimensionality reduction
robust activation function
high-dimensional data
neural network
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于微分同胚的鲁棒激活函数的极端学习机
- 2
-
-
作者
楚永贺
闫德勤
徐丽丽
高晴
-
机构
辽宁师范大学计算机与信息技术学院
辽宁师范大学数学学院
-
出处
《计算机应用研究》
CSCD
北大核心
2016年第9期2579-2583,共5页
-
基金
国家自然科学基金资助项目(61105085
61373127)
-
文摘
在实际问题中数据的不规则分布、带有噪声以及离群点,都严重影响了极端学习机算法的分类准确率。针对这些问题,深入分析不同激活函数的特性,提出了一种基于角度优化和微分同胚理论的鲁棒激活函数(robust activation function)。该鲁棒激活函数通过角度优化及微分同胚揭示数据的内在流形,从理论上证明了中心化样本长度与其偏离主空间角度为子空间偏离的主要因素,进而解决了噪声造成的主空间偏离问题,并且可尽量避免激活函数的输出值趋于零的情况。实验结果表明提出的激活函数优于其他的激活函数。
-
关键词
极端学习机
角度优化
微分同胚
鲁棒激活函数
-
Keywords
extreme learning machine
angle optimize
differential homeomorphism
robust activation function
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
