-
题名一种随机配置网络的模型与数据混合并行学习方法
被引量：16
- 1
-
-
作者
代伟
李德鹏
杨春雨
马小平
-
机构
中国矿业大学信息与控制工程学院
-
出处
《自动化学报》
EI
CAS
CSCD
北大核心
2021年第10期2427-2437,共11页
-
基金
国家自然科学基金(61603393,61973306)
江苏省自然科学基金(BK20160275)
+1 种基金
中国博士后科学基金(2018T110571)
流程工业综合自动化国家重点实验室开放基金资助(PAL-N201706)。
-
文摘
随机配置网络(Stochastic configuration networks,SCNs)在增量构建过程引入监督机制来分配隐含层参数以确保其无限逼近特性,具有易于实现、收敛速度快、泛化性能好等优点.然而,随着数据量的不断扩大,SCNs的建模任务面临一定的挑战性.为了提高神经网络算法在大数据建模中的综合性能,本文提出了一种混合并行随机配置网络(Hybrid parallel stochastic configuration networks,HPSCNs)架构,即:模型与数据混合并行的增量学习方法.所提方法由不同构建方式的左右两个SCNs模型组成,以快速准确地确定最佳隐含层节点,其中左侧采用点增量网络(PSCN),右侧采用块增量网络(BSCN);同时每个模型建立样本数据的动态分块方法,从而加快候选“节点池”的建立、降低计算量.所提方法首先通过大规模基准数据集进行了对比实验,然后应用在一个实际工业案例上,表明其有效性.
-
关键词
增量学习方法
随机配置网络
模型并行
数据并行
大数据建模
-
Keywords
Incremental learning method
stochastic configuration networks(SCNs)
model parallelism
data parallelism
large-scale data modeling
-
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
-
