As a new neural network model,extreme learning machine(ELM)has a good learning rate and generalization ability.However,ELM with a single hidden layer structure often fails to achieve good results when faced with large...As a new neural network model,extreme learning machine(ELM)has a good learning rate and generalization ability.However,ELM with a single hidden layer structure often fails to achieve good results when faced with large-scale multi-featured problems.To resolve this problem,we propose a multi-layer framework for the ELM learning algorithm to improve the model’s generalization ability.Moreover,noises or abnormal points often exist in practical applications,and they result in the inability to obtain clean training data.The generalization ability of the original ELM decreases under such circumstances.To address this issue,we add model bias and variance to the loss function so that the model gains the ability to minimize model bias and model variance,thus reducing the influence of noise signals.A new robust multi-layer algorithm called ML-RELM is proposed to enhance outlier robustness in complex datasets.Simulation results show that the method has high generalization ability and strong robustness to noise.展开更多
极深因子分解机(eXtreme deep factorization machine,xDeepFM)是一种基于上下文感知的推荐模型,它提出了一种压缩交叉网络对特征进行阶数可控的特征交叉,并将该网络与深度神经网络进行结合以优化推荐效果。为了进一步提升xDeepFM在推...极深因子分解机(eXtreme deep factorization machine,xDeepFM)是一种基于上下文感知的推荐模型,它提出了一种压缩交叉网络对特征进行阶数可控的特征交叉,并将该网络与深度神经网络进行结合以优化推荐效果。为了进一步提升xDeepFM在推荐场景下的表现,提出一种基于场因子分解的xDeepFM改进模型。该模型通过场信息增强了特征的表达能力,并建立了多个交叉压缩网络以学习高阶组合特征。最后分析了用户场、项目场设定的合理性,并在3个不同规模的MovieLens系列数据集上通过受试者工作特征曲线下面积、对数似然损失指标进行性能评估,验证了该改进模型的有效性。展开更多
实际化工工业过程数据往往存在多重共线性、高度非线性等多重特性,这会严重影响传统软测量模型对关键质量变量的预测精度。针对这一局限性,提出了一种分布式非线性映射和并行输入的双向长短记忆(distributed nonlinear mapping and para...实际化工工业过程数据往往存在多重共线性、高度非线性等多重特性,这会严重影响传统软测量模型对关键质量变量的预测精度。针对这一局限性,提出了一种分布式非线性映射和并行输入的双向长短记忆(distributed nonlinear mapping and parallel input bidirectional long short-term memory,DNMPI-BiLSTM)软测量模型。在所提策略中,首先为了阐述过程变量与质量变量之间的关联性,采用互信息以及最大相关最小冗余方法对输入数据集进行分类。随后,为了充分挖掘工业过程内部所包含的高度复杂的非线性关系,利用深度极限学习机的隐藏层对子过程变量空间进行非线性映射到高维空间。最后,将三类数据的非线性映射结果并行,建立了基于分布式非线性映射和并行输入的DNMPI-BiLSTM软测量模型,以提升模型对复杂工业过程质量变量的预测能力。通过三个工业案例验证所提方法的有效性,仿真结果表明,所提出的基于分布式非线性映射和并行输入的BiLSTM软测量建模方法的预测精度优于其他先进模型。展开更多
为了研究钢轨的化学成分、入口温度、环境温度,以及风冷时风压、风速等参数对热处理钢轨性能的综合影响,进一步解决钢轨热处理后设定精度低的难题,开发了一种基于灰狼算法优化深度极限学习机(grey wolf optimization deep extreme learn...为了研究钢轨的化学成分、入口温度、环境温度,以及风冷时风压、风速等参数对热处理钢轨性能的综合影响,进一步解决钢轨热处理后设定精度低的难题,开发了一种基于灰狼算法优化深度极限学习机(grey wolf optimization deep extreme learning machine,GWO-DELM)的钢轨热处理性能预测模型.先采用深度极限学习机(DELM)构建出工艺模型,而后,针对深度极限学习机中初始权值随机确定而引起的预测结果准确度较低的问题,利用灰狼优化算法(GWO)对初始权值进一步确定.结果表明:该模型在预测不同规格钢轨的抗拉强度时,95.80%以上样本点的预测误差集中在-20~20 MPa,在预测踏面布氏硬度时,95.73%以上样本点的预测误差集中在-8~8;与传统模型相比,GWO-DELM具有更优异的预测精度及泛化能力,可应用在热轧钢轨风冷处理的性能预测上,为热处理参数的选择提供参考.展开更多
基金Project(21878081)supported by the National Natural Science Foundation of ChinaProject(222201917006)supported by the Fundamental Research Funds for the Central Universities,China。
文摘As a new neural network model,extreme learning machine(ELM)has a good learning rate and generalization ability.However,ELM with a single hidden layer structure often fails to achieve good results when faced with large-scale multi-featured problems.To resolve this problem,we propose a multi-layer framework for the ELM learning algorithm to improve the model’s generalization ability.Moreover,noises or abnormal points often exist in practical applications,and they result in the inability to obtain clean training data.The generalization ability of the original ELM decreases under such circumstances.To address this issue,we add model bias and variance to the loss function so that the model gains the ability to minimize model bias and model variance,thus reducing the influence of noise signals.A new robust multi-layer algorithm called ML-RELM is proposed to enhance outlier robustness in complex datasets.Simulation results show that the method has high generalization ability and strong robustness to noise.
文摘极深因子分解机(eXtreme deep factorization machine,xDeepFM)是一种基于上下文感知的推荐模型,它提出了一种压缩交叉网络对特征进行阶数可控的特征交叉,并将该网络与深度神经网络进行结合以优化推荐效果。为了进一步提升xDeepFM在推荐场景下的表现,提出一种基于场因子分解的xDeepFM改进模型。该模型通过场信息增强了特征的表达能力,并建立了多个交叉压缩网络以学习高阶组合特征。最后分析了用户场、项目场设定的合理性,并在3个不同规模的MovieLens系列数据集上通过受试者工作特征曲线下面积、对数似然损失指标进行性能评估,验证了该改进模型的有效性。
文摘实际化工工业过程数据往往存在多重共线性、高度非线性等多重特性,这会严重影响传统软测量模型对关键质量变量的预测精度。针对这一局限性,提出了一种分布式非线性映射和并行输入的双向长短记忆(distributed nonlinear mapping and parallel input bidirectional long short-term memory,DNMPI-BiLSTM)软测量模型。在所提策略中,首先为了阐述过程变量与质量变量之间的关联性,采用互信息以及最大相关最小冗余方法对输入数据集进行分类。随后,为了充分挖掘工业过程内部所包含的高度复杂的非线性关系,利用深度极限学习机的隐藏层对子过程变量空间进行非线性映射到高维空间。最后,将三类数据的非线性映射结果并行,建立了基于分布式非线性映射和并行输入的DNMPI-BiLSTM软测量模型,以提升模型对复杂工业过程质量变量的预测能力。通过三个工业案例验证所提方法的有效性,仿真结果表明,所提出的基于分布式非线性映射和并行输入的BiLSTM软测量建模方法的预测精度优于其他先进模型。
文摘为了研究钢轨的化学成分、入口温度、环境温度,以及风冷时风压、风速等参数对热处理钢轨性能的综合影响,进一步解决钢轨热处理后设定精度低的难题,开发了一种基于灰狼算法优化深度极限学习机(grey wolf optimization deep extreme learning machine,GWO-DELM)的钢轨热处理性能预测模型.先采用深度极限学习机(DELM)构建出工艺模型,而后,针对深度极限学习机中初始权值随机确定而引起的预测结果准确度较低的问题,利用灰狼优化算法(GWO)对初始权值进一步确定.结果表明:该模型在预测不同规格钢轨的抗拉强度时,95.80%以上样本点的预测误差集中在-20~20 MPa,在预测踏面布氏硬度时,95.73%以上样本点的预测误差集中在-8~8;与传统模型相比,GWO-DELM具有更优异的预测精度及泛化能力,可应用在热轧钢轨风冷处理的性能预测上,为热处理参数的选择提供参考.
