A Newton learning method for a neural network of multilayer perceptrons is proposed in this paper. Furthermore, a hybrid learning method id legitimately developed in combination of the backpropagation method proposed ...A Newton learning method for a neural network of multilayer perceptrons is proposed in this paper. Furthermore, a hybrid learning method id legitimately developed in combination of the backpropagation method proposed by Rumelhart et al with the Newton learning method. Finally, the hybrid learning algorithm is compared with the backpropagation algorithm by some illustrations, and the results show that this hybrid leaming algorithm bas the characteristics of rapid convergence.展开更多
虽然异构计算系统的应用可以加快神经网络参数的处理,但系统功耗也随之剧增。良好的功耗预测方法是异构系统优化功耗和处理多类型工作负载的基础,基于此,通过改进多层感知机-注意力模型,提出一种面向CPU/GPU异构计算系统多类型工作负载...虽然异构计算系统的应用可以加快神经网络参数的处理,但系统功耗也随之剧增。良好的功耗预测方法是异构系统优化功耗和处理多类型工作负载的基础,基于此,通过改进多层感知机-注意力模型,提出一种面向CPU/GPU异构计算系统多类型工作负载的功耗预测算法。首先,考虑服务器功耗与系统特征,建立一种基于特征的工作负载功耗模型;其次,针对现有的功耗预测算法不能解决系统特征与系统功耗之间的长程依赖的问题,提出一种改进的基于多层感知机-注意力模型的功耗预测算法Prophet,该算法改进多层感知机实现各个时刻的系统特征的提取,并使用注意力机制综合这些特征,从而有效解决系统特征与系统功耗之间的长程依赖问题;最后,在实际系统中开展相关实验,将所提算法分别与MLSTM_PM(Power consumption Model based on Multi-layer Long Short-Term Memory)和ENN_PM(Power consumption Model based on Elman Neural Network)等功耗预测算法对比。实验结果表明,Prophet具有较高的预测精准性,与MLSTM_PM算法相比,在工作负载blk、memtest和busspd上将平均相对误差(MRE)分别降低了1.22、1.01和0.93个百分点,并且具有较低的复杂度,表明了所提算法的有效性及可行性。展开更多
传统时序预测模型通常仅关注捕捉复杂时序中的趋势和模式,而忽略了变量间的相互作用,限制了该模型在复杂时序预测中应用.提出一种Dualformer双模型并联方案,该模型并联iTransformer(inverted transformer)和PatchTST(patch time series ...传统时序预测模型通常仅关注捕捉复杂时序中的趋势和模式,而忽略了变量间的相互作用,限制了该模型在复杂时序预测中应用.提出一种Dualformer双模型并联方案,该模型并联iTransformer(inverted transformer)和PatchTST(patch time series transformer),通过激活函数替代前馈神经网络,并通过多层感知机计算输出结果.Dualformer利用注意力机制同时捕捉复杂时序中的时间维度和变量维度信息,关注时间趋势与多变量交互.实验结果显示,Dualformer在复杂时序预测效果上显著优于对比模型iTransformer、PatchTST和DLinear(decomposition linear),在实际应用中可显著提高复杂时序预测的准确度,具有广泛应用前景.展开更多
文摘A Newton learning method for a neural network of multilayer perceptrons is proposed in this paper. Furthermore, a hybrid learning method id legitimately developed in combination of the backpropagation method proposed by Rumelhart et al with the Newton learning method. Finally, the hybrid learning algorithm is compared with the backpropagation algorithm by some illustrations, and the results show that this hybrid leaming algorithm bas the characteristics of rapid convergence.
文摘虽然异构计算系统的应用可以加快神经网络参数的处理,但系统功耗也随之剧增。良好的功耗预测方法是异构系统优化功耗和处理多类型工作负载的基础,基于此,通过改进多层感知机-注意力模型,提出一种面向CPU/GPU异构计算系统多类型工作负载的功耗预测算法。首先,考虑服务器功耗与系统特征,建立一种基于特征的工作负载功耗模型;其次,针对现有的功耗预测算法不能解决系统特征与系统功耗之间的长程依赖的问题,提出一种改进的基于多层感知机-注意力模型的功耗预测算法Prophet,该算法改进多层感知机实现各个时刻的系统特征的提取,并使用注意力机制综合这些特征,从而有效解决系统特征与系统功耗之间的长程依赖问题;最后,在实际系统中开展相关实验,将所提算法分别与MLSTM_PM(Power consumption Model based on Multi-layer Long Short-Term Memory)和ENN_PM(Power consumption Model based on Elman Neural Network)等功耗预测算法对比。实验结果表明,Prophet具有较高的预测精准性,与MLSTM_PM算法相比,在工作负载blk、memtest和busspd上将平均相对误差(MRE)分别降低了1.22、1.01和0.93个百分点,并且具有较低的复杂度,表明了所提算法的有效性及可行性。
文摘传统时序预测模型通常仅关注捕捉复杂时序中的趋势和模式,而忽略了变量间的相互作用,限制了该模型在复杂时序预测中应用.提出一种Dualformer双模型并联方案,该模型并联iTransformer(inverted transformer)和PatchTST(patch time series transformer),通过激活函数替代前馈神经网络,并通过多层感知机计算输出结果.Dualformer利用注意力机制同时捕捉复杂时序中的时间维度和变量维度信息,关注时间趋势与多变量交互.实验结果显示,Dualformer在复杂时序预测效果上显著优于对比模型iTransformer、PatchTST和DLinear(decomposition linear),在实际应用中可显著提高复杂时序预测的准确度,具有广泛应用前景.
