传统时序预测模型通常仅关注捕捉复杂时序中的趋势和模式,而忽略了变量间的相互作用,限制了该模型在复杂时序预测中应用.提出一种Dualformer双模型并联方案,该模型并联iTransformer(inverted transformer)和PatchTST(patch time series ...传统时序预测模型通常仅关注捕捉复杂时序中的趋势和模式,而忽略了变量间的相互作用,限制了该模型在复杂时序预测中应用.提出一种Dualformer双模型并联方案,该模型并联iTransformer(inverted transformer)和PatchTST(patch time series transformer),通过激活函数替代前馈神经网络,并通过多层感知机计算输出结果.Dualformer利用注意力机制同时捕捉复杂时序中的时间维度和变量维度信息,关注时间趋势与多变量交互.实验结果显示,Dualformer在复杂时序预测效果上显著优于对比模型iTransformer、PatchTST和DLinear(decomposition linear),在实际应用中可显著提高复杂时序预测的准确度,具有广泛应用前景.展开更多
虽然异构计算系统的应用可以加快神经网络参数的处理,但系统功耗也随之剧增。良好的功耗预测方法是异构系统优化功耗和处理多类型工作负载的基础,基于此,通过改进多层感知机-注意力模型,提出一种面向CPU/GPU异构计算系统多类型工作负载...虽然异构计算系统的应用可以加快神经网络参数的处理,但系统功耗也随之剧增。良好的功耗预测方法是异构系统优化功耗和处理多类型工作负载的基础,基于此,通过改进多层感知机-注意力模型,提出一种面向CPU/GPU异构计算系统多类型工作负载的功耗预测算法。首先,考虑服务器功耗与系统特征,建立一种基于特征的工作负载功耗模型;其次,针对现有的功耗预测算法不能解决系统特征与系统功耗之间的长程依赖的问题,提出一种改进的基于多层感知机-注意力模型的功耗预测算法Prophet,该算法改进多层感知机实现各个时刻的系统特征的提取,并使用注意力机制综合这些特征,从而有效解决系统特征与系统功耗之间的长程依赖问题;最后,在实际系统中开展相关实验,将所提算法分别与MLSTM_PM(Power consumption Model based on Multi-layer Long Short-Term Memory)和ENN_PM(Power consumption Model based on Elman Neural Network)等功耗预测算法对比。实验结果表明,Prophet具有较高的预测精准性,与MLSTM_PM算法相比,在工作负载blk、memtest和busspd上将平均相对误差(MRE)分别降低了1.22、1.01和0.93个百分点,并且具有较低的复杂度,表明了所提算法的有效性及可行性。展开更多
目的生成式和传统人工智能模型是信息时代的关键工具。在这些技术的助力下,眼动过程的样本生成与识别显得尤为关键,它已成为深入研究认知机制的重要手段。为了推动生成式人工智能在眼动技术领域的应用发展,解决眼动样本生成及因网络深...目的生成式和传统人工智能模型是信息时代的关键工具。在这些技术的助力下,眼动过程的样本生成与识别显得尤为关键,它已成为深入研究认知机制的重要手段。为了推动生成式人工智能在眼动技术领域的应用发展,解决眼动样本生成及因网络深度增加而导致的不透明性和不可解释性问题,并深入挖掘与幼儿语言发展相关的眼动数据,方法采集4~6岁幼儿理解不同焦点结构的眼动数据,采用生成式人工智能模型-变分自编码器(variational autoencoder,VAE)和传统模型-多层感知器(multi-layer perceptron,MLP)识别眼动模式的发展差异并尝试生成新样本,基于灰色关联分析和混淆矩阵对生成式数据集进行解释。结果结果表明:(1)VAE生成的4岁组、5岁组和6岁组幼儿眼动数据集精度高于MINIST数据集(mixed National Institute of Standards and Technology database),且与MLP分析结果一致,具有准确性、多样性和一定的可解释性;(2)生成式眼动数据及混淆矩阵结果表明,在无焦点结构句式中,幼儿在4~5岁、5~6岁两个阶段理解水平均有提升,而宾语焦点结构和主语焦点结构的眼动特征在4~5岁变化较小,5~6岁变化较大,说明幼儿对焦点结构的理解在5岁是一个关键期,这符合幼儿焦点结构理解发展规律。结论提出的人工智能耦合分析方法,具备有效识别眼动特征发展模式的能力,并能据此生成可靠的新样本。这一方法不仅为生成式人工智能与眼动技术的融合开辟了新的途径,而且为复杂语言理解问题提供了全新的思考方向。展开更多
文摘传统时序预测模型通常仅关注捕捉复杂时序中的趋势和模式,而忽略了变量间的相互作用,限制了该模型在复杂时序预测中应用.提出一种Dualformer双模型并联方案,该模型并联iTransformer(inverted transformer)和PatchTST(patch time series transformer),通过激活函数替代前馈神经网络,并通过多层感知机计算输出结果.Dualformer利用注意力机制同时捕捉复杂时序中的时间维度和变量维度信息,关注时间趋势与多变量交互.实验结果显示,Dualformer在复杂时序预测效果上显著优于对比模型iTransformer、PatchTST和DLinear(decomposition linear),在实际应用中可显著提高复杂时序预测的准确度,具有广泛应用前景.
文摘虽然异构计算系统的应用可以加快神经网络参数的处理,但系统功耗也随之剧增。良好的功耗预测方法是异构系统优化功耗和处理多类型工作负载的基础,基于此,通过改进多层感知机-注意力模型,提出一种面向CPU/GPU异构计算系统多类型工作负载的功耗预测算法。首先,考虑服务器功耗与系统特征,建立一种基于特征的工作负载功耗模型;其次,针对现有的功耗预测算法不能解决系统特征与系统功耗之间的长程依赖的问题,提出一种改进的基于多层感知机-注意力模型的功耗预测算法Prophet,该算法改进多层感知机实现各个时刻的系统特征的提取,并使用注意力机制综合这些特征,从而有效解决系统特征与系统功耗之间的长程依赖问题;最后,在实际系统中开展相关实验,将所提算法分别与MLSTM_PM(Power consumption Model based on Multi-layer Long Short-Term Memory)和ENN_PM(Power consumption Model based on Elman Neural Network)等功耗预测算法对比。实验结果表明,Prophet具有较高的预测精准性,与MLSTM_PM算法相比,在工作负载blk、memtest和busspd上将平均相对误差(MRE)分别降低了1.22、1.01和0.93个百分点,并且具有较低的复杂度,表明了所提算法的有效性及可行性。
文摘目的生成式和传统人工智能模型是信息时代的关键工具。在这些技术的助力下,眼动过程的样本生成与识别显得尤为关键,它已成为深入研究认知机制的重要手段。为了推动生成式人工智能在眼动技术领域的应用发展,解决眼动样本生成及因网络深度增加而导致的不透明性和不可解释性问题,并深入挖掘与幼儿语言发展相关的眼动数据,方法采集4~6岁幼儿理解不同焦点结构的眼动数据,采用生成式人工智能模型-变分自编码器(variational autoencoder,VAE)和传统模型-多层感知器(multi-layer perceptron,MLP)识别眼动模式的发展差异并尝试生成新样本,基于灰色关联分析和混淆矩阵对生成式数据集进行解释。结果结果表明:(1)VAE生成的4岁组、5岁组和6岁组幼儿眼动数据集精度高于MINIST数据集(mixed National Institute of Standards and Technology database),且与MLP分析结果一致,具有准确性、多样性和一定的可解释性;(2)生成式眼动数据及混淆矩阵结果表明,在无焦点结构句式中,幼儿在4~5岁、5~6岁两个阶段理解水平均有提升,而宾语焦点结构和主语焦点结构的眼动特征在4~5岁变化较小,5~6岁变化较大,说明幼儿对焦点结构的理解在5岁是一个关键期,这符合幼儿焦点结构理解发展规律。结论提出的人工智能耦合分析方法,具备有效识别眼动特征发展模式的能力,并能据此生成可靠的新样本。这一方法不仅为生成式人工智能与眼动技术的融合开辟了新的途径,而且为复杂语言理解问题提供了全新的思考方向。
