知识追踪任务旨在通过建模学生历史学习序列追踪学生认知水平,进而预测学生未来的答题表现.该文提出一个融合异构图神经网络的时间卷积知识追踪模型(Temporal Convolutional Knowledge Tracing Model with Heterogeneous Graph Neural N...知识追踪任务旨在通过建模学生历史学习序列追踪学生认知水平,进而预测学生未来的答题表现.该文提出一个融合异构图神经网络的时间卷积知识追踪模型(Temporal Convolutional Knowledge Tracing Model with Heterogeneous Graph Neural Network,HG-TCKT),将知识追踪任务重述为基于异构图神经网络的时序边分类问题.具体来说,首先将学习记录构建成包含3种节点类型(学生,习题和技能),2种边类型(学生-习题和习题-技能)的异构图数据,异构图描述了学生交互记录中实体类型之间的丰富关系,使用异构图神经网络缓解交互稀疏的问题,引入异构互注意力机制捕捉不同类型节点间的交互关系,提取不同类型节点的高阶特征.将学生节点和习题节点表征拼接,构造边(学生-习题)的表征.最后,使用时间卷积网络捕捉学生历史交互序列的时序依赖关系从而进行预测.在2个真实教育数据集进行实验证明,HG-TCKT相比当前主流知识追踪方法有更好的预测效果.展开更多
针对传统卷积神经网络故障诊断方法提取特征不丰富,容易丢失故障敏感信息,且在单一尺度处理方法限制实际复杂工况下故障特性的深度挖掘问题,提出了注意力机制的多尺度卷积神经网络和双向长短期记忆(bi-directional long short-term memo...针对传统卷积神经网络故障诊断方法提取特征不丰富,容易丢失故障敏感信息,且在单一尺度处理方法限制实际复杂工况下故障特性的深度挖掘问题,提出了注意力机制的多尺度卷积神经网络和双向长短期记忆(bi-directional long short-term memory,BiLSTM)网络融合的迁移学习故障诊断方法。该方法首先应用不同尺寸池化层和卷积核捕获振动信号的多尺度特征;然后引入多头自注意力机制自动地给予特征序列中的不同部分不同的权重,进一步加强特征表示的能力;其次利用BiLSTM结构引入双向性质提取特征前后之间的内部关系实现信息的逐层传递;最后利用多核最大均值差异减小源域和目标域在预训练模型中各层上的概率分布差异并利用少量标记的目标域数据再对模型进行训练。试验结果表明,所提方法在江南大学(JNU)、德国帕德博恩大学(PU)公开轴承数据集上平均准确率分别为98.43%和97.66%,该方法在重庆长江轴承股份有限公司自制的轴承故障数据集上也表现出了极高的准确率和较快的收敛速度,为有效诊断振动旋转部件故障提供了实际依据。展开更多
在移动通信网络快速发展的背景下,蜂窝流量预测对于网络规划、优化和资源管理具有重大意义。针对蜂窝流量数据的复杂性和非线性特点,提出一种基于二次分解的混合神经网络蜂窝流量预测方法。首先,采用自适应噪声的完备集合经验模式分解(c...在移动通信网络快速发展的背景下,蜂窝流量预测对于网络规划、优化和资源管理具有重大意义。针对蜂窝流量数据的复杂性和非线性特点,提出一种基于二次分解的混合神经网络蜂窝流量预测方法。首先,采用自适应噪声的完备集合经验模式分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)方法将原始流量分解为多个子序列,利用K-Shape聚类算法重构为频率序列和趋势序列。为了更细致地揭示数据的内在结构,运用变分模态分解(variational mode decomposition,VMD)方法对频率序列进行二次分解,生成多维频率序列。然后,将一维趋势序列和多维频率序列分别输入至局部特征提取模块,其中单通道特征提取层利用一维卷积神经网络(one-dimensional convolution neural network,1DCNN)提取一维趋势序列的局部特征,而多通道特征提取层则结合卷积块注意力模块(convolutional block attention module,CBAM)捕捉多维频率序列中的关键信息。紧接着将提取到的特征向量分别输入到时序信息学习模块中,利用双向长短时记忆(bidirectional long short term memory,BiLSTM)网络和注意力机制学习时序变化规律,完成预测流量的输出。最后,通过对趋势序列和频率序列的预测结果求和,实现对蜂窝流量的准确预测。为了验证所提方法的有效性,利用公开数据集进行实验验证,并与多种不同方法进行对比。实验结果表明,所提预测方法展现出更优的预测性能,为蜂窝网络的智能管理和优化提供了有力支持。展开更多
文摘知识追踪任务旨在通过建模学生历史学习序列追踪学生认知水平,进而预测学生未来的答题表现.该文提出一个融合异构图神经网络的时间卷积知识追踪模型(Temporal Convolutional Knowledge Tracing Model with Heterogeneous Graph Neural Network,HG-TCKT),将知识追踪任务重述为基于异构图神经网络的时序边分类问题.具体来说,首先将学习记录构建成包含3种节点类型(学生,习题和技能),2种边类型(学生-习题和习题-技能)的异构图数据,异构图描述了学生交互记录中实体类型之间的丰富关系,使用异构图神经网络缓解交互稀疏的问题,引入异构互注意力机制捕捉不同类型节点间的交互关系,提取不同类型节点的高阶特征.将学生节点和习题节点表征拼接,构造边(学生-习题)的表征.最后,使用时间卷积网络捕捉学生历史交互序列的时序依赖关系从而进行预测.在2个真实教育数据集进行实验证明,HG-TCKT相比当前主流知识追踪方法有更好的预测效果.
文摘针对传统卷积神经网络故障诊断方法提取特征不丰富,容易丢失故障敏感信息,且在单一尺度处理方法限制实际复杂工况下故障特性的深度挖掘问题,提出了注意力机制的多尺度卷积神经网络和双向长短期记忆(bi-directional long short-term memory,BiLSTM)网络融合的迁移学习故障诊断方法。该方法首先应用不同尺寸池化层和卷积核捕获振动信号的多尺度特征;然后引入多头自注意力机制自动地给予特征序列中的不同部分不同的权重,进一步加强特征表示的能力;其次利用BiLSTM结构引入双向性质提取特征前后之间的内部关系实现信息的逐层传递;最后利用多核最大均值差异减小源域和目标域在预训练模型中各层上的概率分布差异并利用少量标记的目标域数据再对模型进行训练。试验结果表明,所提方法在江南大学(JNU)、德国帕德博恩大学(PU)公开轴承数据集上平均准确率分别为98.43%和97.66%,该方法在重庆长江轴承股份有限公司自制的轴承故障数据集上也表现出了极高的准确率和较快的收敛速度,为有效诊断振动旋转部件故障提供了实际依据。
文摘在移动通信网络快速发展的背景下,蜂窝流量预测对于网络规划、优化和资源管理具有重大意义。针对蜂窝流量数据的复杂性和非线性特点,提出一种基于二次分解的混合神经网络蜂窝流量预测方法。首先,采用自适应噪声的完备集合经验模式分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)方法将原始流量分解为多个子序列,利用K-Shape聚类算法重构为频率序列和趋势序列。为了更细致地揭示数据的内在结构,运用变分模态分解(variational mode decomposition,VMD)方法对频率序列进行二次分解,生成多维频率序列。然后,将一维趋势序列和多维频率序列分别输入至局部特征提取模块,其中单通道特征提取层利用一维卷积神经网络(one-dimensional convolution neural network,1DCNN)提取一维趋势序列的局部特征,而多通道特征提取层则结合卷积块注意力模块(convolutional block attention module,CBAM)捕捉多维频率序列中的关键信息。紧接着将提取到的特征向量分别输入到时序信息学习模块中,利用双向长短时记忆(bidirectional long short term memory,BiLSTM)网络和注意力机制学习时序变化规律,完成预测流量的输出。最后,通过对趋势序列和频率序列的预测结果求和,实现对蜂窝流量的准确预测。为了验证所提方法的有效性,利用公开数据集进行实验验证,并与多种不同方法进行对比。实验结果表明,所提预测方法展现出更优的预测性能,为蜂窝网络的智能管理和优化提供了有力支持。
基金Supported by National Natural Science Foundation of China(61170124,61272258,61301299,61272005,61572085)Provincial Natural Science Foundation of Jiangsu(BK20151254,BK20151260)+2 种基金Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education,Jilin University(93K172016K08)a Prospective Joint Research Projects from Joint Innovation and Research Foundation of Jiangsu Province(BY2014-05914)Collaborative Innovation Center of Novel Software Technology and Industrialization
