针对现有的卷积、循环模型预测滚动轴承剩余使用寿命(Residual Life,RL)精度低的问题,提出一种基于改进自注意力机制的RL预测模型。首先,针对Transformer模型中自注意力机制内存占用高、信号存在噪声信息的问题,在窗口自注意力机制(Wind...针对现有的卷积、循环模型预测滚动轴承剩余使用寿命(Residual Life,RL)精度低的问题,提出一种基于改进自注意力机制的RL预测模型。首先,针对Transformer模型中自注意力机制内存占用高、信号存在噪声信息的问题,在窗口自注意力机制(Window Based Multi-head Self-attention,W-MSA)的基础上,提出概率窗口自注意力机制(Probwindow Based Multi-head Self-attention,PW-MSA);然后,针对多头信息不匹配和缺少局部信息的问题,采用Talking Head方法实现多头信息融合,并在前馈神经网络层加入深度可分离卷积提取局部信息,从而提升模型的预测精度。采用PHM2012轴承数据集将改进前后的自注意力机制模型进行比较,并和现有的先进预测模型对比,结果表明,改进自注意力机制模型可使预测精度提升13.04%。展开更多
提出了一种基于双层双向长短时记忆网络(bi-directional long short term memory,BiLSTM)和自注意力(self-attention)机制的药物-药物相互作用(drug-drug interactions,DDIs)预测方法SA-BiLSTM。首先,利用FP3指纹、MACCS指纹、Pubchem...提出了一种基于双层双向长短时记忆网络(bi-directional long short term memory,BiLSTM)和自注意力(self-attention)机制的药物-药物相互作用(drug-drug interactions,DDIs)预测方法SA-BiLSTM。首先,利用FP3指纹、MACCS指纹、Pubchem指纹和PaDEL分子描述符对药物特征信息进行提取。其次,使用套索回归(least absolute shrinkage and selection operator,Lasso)方法消除对分类无关的特征,并利用重复编辑最近邻(repeated edited nearest neighbors,RENN)方法对数据进行平衡处理,得到最优特征向量。最后,将最优特征向量输入结合自注意力机制和双向长短时记忆网络的分类器预测DDIs。基于五折交叉验证,同时与其它预测方法进行比较,本工作所提出的方法在两个数据集上获得较高的预测准确率。为了综合评价SA-BiLSTM的性能,对药物-药物相互作用网络进行验证。实验结果表明,SA-BiLSTM表现出优秀的预测能力,可以为DDIs的预测提供一种新的思路。展开更多
文摘针对现有的卷积、循环模型预测滚动轴承剩余使用寿命(Residual Life,RL)精度低的问题,提出一种基于改进自注意力机制的RL预测模型。首先,针对Transformer模型中自注意力机制内存占用高、信号存在噪声信息的问题,在窗口自注意力机制(Window Based Multi-head Self-attention,W-MSA)的基础上,提出概率窗口自注意力机制(Probwindow Based Multi-head Self-attention,PW-MSA);然后,针对多头信息不匹配和缺少局部信息的问题,采用Talking Head方法实现多头信息融合,并在前馈神经网络层加入深度可分离卷积提取局部信息,从而提升模型的预测精度。采用PHM2012轴承数据集将改进前后的自注意力机制模型进行比较,并和现有的先进预测模型对比,结果表明,改进自注意力机制模型可使预测精度提升13.04%。
文摘提出了一种基于双层双向长短时记忆网络(bi-directional long short term memory,BiLSTM)和自注意力(self-attention)机制的药物-药物相互作用(drug-drug interactions,DDIs)预测方法SA-BiLSTM。首先,利用FP3指纹、MACCS指纹、Pubchem指纹和PaDEL分子描述符对药物特征信息进行提取。其次,使用套索回归(least absolute shrinkage and selection operator,Lasso)方法消除对分类无关的特征,并利用重复编辑最近邻(repeated edited nearest neighbors,RENN)方法对数据进行平衡处理,得到最优特征向量。最后,将最优特征向量输入结合自注意力机制和双向长短时记忆网络的分类器预测DDIs。基于五折交叉验证,同时与其它预测方法进行比较,本工作所提出的方法在两个数据集上获得较高的预测准确率。为了综合评价SA-BiLSTM的性能,对药物-药物相互作用网络进行验证。实验结果表明,SA-BiLSTM表现出优秀的预测能力,可以为DDIs的预测提供一种新的思路。
