业务流程合规性检查可以帮助企业及早发现潜在问题,保证业务流程的正常运行和安全性。提出一种基于改进BERT(Bidirectional Encoder Representations from Transformers)和轻量化卷积神经网络(CNN)的业务流程合规性检查方法。首先,根据...业务流程合规性检查可以帮助企业及早发现潜在问题,保证业务流程的正常运行和安全性。提出一种基于改进BERT(Bidirectional Encoder Representations from Transformers)和轻量化卷积神经网络(CNN)的业务流程合规性检查方法。首先,根据历史事件日志中的轨迹提取轨迹前缀,构造带拟合情况标记的数据集;其次,使用融合相对上下文关系的BERT模型完成轨迹特征向量的表示;最后,使用轻量化CNN模型构建合规性检查分类器,完成在线业务流程合规性检查,有效提高合规性检查的准确率。在5个真实事件日志数据集上进行实验,结果表明,该方法相比Word2Vec+CNN模型、Transformer模型、BERT分类模型在准确率方面有较大提升,且与传统BERT+CNN相比,所提方法的准确率最高可提升2.61%。展开更多
针对齿轮箱振动信号复杂多变,导致现有的齿轮箱故障诊断方法诊断精度不高、较弱故障特征容易被噪声淹没等问题,提出了一种基于向量加权平均优化算法(weighted mean of vectors,INFO)、变分模态分解(variational mode decomposition,VMD...针对齿轮箱振动信号复杂多变,导致现有的齿轮箱故障诊断方法诊断精度不高、较弱故障特征容易被噪声淹没等问题,提出了一种基于向量加权平均优化算法(weighted mean of vectors,INFO)、变分模态分解(variational mode decomposition,VMD)和卷积神经网络(convolutional neural network,CNN)的齿轮故障诊断方法。该方法首先采用熵权法将不同位置的振动传感器信号信息进行融合,利用INFO对VMD算法中参数进行优化,并设计一个复合评价指标作为参数优化的评价标准,使用奇异峭度差分谱的方法对敏感分量进行重构;其次,从重构的信号中提取时域、频域特征并输入到CNN模型中进行分类;最后通过Shap(Shapley additive explanations)值法对模型输入特征的重要性进行排序,分析不同特征组合对模型分类和特定故障识别的影响。在东南大学行星齿轮数据集上进行验证,结果表明,利用所提特征组合进行故障诊断,CNN模型故障诊断准确率为98.24%,高于其他特征组合,为行星齿轮箱的故障诊断提供了一组有效的特征指标。展开更多
当前推特等国外社交平台,已成为从事网络黑灰产犯罪不可或缺的工具,对推特上黑灰产账号进行发现、检测和分类对于打击网络犯罪、维护社会稳定具有重大意义。现有的推文分类模型双向长短时记忆网络(bi-directional long short-term memor...当前推特等国外社交平台,已成为从事网络黑灰产犯罪不可或缺的工具,对推特上黑灰产账号进行发现、检测和分类对于打击网络犯罪、维护社会稳定具有重大意义。现有的推文分类模型双向长短时记忆网络(bi-directional long short-term memory,BiLSTM)可以学习推文的上下文信息,却无法学习局部关键信息,卷积神经网络(convolution neural network,CNN)模型可以学习推文的局部关键信息,却无法学习推文的上下文信息。结合BiLSTM与CNN两种模型的优势,提出了BiLSTM-CNN推文分类模型,该模型将推文进行向量化后,输入BiLSTM模型学习推文的上下文信息,再在BiLSTM模型后引入CNN层,进行局部特征的提取,最后使用全连接层将经过池化的特征连接在一起,并应用softmax函数进行四分类。模型在自主构建的中文推特黑灰产推文数据集上进行实验,并使用TextCNN、TextRNN、TextRCNN三种分类模型作为对比实验,实验结果显示,所提的BiLSTM-CNN推文分类模型在对四类推文进行分类的宏准确率为98.32%,明显高于TextCNN、TextRNN和TextRCNN三种模型的准确率。展开更多
滚动轴承作为机械设备的重要部件,对其进行剩余使用寿命预测在企业的生产过程中变得越来越重要。目前,虽然主流的卷积神经网络(convolutional neural network, CNN)可以自动地从轴承的振动信号中提取特征,却不能给特征分配不同的权重来...滚动轴承作为机械设备的重要部件,对其进行剩余使用寿命预测在企业的生产过程中变得越来越重要。目前,虽然主流的卷积神经网络(convolutional neural network, CNN)可以自动地从轴承的振动信号中提取特征,却不能给特征分配不同的权重来提高模型对重要特征的关注程度,对于长时间序列容易丢失重要信息。另外,神经网络中隐藏层神经元个数、学习率以及正则化参数等超参数还需要依靠人工经验设置。为了解决上述问题,提出基于灰狼优化(grey wolf optimizer, GWO)算法、优化集合CNN、双向长短期记忆(bidirectional long short term memory, BiLSTM)网络和注意力机制(Attention)轴承剩余使用寿命预测方法。首先,从原始振动信号中提取时域、频域以及时频域特征指标构建可选特征集;然后,通过构建考虑特征相关性、鲁棒性和单调性的综合评价指标筛选出高于设定阈值的轴承退化敏感特征集,作为预测模型的输入;最后,将预测值和真实值的均方误差作为GWO算法的适应度函数,优化预测模型获得最优隐藏层神经元个数、学习率和正则化参数,利用优化后模型进行剩余使用寿命预测,并在公开数据集上进行验证。结果表明,所提方法可在非经验指导下获得最优的超参数组合,优化后的预测模型与未进行优化模型相比,平均绝对误差与均方根误差分别降低了28.8%和24.3%。展开更多
In this paper, we use the global search characteristics of genetic algorithms to help search the weight space of the neurons in the cascade-correlation architecture. The cascade-correlation learning architecture is a ...In this paper, we use the global search characteristics of genetic algorithms to help search the weight space of the neurons in the cascade-correlation architecture. The cascade-correlation learning architecture is a technique of training and building neural networks that starts with a simple network of neurons and adds additional neurons as they are needed to suit a particular problem. In our approach, instead ofmodifying the genetic algorithm to account for convergence problems, we search the weight-space using the genetic algorithm and then apply the gradient technique of Quickprop to optimize the weights. This hybrid algorithm which is a combination of genetic algorithms and cascade-correlation is applied to the two spirals problem. We also use our algorithm in the prediction of the cyclic oxidation resistance of Ni- and Co-base superalloys.展开更多
文摘业务流程合规性检查可以帮助企业及早发现潜在问题,保证业务流程的正常运行和安全性。提出一种基于改进BERT(Bidirectional Encoder Representations from Transformers)和轻量化卷积神经网络(CNN)的业务流程合规性检查方法。首先,根据历史事件日志中的轨迹提取轨迹前缀,构造带拟合情况标记的数据集;其次,使用融合相对上下文关系的BERT模型完成轨迹特征向量的表示;最后,使用轻量化CNN模型构建合规性检查分类器,完成在线业务流程合规性检查,有效提高合规性检查的准确率。在5个真实事件日志数据集上进行实验,结果表明,该方法相比Word2Vec+CNN模型、Transformer模型、BERT分类模型在准确率方面有较大提升,且与传统BERT+CNN相比,所提方法的准确率最高可提升2.61%。
文摘针对齿轮箱振动信号复杂多变,导致现有的齿轮箱故障诊断方法诊断精度不高、较弱故障特征容易被噪声淹没等问题,提出了一种基于向量加权平均优化算法(weighted mean of vectors,INFO)、变分模态分解(variational mode decomposition,VMD)和卷积神经网络(convolutional neural network,CNN)的齿轮故障诊断方法。该方法首先采用熵权法将不同位置的振动传感器信号信息进行融合,利用INFO对VMD算法中参数进行优化,并设计一个复合评价指标作为参数优化的评价标准,使用奇异峭度差分谱的方法对敏感分量进行重构;其次,从重构的信号中提取时域、频域特征并输入到CNN模型中进行分类;最后通过Shap(Shapley additive explanations)值法对模型输入特征的重要性进行排序,分析不同特征组合对模型分类和特定故障识别的影响。在东南大学行星齿轮数据集上进行验证,结果表明,利用所提特征组合进行故障诊断,CNN模型故障诊断准确率为98.24%,高于其他特征组合,为行星齿轮箱的故障诊断提供了一组有效的特征指标。
文摘滚动轴承作为机械设备的重要部件,对其进行剩余使用寿命预测在企业的生产过程中变得越来越重要。目前,虽然主流的卷积神经网络(convolutional neural network, CNN)可以自动地从轴承的振动信号中提取特征,却不能给特征分配不同的权重来提高模型对重要特征的关注程度,对于长时间序列容易丢失重要信息。另外,神经网络中隐藏层神经元个数、学习率以及正则化参数等超参数还需要依靠人工经验设置。为了解决上述问题,提出基于灰狼优化(grey wolf optimizer, GWO)算法、优化集合CNN、双向长短期记忆(bidirectional long short term memory, BiLSTM)网络和注意力机制(Attention)轴承剩余使用寿命预测方法。首先,从原始振动信号中提取时域、频域以及时频域特征指标构建可选特征集;然后,通过构建考虑特征相关性、鲁棒性和单调性的综合评价指标筛选出高于设定阈值的轴承退化敏感特征集,作为预测模型的输入;最后,将预测值和真实值的均方误差作为GWO算法的适应度函数,优化预测模型获得最优隐藏层神经元个数、学习率和正则化参数,利用优化后模型进行剩余使用寿命预测,并在公开数据集上进行验证。结果表明,所提方法可在非经验指导下获得最优的超参数组合,优化后的预测模型与未进行优化模型相比,平均绝对误差与均方根误差分别降低了28.8%和24.3%。
文摘In this paper, we use the global search characteristics of genetic algorithms to help search the weight space of the neurons in the cascade-correlation architecture. The cascade-correlation learning architecture is a technique of training and building neural networks that starts with a simple network of neurons and adds additional neurons as they are needed to suit a particular problem. In our approach, instead ofmodifying the genetic algorithm to account for convergence problems, we search the weight-space using the genetic algorithm and then apply the gradient technique of Quickprop to optimize the weights. This hybrid algorithm which is a combination of genetic algorithms and cascade-correlation is applied to the two spirals problem. We also use our algorithm in the prediction of the cyclic oxidation resistance of Ni- and Co-base superalloys.
