近年来,黑客攻击、网络钓鱼、勒索病毒等事件频发,使得区块链交易异常检测成为当前研究的热点之一。XGBoost作为一种基于梯度提升框架的机器学习算法,可灵活地处理数据特征,不仅关注模型的预测误差,还考虑了每个样本的相对重要性。在前...近年来,黑客攻击、网络钓鱼、勒索病毒等事件频发,使得区块链交易异常检测成为当前研究的热点之一。XGBoost作为一种基于梯度提升框架的机器学习算法,可灵活地处理数据特征,不仅关注模型的预测误差,还考虑了每个样本的相对重要性。在前人区块链交易异常检测研究的基础上,将XGBoost与随机森林算法相结合,提出了基于XGBoost和随机森林的区块链异常交易检测模型(Blockchain Anomalous Transaction Detection Based on XGBoost and Random Forests,BATD_XRF)。模型分为数据特征处理、特征选择、分类检测3个模块,选取Elliptic Data Set、Bitcoin Alpha Dataset和Bitcoin OTC Trust Network Dataset数据集,使用主成分分析方法对数据进行二分类。特征选择过程中通过Gini Mean Decrease计算平均递减量,进一步确定特征的相对重要性。分类检测过程中提出网络搜索参数调优算法,并进行10倍交叉验证。最终通过与其他模型的对比实验,证明了所提模型在区块链交易异常检测中的准确性更高,训练时间更短。展开更多
在软件缺陷预测的回归建模中,由静态代码提取的类层面度量元(特征)以及由方法聚合(sum、avg、max、min)到类的特征往往较多,使用传统的特征选择方法(如AIC、BIC)通常先要确定了模型,不同的模型选出的特征集差异较大,且模型的可解释性差...在软件缺陷预测的回归建模中,由静态代码提取的类层面度量元(特征)以及由方法聚合(sum、avg、max、min)到类的特征往往较多,使用传统的特征选择方法(如AIC、BIC)通常先要确定了模型,不同的模型选出的特征集差异较大,且模型的可解释性差.最大信息系数MIC (maximal information coefficient)是Reshef等^([4])提出的度量两个连续变量之间相互依赖程度的一个指标,且有基于观测数据的计算办法.本文基于软件缺陷个数与各特征的MIC度量先选择特征,再对所选特征进行了适当的幂次变换,最后使用主成分泊松和负二项回归建模.本文实验基于NASA的KC1的类层面数据集,采用了m×2交叉验证的序贯t-检验来对两模型的性能差异的显著性进行检验,模型性能评价指标采用FPA、AAE、ARE.实验结果表明:1)基于MIC选出的特征主要是sum、avg、max三种聚合模式特征,与AIC、BIC方法有明显的差异;2)对特征做适当的幂次变换在多数模型下可以改善其性能;3)对特征做幂次变换后,做主成分分析与因子分析可以得到两个明显的因子,其一个因子正好对应avg与max聚合模式的特征集,另一个因子正好对应sum的聚合模式特征集,使得模型具有较好的可解释性.综合实验的各项指标可以得出,sum、avg、max三种聚合模式对软件缺陷预测有显著作用,且基于MIC所选特征而构造的模型是有优势的.展开更多
由于现有的多数概念演化检测方法本质上是基于监督学习,且通常用于解决一个时间段内仅出现一个新类,不能处理数据流中的类消失和类循环任务。为此,提出一种基于弱监督集成的概念演化自适应检测方法(AD_WE:Adaptive Detection Method for...由于现有的多数概念演化检测方法本质上是基于监督学习,且通常用于解决一个时间段内仅出现一个新类,不能处理数据流中的类消失和类循环任务。为此,提出一种基于弱监督集成的概念演化自适应检测方法(AD_WE:Adaptive Detection Method for Concept Evolution Based on Weakly Supervised Ensemble)。该方法利用弱监督集成策略构建集成学习器,对数据块中的训练样本进行局部预测,在此基础上,基于局部密度和相对距离识别特征空间中具有较强内聚性的相似数据并对其聚类,对聚类结果进行相似度比较,实现新类实例的检测及不同新类的区分;同时根据数据随时间变化特征建立动态衰减模型,及时消除消失类,并通过相似度比较检测循环类。实验表明,所提方法能对概念演化做出及时响应,可有效识别消失类和循环类,提高学习器的泛化性能。展开更多
文摘近年来,黑客攻击、网络钓鱼、勒索病毒等事件频发,使得区块链交易异常检测成为当前研究的热点之一。XGBoost作为一种基于梯度提升框架的机器学习算法,可灵活地处理数据特征,不仅关注模型的预测误差,还考虑了每个样本的相对重要性。在前人区块链交易异常检测研究的基础上,将XGBoost与随机森林算法相结合,提出了基于XGBoost和随机森林的区块链异常交易检测模型(Blockchain Anomalous Transaction Detection Based on XGBoost and Random Forests,BATD_XRF)。模型分为数据特征处理、特征选择、分类检测3个模块,选取Elliptic Data Set、Bitcoin Alpha Dataset和Bitcoin OTC Trust Network Dataset数据集,使用主成分分析方法对数据进行二分类。特征选择过程中通过Gini Mean Decrease计算平均递减量,进一步确定特征的相对重要性。分类检测过程中提出网络搜索参数调优算法,并进行10倍交叉验证。最终通过与其他模型的对比实验,证明了所提模型在区块链交易异常检测中的准确性更高,训练时间更短。
文摘在软件缺陷预测的回归建模中,由静态代码提取的类层面度量元(特征)以及由方法聚合(sum、avg、max、min)到类的特征往往较多,使用传统的特征选择方法(如AIC、BIC)通常先要确定了模型,不同的模型选出的特征集差异较大,且模型的可解释性差.最大信息系数MIC (maximal information coefficient)是Reshef等^([4])提出的度量两个连续变量之间相互依赖程度的一个指标,且有基于观测数据的计算办法.本文基于软件缺陷个数与各特征的MIC度量先选择特征,再对所选特征进行了适当的幂次变换,最后使用主成分泊松和负二项回归建模.本文实验基于NASA的KC1的类层面数据集,采用了m×2交叉验证的序贯t-检验来对两模型的性能差异的显著性进行检验,模型性能评价指标采用FPA、AAE、ARE.实验结果表明:1)基于MIC选出的特征主要是sum、avg、max三种聚合模式特征,与AIC、BIC方法有明显的差异;2)对特征做适当的幂次变换在多数模型下可以改善其性能;3)对特征做幂次变换后,做主成分分析与因子分析可以得到两个明显的因子,其一个因子正好对应avg与max聚合模式的特征集,另一个因子正好对应sum的聚合模式特征集,使得模型具有较好的可解释性.综合实验的各项指标可以得出,sum、avg、max三种聚合模式对软件缺陷预测有显著作用,且基于MIC所选特征而构造的模型是有优势的.
文摘由于现有的多数概念演化检测方法本质上是基于监督学习,且通常用于解决一个时间段内仅出现一个新类,不能处理数据流中的类消失和类循环任务。为此,提出一种基于弱监督集成的概念演化自适应检测方法(AD_WE:Adaptive Detection Method for Concept Evolution Based on Weakly Supervised Ensemble)。该方法利用弱监督集成策略构建集成学习器,对数据块中的训练样本进行局部预测,在此基础上,基于局部密度和相对距离识别特征空间中具有较强内聚性的相似数据并对其聚类,对聚类结果进行相似度比较,实现新类实例的检测及不同新类的区分;同时根据数据随时间变化特征建立动态衰减模型,及时消除消失类,并通过相似度比较检测循环类。实验表明,所提方法能对概念演化做出及时响应,可有效识别消失类和循环类,提高学习器的泛化性能。
