基于遗传算法改进的少数类样本合成过采样技术的非平衡数据集分类算法 被引量：19

1

作者 霍玉丹 谷琼 +1 位作者 蔡之华 袁磊 《计算机应用》 CSCD 北大核心 2015年第1期121-124,139,共5页

针对少数类样本合成过采样技术(SMOTE)在处理非平衡数据集分类问题时,为少数类的不同样本设置相同的采样倍率,存在一定的盲目性的问题,提出了一种基于遗传算法(GA)改进的SMOTE方法——GASMOTE。首先,为少数类的不同样本设置不同的采样倍... 针对少数类样本合成过采样技术(SMOTE)在处理非平衡数据集分类问题时,为少数类的不同样本设置相同的采样倍率,存在一定的盲目性的问题,提出了一种基于遗传算法(GA)改进的SMOTE方法——GASMOTE。首先,为少数类的不同样本设置不同的采样倍率,并将这些采样倍率取值的组合编码为种群中的个体;然后,循环使用GA的选择、交叉、变异等算子对种群进行优化,在达到停机条件时获得采样倍率取值的最优组合;最后,根据找到的最优组合对非平衡数据集进行SMOTE采样。在10个典型的非平衡数据集上进行的实验结果表明:与SMOTE算法相比,GASMOTE在F-measure值上提高了5.9个百分点,在G-mean值上提高了1.6个百分点;与Borderline-SMOTE算法相比,GASMOTE在F-measure值上提高了3.7个百分点,在G-mean值上提高了2.3个百分点。该方法可作为一种新的解决非平衡数据集分类问题的过采样技术。 展开更多

关键词 非平衡数据集 分类 少数类样本合成过采样技术 采样倍率 遗传算法

在线阅读 下载PDF 职称材料

针对样本类不平衡的深度残差网络电力系统暂态稳定评估方法 被引量：3

2

作者 刘颂凯 党喜 +3 位作者 崔梓琪 杨超 阮肇华 袁铭洋 《智慧电力》 北大核心 2024年第1期116-123,共8页

系统的量测数据可能受到噪声以及样本类分布不平衡问题的影响,导致基于数据驱动的暂态稳定评估模型性能下降。提出一种针对样本类不平衡的的深度残差网络电力系统暂态稳定评估方法。首先,利用改进过采样技术为滤除噪声的少数类样本构造... 系统的量测数据可能受到噪声以及样本类分布不平衡问题的影响,导致基于数据驱动的暂态稳定评估模型性能下降。提出一种针对样本类不平衡的的深度残差网络电力系统暂态稳定评估方法。首先,利用改进过采样技术为滤除噪声的少数类样本构造所需的新样本,改善样本类不平衡问题,并减少噪声的影响;然后,基于深度残差网络构建电力系统暂态稳定评估模型,解决梯度消失导致的模型性能退化问题,提高模型的鲁棒性和准确性;最后,在新英格兰10机39节点和47机140节点系统上的仿真结果表明,所提方法能减小噪声干扰、降低不平衡数据集所带来的影响和减少计算复杂度。 展开更多

关键词 暂态稳定评估 噪声问题 样本类分布不平衡 改进合成少数过采样技术 深度残差网络

在线阅读 下载PDF 职称材料

样本不平衡条件下煤矿突水水源识别——以谢桥煤矿为例

3

作者 王彦彬 闫晓杉 《安全与环境学报》 北大核心 2025年第7期2553-2561,共9页

为了有效识别煤矿突水水源,以保障煤矿安全生产,使用合成少数类过采样技术(Synthetic Minority Oversampling Technique, SMOTE)补充少数类样本,继而采用支持向量机(Support Vector Machine, SVM)模型对突水水源进行识别。试验选取96条... 为了有效识别煤矿突水水源,以保障煤矿安全生产,使用合成少数类过采样技术(Synthetic Minority Oversampling Technique, SMOTE)补充少数类样本,继而采用支持向量机(Support Vector Machine, SVM)模型对突水水源进行识别。试验选取96条谢桥煤矿水化学数据进行分析,首先对样本数据进行标准化处理和主成分分析(Principal Component Analysis, PCA),将数据集划分为训练集和测试集,对训练集中少数类样本采用SMOTE法生成新的样本,然后采用改进混沌哈里斯鹰优化(Chaos Harris Hawks Optimization, CHHO)算法结合十折交叉验证优化支持向量机惩罚因子C和径向基函数(Radial Basis Function, RBF)核的参数γ,根据优化结果建立突水水源识别模型,对测试集中突水水源进行识别。将该方法与朴素贝叶斯、随机森林所得结果进行比较,结果显示,采用本方法对测试集识别结果准确性优于其他两种方法,表明该方法在突水水源识别上具有良好的实用性和有效性。 展开更多

关键词 安全工程 突水水源识别 主成分分析 合成少数类过采样技术 混沌哈里斯鹰优化算法 支持向量机

在线阅读 下载PDF 职称材料

SMOTE类算法研究综述 被引量：10

4

作者 王晓霞 李雷孝 林浩 《计算机科学与探索》 CSCD 北大核心 2024年第5期1135-1159,共25页

合成少数类过采样技术(SMOTE)因能有效处理少数类样本已成为处理不平衡数据的主流方法之一,而且许多SMOTE改进算法已被提出,但目前已有的调研极少考虑到流行的算法级改进方法。因此对现有SMOTE类算法进行更全面的分析与总结。首先详细... 合成少数类过采样技术(SMOTE)因能有效处理少数类样本已成为处理不平衡数据的主流方法之一,而且许多SMOTE改进算法已被提出,但目前已有的调研极少考虑到流行的算法级改进方法。因此对现有SMOTE类算法进行更全面的分析与总结。首先详细阐述了SMOTE方法的基本原理,然后主要从数据级、算法级两个层面系统性地梳理分析SMOTE类算法,并介绍数据级和算法级混合改进的新思路。数据级改进是在预处理时通过不同操作删除或添加数据来平衡数据分布;算法级改进不会改变数据分布,主要通过修改或创建算法来加强对少数类样本的关注度。二者相比,数据级方法应用受限更少,算法级改进的算法鲁棒性普遍更高。为了更全面地提供SMOTE类算法的基础研究材料,最后列出常用数据集、评价指标,给出未来可能尝试进行的研究思路,以更好地应对不平衡数据问题。 展开更多

关键词 不平衡数据 合成少数类过采样技术(smote) 过采样 监督学习

在线阅读 下载PDF 职称材料

面向非平衡多分类问题的二次合成QSMOTE方法 被引量：3

5

作者 韩明鸣 郭虎升 王文剑 《南京大学学报（自然科学版）》 CAS CSCD 北大核心 2019年第1期1-13,共13页

近年来非平衡多分类数据的学习问题在机器学习和数据挖掘领域备受关注,上采样技术成为解决数据不平衡问题的主要方法,然而已有的上采样技术仍有很多的不足,例如新合成的少数类样本仍可能分布在对应少数类样本的原始区域内,不能有效改善... 近年来非平衡多分类数据的学习问题在机器学习和数据挖掘领域备受关注,上采样技术成为解决数据不平衡问题的主要方法,然而已有的上采样技术仍有很多的不足,例如新合成的少数类样本仍可能分布在对应少数类样本的原始区域内,不能有效改善数据分布的不平衡情况.此外,若原始样本中不同类别样本分布存在重叠,则新合成的样本会更容易偏离到其他类样本分布中,从而造成过泛化现象,影响少数类样本的分类精度.为解决上述问题,提出一种二次合成的上采样方法(Quadratic Synthetic Minority Over-sampling Technique,QSMOTE).首先通过少数类样本的支持度选择包含重要信息的样本来进行第一次合成,然后通过分析指定少数类样本质心的邻域内样本分布情况来调整第二次样本合成范围,并最终进行第二次合成.在UCI和MNIST数据集上的实验结果表明,QSMOTE不仅可以改善数据分布的不平衡问题,而且可以尽可能地减少过泛化现象,特别是对少数类样本的分类准确率有大幅提升. 展开更多

关键词 多类非平衡问题 过泛化 重叠 合成少数类上采样技术(smote)

在线阅读 下载PDF 职称材料

基于改进SMOTE不均衡样本处理和IHPO-DBN的变压器故障诊断方法研究 被引量：3

6

作者 周萱 吴伟丽 《电力系统保护与控制》 EI CSCD 北大核心 2024年第11期21-30,共10页

针对由于变压器故障样本不均衡和故障模型陷入局部最优而导致的分类准确率低的问题,提出了基于改进的合成少数类过采样技术和优化深度置信网络(deep belief network, DBN)的变压器故障诊断方法。首先采用聚类融合的K-means算法,通过分... 针对由于变压器故障样本不均衡和故障模型陷入局部最优而导致的分类准确率低的问题,提出了基于改进的合成少数类过采样技术和优化深度置信网络(deep belief network, DBN)的变压器故障诊断方法。首先采用聚类融合的K-means算法,通过分簇和匹配的方式筛选出不稳定的少数类样本用以改进中心点合成少数类过采样技术(center point synthetic minority oversampling technique, CP-SMOTE)算法,并对少数类样本进行扩增,解决了变压器故障数据分布不均衡的问题。其次,通过加入随机逆向学习和自适应惯性权重技术对猎食者优化算法进行改进,并用改进后的算法对DBN的内部参数进行优化调整,提高了模型精度。最后,将不同数据预处理情况下以及不同数据规模下的变压器故障模型进行仿真对比。结果表明,经过数据预处理和模型优化后的变压器故障识别准确率能够提高到98%,有效地解决了故障数据不平衡导致的分类精度低的问题。 展开更多

关键词 变压器故障诊断 不均衡样本 K-MEANS聚类 改进合成少数过采样 改进猎食者优化

在线阅读 下载PDF 职称材料

小样本下基于SMOTE-IGWO-RF的轮毂电机轴承故障诊断

7

作者 葛平淑 王朝阳 +3 位作者 王阳 张涛 薛红涛 夏晨迪 《兵器装备工程学报》 CAS CSCD 北大核心 2024年第8期1-9,共9页

轮毂电机复杂多变的运行环境可能导致轴承故障而危及电动车辆行驶安全,为解决传统故障诊断方法在小样本条件下识别精度低的问题,提出一种基于SMOTE-IGWO-RF的轮毂电机轴承故障诊断方法。首先,通过合成少数过采样技术(SMOTE)扩展训练数据... 轮毂电机复杂多变的运行环境可能导致轴承故障而危及电动车辆行驶安全,为解决传统故障诊断方法在小样本条件下识别精度低的问题,提出一种基于SMOTE-IGWO-RF的轮毂电机轴承故障诊断方法。首先,通过合成少数过采样技术(SMOTE)扩展训练数据集,生成与真实样本分布相似的故障样本,并使用主成分分析(PCA)优化其时域和频域的特征。然后,通过引入非线性收敛因子和Levy飞行策略改进传统的灰狼优化算法(GWO),使用改进的灰狼优化算法(IGWO)优化随机森林(RF)模型的参数。最后,基于SMOTE-IGWO-RF的轮毂电机轴承故障诊断模型实现故障状态的识别,并在轮毂电机试验台架上进行了实验验证。结果表明,所提出的轮毂电机轴承故障诊断方法在7种转速工况下平均准确率均超过96%,具有高精度和稳定性。与遗传算法(GA)、粒子群优化算法(PSO)、GWO优化RF相比,提出的IGWO-RF模型在3种小样本训练集下的诊断准确率均超过90%,且准确率均明显高于其他3个对比算法,能够有效实现小样本条件下的轮毂电机轴承故障诊断。 展开更多

关键词 轮毂电机 轴承 合成少数类过采样技术(smote) 改进灰狼优化算法(IGWO) 随机森林(RF) 故障诊断

在线阅读 下载PDF 职称材料

基于改进SMOTE的非平衡数据集分类研究 被引量：19

8

作者 王超学 潘正茂 +2 位作者 董丽丽 马春森 张星 《计算机工程与应用》 CSCD 2013年第2期184-187,245,共5页

针对SMOTE(Synthetic Minority Over-sampling Technique)在合成少数类新样本时存在的不足,提出了一种改进的SMOTE算法(SSMOTE)。该算法的关键是将支持度概念和轮盘赌选择技术引入到SMOTE中,并充分利用了异类近邻的分布信息,实现了对少... 针对SMOTE(Synthetic Minority Over-sampling Technique)在合成少数类新样本时存在的不足,提出了一种改进的SMOTE算法(SSMOTE)。该算法的关键是将支持度概念和轮盘赌选择技术引入到SMOTE中,并充分利用了异类近邻的分布信息,实现了对少数类样本合成质量和数量的精细控制。将SSMOTE与KNN(K-Nearest Neighbor)算法结合来处理不平衡数据集的分类问题。通过在UCI数据集上与其他重要文献中的相关算法进行的大量对比实验表明,SSMOTE在新样本的整体合成效果上表现出色,有效提高了KNN在非平衡数据集上的分类性能。 展开更多

关键词 非平衡数据集 分类 支持度 轮盘赌选择 合成少数过采样技术(smote)

在线阅读 下载PDF 职称材料

基于主动学习SMOTE的非均衡数据分类 被引量：23

9

作者 张永 李卓然 刘小丹 《计算机应用与软件》 CSCD 北大核心 2012年第3期91-93,162,共4页

少数类样本合成过采样技术(SMOTE)是一种典型的过采样数据预处理方法,它能够有效平衡非均衡数据,但会带来噪音等问题,影响分类精度。为解决此问题,借助主动学习支持向量机的分类性能,提出一种基于主动学习SMOTE的非均衡数据分类方法 ALS... 少数类样本合成过采样技术(SMOTE)是一种典型的过采样数据预处理方法,它能够有效平衡非均衡数据,但会带来噪音等问题,影响分类精度。为解决此问题,借助主动学习支持向量机的分类性能,提出一种基于主动学习SMOTE的非均衡数据分类方法 ALSMOTE。由于主动学习支持向量机采用基于距离的主动选择最佳样本的学习策略,因此能够主动选择非均衡数据中的有价值的多数类样本,舍弃价值较小的样本,从而提高运算效率,改进SMOTE带来的问题。首先运用SMOTE方法均衡小部分样本,得到初始分类器;然后利用主动学习策略调整分类器精度。实验结果表明,该方法有效提高了非均衡数据的分类准确率。 展开更多

关键词 主动学习 不平衡数据集 少数类样本合成过采样技术 支持向量机

在线阅读 下载PDF 职称材料

构造性覆盖算法的SMOTE过采样方法 被引量：10

10

作者 严远亭 朱原玮 +2 位作者 吴增宝 张以文 张燕平 《计算机科学与探索》 CSCD 北大核心 2020年第6期975-984,共10页

如何提高对少数类样本的识别能力是不平衡数据分类中的一个研究热点。合成少数类过采样技术(SMOTE)是解决此类问题的代表性方法之一。近年来,不少研究者对SMOTE做出了一些改进,较好地提高了该方法的性能。然而,如何有效地选取典型少数... 如何提高对少数类样本的识别能力是不平衡数据分类中的一个研究热点。合成少数类过采样技术(SMOTE)是解决此类问题的代表性方法之一。近年来,不少研究者对SMOTE做出了一些改进,较好地提高了该方法的性能。然而,如何有效地选取典型少数类样本进行过采样仍然是一个值得研究的问题。此外,被孤立的少数样本在提高模型性能方面的潜在能力也没有得到足够的重视。针对上述问题,提出了基于构造性覆盖算法(CCA)的过采样技术CMOTE。CMOTE提供了两种不同策略下选择关键样本的方法:基于覆盖内样本个数的方法与基于覆盖密度的方法。在12个典型的不平衡数据集上验证CMOTE算法的性能。实验结果表明,CMOTE算法在总体上优于对比方法,并且通过强化关键样本对模型性能的影响增强了模型的泛化能力。 展开更多

关键词 不平衡数据 过采样技术 合成少数类过采样技术(smote) 构造性覆盖算法(CCA)

在线阅读 下载PDF 职称材料

基于SMOTE算法和条件生成对抗网络的到港航班延误分类预测 被引量：7

11

作者 刘博 卢婷婷 +1 位作者 张兆宁 张健斌 《科学技术与工程》 北大核心 2021年第34期14843-14852,共10页

由于航班延误数据集类别分布不均,传统分类器的性能受到一定程度的制约。为了能够对到港航班延误情况进行精准预测,提出了一种基于合成少数类过采样技术(synthetic minority oversampling technique,SMOTE)算法和条件生成对抗网络(condi... 由于航班延误数据集类别分布不均,传统分类器的性能受到一定程度的制约。为了能够对到港航班延误情况进行精准预测,提出了一种基于合成少数类过采样技术(synthetic minority oversampling technique,SMOTE)算法和条件生成对抗网络(conditional generative adversarial nets,CGAN)的航班延误预测模型。首先,利用SMOTE算法对原始数据集进行上采样,并融合经过训练的CGAN生成指定样本数据集,缓解原始数据集中某些类别样本量少和数据非平衡等问题;再次,采用XGBoost模型在4种模式训练集上进行训练和超参数寻优;最后,以K近邻、支持向量机和随机森林为基准模型进行性能对比分析。经试验分析,通过分类器在融合样本集的训练,整体上可以在一定程度上提高模型的泛化性,尤其在轻度延误和中度延误类别中提升较为明显,与不采用融合方法比较,宏平均下的Precision、Recall、F_(1)-score值分别提升了0.16、0.29、0.24个百分点。实验结果表明,该方法能够有效地对航班延误非平衡数据进行建模,在保持模型整体性能较高的前提下,能够显著地提升少数类的预测能力,可以为空管、航空公司和机场等提供决策依据。 展开更多

关键词 航班延误 非平衡数据集 合成少数类过采样技术(smote)算法 条件生成对抗网络 XGBoost模型 分类问题

在线阅读 下载PDF 职称材料

基于BSMOTE和逆转欠抽样的不均衡数据分类算法 被引量：4

12

作者 陈睿 张亮 +1 位作者 杨静 胡荣贵 《计算机应用研究》 CSCD 北大核心 2014年第11期3299-3303,共5页

针对传统分类器在数据不均衡的情况下分类效果不理想的缺陷,为提高分类器在不均衡数据集下的分类性能,特别是少数类样本的分类能力,提出了一种基于BSMOTE和逆转欠抽样的不均衡数据分类算法。该算法使用BSMOTE进行过抽样,人工增加少数类... 针对传统分类器在数据不均衡的情况下分类效果不理想的缺陷,为提高分类器在不均衡数据集下的分类性能,特别是少数类样本的分类能力,提出了一种基于BSMOTE和逆转欠抽样的不均衡数据分类算法。该算法使用BSMOTE进行过抽样,人工增加少数类样本的数量,然后通过优先去除样本中的冗余和噪声样本,使用逆转欠抽样方法逆转少数类样本和多数类样本的比例。通过多次进行上述抽样形成多个训练集合,使用Bagging方法集成在多个训练集合上获得的分类器来提高有效信息的利用率。实验表明,该算法较几种现有算法不仅能够提高少数类样本的分类性能,而且能够有效提高整体分类准确度。 展开更多

关键词 不均衡数据集 边界少数类样本合成过抽样技术 逆转欠抽样技术 多分类器集成

在线阅读 下载PDF 职称材料

利用采样安全系数的多类不平衡过采样算法 被引量：4

13

作者 董明刚 刘明 敬超 《计算机科学与探索》 CSCD 北大核心 2020年第10期1776-1786,共11页

传统的过采样算法在处理多类不平衡问题时容易出现过度泛化和类别重叠,从而降低了分类性能。为了提高多类不平衡学习性能,提出了一种利用采样安全系数的多类不平衡过采样(SSCMIO)算法。首先为了防止过度泛化,采用近邻采样安全系数为那... 传统的过采样算法在处理多类不平衡问题时容易出现过度泛化和类别重叠,从而降低了分类性能。为了提高多类不平衡学习性能,提出了一种利用采样安全系数的多类不平衡过采样(SSCMIO)算法。首先为了防止过度泛化,采用近邻采样安全系数为那些会造成过度泛化的邻域分配一个较小的权重。然后考虑到样本点的全局特性,采用反向近邻采样安全系数防止新合成的样本点侵入到其他类别区域,减轻类别之间的重叠问题。最后以C4.5决策树作为基分类器,将SSCMIO算法与7种典型的过采样算法进行了对比实验。在16个公开的真实数据集上,SSCMIO算法在准确率、召回率、F-measure、MG、MAUC这5个指标上均能取得11个以上的最优值,在5个指标上最大提升分别是0.4818、0.3053、0.3420、0.2664、0.1307。实验结果表明SSCMIO算法相比其他7种算法可以取得更好的分类性能。 展开更多

关键词 采样安全系数 过采样 合成少数类技术 多类不平衡问题

在线阅读 下载PDF 职称材料

面向不平衡图像数据的对抗自编码器过采样算法 被引量：2

14

作者 职为梅 常智 +1 位作者 卢俊华 耿正乾 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第11期4208-4218,共11页

许多适用于低维数据的传统不平衡学习算法在图像数据上的效果并不理想。基于生成对抗网络(GAN)的过采样算法虽然可以生成高质量图像,但在类不平衡情况下容易产生模式崩溃问题。基于自编码器(AE)的过采样算法容易训练,但生成的图像质量... 许多适用于低维数据的传统不平衡学习算法在图像数据上的效果并不理想。基于生成对抗网络(GAN)的过采样算法虽然可以生成高质量图像,但在类不平衡情况下容易产生模式崩溃问题。基于自编码器(AE)的过采样算法容易训练,但生成的图像质量较低。为进一步提高过采样算法在不平衡图像中生成样本的质量和训练的稳定性,该文基于生成对抗网络和自编码器的思想提出一种融合自编码器和生成对抗网络的过采样算法(BAEGAN)。首先在自编码器中引入一个条件嵌入层,使用预训练的条件自编码器初始化GAN以稳定模型训练;然后改进判别器的输出结构,引入一种融合焦点损失和梯度惩罚的损失函数以减轻类不平衡的影响;最后从潜在向量的分布映射中使用合成少数类过采样技术(SMOTE)来生成高质量的图像。在4个图像数据集上的实验结果表明该算法在生成图像质量和过采样后的分类性能上优于具有辅助分类器的条件生成对抗网络(ACGAN)、平衡生成对抗网络(BAGAN)等过采样算法,能有效解决图像数据中的类不平衡问题。 展开更多

关键词 不平衡图像数据 过采样 生成对抗网络 对抗自编码器 合成少数类过采样技术

在线阅读 下载PDF 职称材料

改进SMOTE的不平衡数据集成分类算法 被引量：33

15

作者 王忠震 黄勃 +2 位作者 方志军 高永彬 张娟 《计算机应用》 CSCD 北大核心 2019年第9期2591-2596,共6页

针对不平衡数据集的低分类准确性,提出基于改进合成少数类过采样技术(SMOTE)和AdaBoost算法相结合的不平衡数据分类算法(KSMOTE-AdaBoost)。首先,根据K近邻(K NN)的思想,提出噪声样本识别算法,通过样本的K个近邻中所包含的异类样本数目... 针对不平衡数据集的低分类准确性,提出基于改进合成少数类过采样技术(SMOTE)和AdaBoost算法相结合的不平衡数据分类算法(KSMOTE-AdaBoost)。首先,根据K近邻(K NN)的思想,提出噪声样本识别算法,通过样本的K个近邻中所包含的异类样本数目,对样本集中的噪声样本进行精确识别并予以滤除;其次,在过采样过程中基于聚类的思想将样本集划分为不同的子簇,根据子簇的簇心及其所包含的样本数目,在簇内样本与簇心之间进行新样本的合成操作。在样本合成过程中充分考虑类间和类内数据不平衡性,对样本及时修正以保证合成样本质量,平衡样本信息;最后,利用AdaBoost算法的优势,采用决策树作为基分类器,对平衡后的样本集进行训练,迭代多次直到满足终止条件,得到最终分类模型。选择G-mean、AUC作为评价指标,通过在6组KEEL数据集进行对比实验。实验结果表明,所提的过采样算法与经典的过采样算法SMOTE、自适应综合过采样技术(ADASYN)相比,G-means和AUC在4组中有3组最高;所提分类模型与现有的不平衡分类模型SMOTE-Boost,CUS-Boost,RUS-Boost相比,6组数据中:G-means均高于CUS-Boost和RUS-Boost,有3组低于SMOTE-Boost;AUC均高于SMOTE-Boost和RUS-Boost,有1组低于CUS-Boost。验证了所提的KSMOTE-AdaBoost具有更好的分类效果,且模型泛化性能更高。 展开更多

关键词 不平衡数据分类 合成少数类过采样技术 K近邻 过采样 聚类 ADABOOST算法

在线阅读 下载PDF 职称材料

基于混合采样的非平衡数据分类算法 被引量：20

16

作者 吴艺凡 梁吉业 王俊红 《计算机科学与探索》 CSCD 北大核心 2019年第2期342-349,共8页

过采样和欠采样方法是处理非平衡数据集分类的常用方法,但使用单一的采样算法可能造成少数类样本过拟合或者丢失含有重要信息的样本。提出了基于分类超平面的混合采样算法SVM_HS(hybrid sampling algorithm based on support vector mac... 过采样和欠采样方法是处理非平衡数据集分类的常用方法,但使用单一的采样算法可能造成少数类样本过拟合或者丢失含有重要信息的样本。提出了基于分类超平面的混合采样算法SVM_HS(hybrid sampling algorithm based on support vector machine),旨在克服SVM算法在处理非平衡数据时分类超平面容易偏向少数类样本的问题。该算法首先利用SVM算法得到分类超平面。然后迭代进行混合采样,主要包括:(1)删除离分类超平面较远的一些多数类样本;(2)对靠近真实类边界的少数类样本用SMOTE(synthetic minority oversampling technique)过采样,使分类超平面向着真实类边界方向偏移。实验结果表明相比其他相关算法,该算法的F-value值和G-mean值均有较大提高。 展开更多

关键词 非平衡 支持向量机(SVM) 少数类样本过采样技术(smote) 分类超平面 混合采样

在线阅读 下载PDF 职称材料

基于改进SMOTE的制造过程不平衡数据分类策略 被引量：6

17

作者 黎旭 陈家兑 +1 位作者 吴永明 宗文泽 《计算机工程与应用》 CSCD 北大核心 2022年第16期284-291,共8页

不平衡数据分析是智能制造的关键技术之一,其分类问题已成为机器学习和数据挖掘的研究热点。针对目前不平衡数据过采样策略中人工合成数据边缘化且需要降噪处理的问题,提出一种基于改进SMOTE(synthetic minority oversampling technique... 不平衡数据分析是智能制造的关键技术之一,其分类问题已成为机器学习和数据挖掘的研究热点。针对目前不平衡数据过采样策略中人工合成数据边缘化且需要降噪处理的问题,提出一种基于改进SMOTE(synthetic minority oversampling technique)和局部离群因子(local outlier factor,LOF)的过采样算法。首先对整个数据集进行K-means聚类,筛选出高可靠性样本进行改进SMOTE算法过采样,然后采用LOF算法删除误差大的人工合成样本。在4个UCI不平衡数据集上的实验结果表明,该方法对不平衡数据中少数类的分类能力更强,有效地克服了数据边缘化问题,将算法应用于磷酸生产中的不平衡数据,实现了该不平衡数据的准确分类。 展开更多

关键词 不平衡数据 过采样 局部离群因子 聚类 合成少数过采样技术(smote)

在线阅读 下载PDF 职称材料

改进MDSMOTE与PSO-SVM在汽车组合仪表分类预测中的应用 被引量：2

18

作者 肖圳 何彦 +3 位作者 李育锋 吴鹏程 刘德高 杜江 《工程设计学报》 CSCD 北大核心 2022年第1期20-27,共8页

汽车组合仪表生产过程中质检项目多且检测时间长,这在一定程度上制约了其生产效率的进一步提升。为此,提出一种基于改进最远点合成少数类过采样技术(max distance synthetic minority over-sampling technique,MDSMOTE)的支持向量机(sup... 汽车组合仪表生产过程中质检项目多且检测时间长,这在一定程度上制约了其生产效率的进一步提升。为此,提出一种基于改进最远点合成少数类过采样技术(max distance synthetic minority over-sampling technique,MDSMOTE)的支持向量机(support vector machine,SVM)分类预测方法。首先,结合专家经验对汽车组合仪表的原始生产数据进行特征筛选,并在MDSMOTE中引入类不平衡率IR,以对所筛选的特征数据进行扩充;然后,利用粒子群优化(particle swarm optimization,PSO)算法对SVM的误差惩罚因子C和核函数参数γ进行优化;最后,建立优化的SVM分类预测模型,并对汽车组合仪表进行分类。通过与其他分类预测模型在不同数据集上的预测结果进行对比可知,基于改进MDSMOTE的SVM分类预测模型的准确率、F值和几何平均值等评价指标均优于其他模型。所提出方法在汽车仪表产品分类上表现出较强的泛化能力和稳定性,可为仪表制造企业生产效率的提升提供有效参考。 展开更多

关键词 汽车组合仪表 分类预测 改进最远点合成少数类过采样技术 支持向量机 粒子群优化

在线阅读 下载PDF 职称材料

滑坡易发性评价中样本不均衡问题处理研究 被引量：4

19

作者 田尤 高波 +4 位作者 殷红 李元灵 张佳佳 陈龙 李洪梁 《水文地质工程地质》 CAS CSCD 北大核心 2024年第6期171-181,共11页

滑坡易发性评价中,样本不均衡问题的不同处理方案通常会带来评价结果的大量不确定性。针对这一问题,以藏东昌都市部分县(区)为研究区,构建滑坡/非滑坡样本不均衡数据集,采用不处理、下采样和合成少数类过采样(synthetic minority oversa... 滑坡易发性评价中,样本不均衡问题的不同处理方案通常会带来评价结果的大量不确定性。针对这一问题,以藏东昌都市部分县(区)为研究区,构建滑坡/非滑坡样本不均衡数据集,采用不处理、下采样和合成少数类过采样(synthetic minority oversampling technique,SMOTE)3种处置方案,运用逻辑回归方法分别构建滑坡易发性评价模型。基于ROC曲线、准确度、精确率、召回率、漏检率等评价指标,采用综合评价指标F_(1)′同数对模型分类的精度进行验证。结果表明:数据处理成均衡数据集(过采样/下采样)建立的模型效果较不处理数据建立的模型效果有了大幅提升,F_(1)′同数的值最大提高了53.17%;在下采样、过采样两种数据处理方案中,过采样方法比下采样方法F_(1)′分数的值提高了16.30%,表明过采样方法对处理样本不均衡数据问题方面具有较好效果。研究成果可为滑坡预测和地质灾害预测前的数据集处理提供参考,为进一步提高区域防灾减灾水平提供理论与技术支持。 展开更多

关键词 滑坡易发性 合成少数类过采样技术 评价模型 昌都市 样本不均衡数据

在线阅读 下载PDF 职称材料

不均衡小样本下的设备状态与寿命预测 被引量：1

20

作者 陈扬 刘勤明 郑伊寒 《计算机集成制造系统》 EI CSCD 北大核心 2024年第1期217-226,共10页

针对面向小样本不均衡设备健康监测数据时AdaBoost处理效果差的问题,提出了基于裁剪过采样新增AdaBoost算法的设备健康状态分析以及寿命预测模型。首先,基于AdaBoost计算出样本权值分布和容量,根据样本最大权值与样本个数生成改进裁剪系... 针对面向小样本不均衡设备健康监测数据时AdaBoost处理效果差的问题,提出了基于裁剪过采样新增AdaBoost算法的设备健康状态分析以及寿命预测模型。首先,基于AdaBoost计算出样本权值分布和容量,根据样本最大权值与样本个数生成改进裁剪系数,选择性地对权值大于裁剪系数的样本进行处理从而提高计算效率。其次,通过类k近邻法则过滤出错分类样本权值,随后引入合成少数类过采样技术提升该种类样本权值个数,有效规避迭代过程中不均衡数据集可能引起的过拟合问题。最后,通过对设备运行状态进行准确分类并拟合出与时间相关的设备寿命曲线预测设备寿命。算例结果表明,所提模型能够有效分析出不均衡数据下的设备健康状况,同时也可以对剩余寿命进行有效预测。 展开更多

关键词 小样本 不均衡数据 ADABOOST算法 合成少数类过采样技术 剩余寿命预测

在线阅读 下载PDF 职称材料