期刊文献+
共找到15篇文章
< 1 >
每页显示 20 50 100
基于遗传算法改进的少数类样本合成过采样技术的非平衡数据集分类算法 被引量:19
1
作者 霍玉丹 谷琼 +1 位作者 蔡之华 袁磊 《计算机应用》 CSCD 北大核心 2015年第1期121-124,139,共5页
针对少数类样本合成过采样技术(SMOTE)在处理非平衡数据集分类问题时,为少数类的不同样本设置相同的采样倍率,存在一定的盲目性的问题,提出了一种基于遗传算法(GA)改进的SMOTE方法——GASMOTE。首先,为少数类的不同样本设置不同的采样倍... 针对少数类样本合成过采样技术(SMOTE)在处理非平衡数据集分类问题时,为少数类的不同样本设置相同的采样倍率,存在一定的盲目性的问题,提出了一种基于遗传算法(GA)改进的SMOTE方法——GASMOTE。首先,为少数类的不同样本设置不同的采样倍率,并将这些采样倍率取值的组合编码为种群中的个体;然后,循环使用GA的选择、交叉、变异等算子对种群进行优化,在达到停机条件时获得采样倍率取值的最优组合;最后,根据找到的最优组合对非平衡数据集进行SMOTE采样。在10个典型的非平衡数据集上进行的实验结果表明:与SMOTE算法相比,GASMOTE在F-measure值上提高了5.9个百分点,在G-mean值上提高了1.6个百分点;与Borderline-SMOTE算法相比,GASMOTE在F-measure值上提高了3.7个百分点,在G-mean值上提高了2.3个百分点。该方法可作为一种新的解决非平衡数据集分类问题的过采样技术。 展开更多
关键词 非平衡数据集 分类 少数类样本合成过采样技术 采样倍率 遗传算法
在线阅读 下载PDF
滑坡易发性评价中样本不均衡问题处理研究 被引量:4
2
作者 田尤 高波 +4 位作者 殷红 李元灵 张佳佳 陈龙 李洪梁 《水文地质工程地质》 CAS CSCD 北大核心 2024年第6期171-181,共11页
滑坡易发性评价中,样本不均衡问题的不同处理方案通常会带来评价结果的大量不确定性。针对这一问题,以藏东昌都市部分县(区)为研究区,构建滑坡/非滑坡样本不均衡数据集,采用不处理、下采样和合成少数类过采样(synthetic minority oversa... 滑坡易发性评价中,样本不均衡问题的不同处理方案通常会带来评价结果的大量不确定性。针对这一问题,以藏东昌都市部分县(区)为研究区,构建滑坡/非滑坡样本不均衡数据集,采用不处理、下采样和合成少数类过采样(synthetic minority oversampling technique,SMOTE)3种处置方案,运用逻辑回归方法分别构建滑坡易发性评价模型。基于ROC曲线、准确度、精确率、召回率、漏检率等评价指标,采用综合评价指标F_(1)′同数对模型分类的精度进行验证。结果表明:数据处理成均衡数据集(过采样/下采样)建立的模型效果较不处理数据建立的模型效果有了大幅提升,F_(1)′同数的值最大提高了53.17%;在下采样、过采样两种数据处理方案中,过采样方法比下采样方法F_(1)′分数的值提高了16.30%,表明过采样方法对处理样本不均衡数据问题方面具有较好效果。研究成果可为滑坡预测和地质灾害预测前的数据集处理提供参考,为进一步提高区域防灾减灾水平提供理论与技术支持。 展开更多
关键词 滑坡易发性 合成少数类过采样技术 评价模型 昌都市 样本不均衡数据
在线阅读 下载PDF
针对样本类不平衡的深度残差网络电力系统暂态稳定评估方法 被引量:3
3
作者 刘颂凯 党喜 +3 位作者 崔梓琪 杨超 阮肇华 袁铭洋 《智慧电力》 北大核心 2024年第1期116-123,共8页
系统的量测数据可能受到噪声以及样本类分布不平衡问题的影响,导致基于数据驱动的暂态稳定评估模型性能下降。提出一种针对样本类不平衡的的深度残差网络电力系统暂态稳定评估方法。首先,利用改进过采样技术为滤除噪声的少数类样本构造... 系统的量测数据可能受到噪声以及样本类分布不平衡问题的影响,导致基于数据驱动的暂态稳定评估模型性能下降。提出一种针对样本类不平衡的的深度残差网络电力系统暂态稳定评估方法。首先,利用改进过采样技术为滤除噪声的少数类样本构造所需的新样本,改善样本类不平衡问题,并减少噪声的影响;然后,基于深度残差网络构建电力系统暂态稳定评估模型,解决梯度消失导致的模型性能退化问题,提高模型的鲁棒性和准确性;最后,在新英格兰10机39节点和47机140节点系统上的仿真结果表明,所提方法能减小噪声干扰、降低不平衡数据集所带来的影响和减少计算复杂度。 展开更多
关键词 暂态稳定评估 噪声问题 样本类分布不平衡 改进合成少数过采样技术 深度残差网络
在线阅读 下载PDF
非平衡技术在高速网络入侵检测中的应用 被引量:3
4
作者 赵月爱 陈俊杰 穆晓芳 《计算机应用》 CSCD 北大核心 2009年第7期1806-1808,1812,共4页
针对现有的高速网络入侵检测系统丢包率高、检测速度慢以及检测算法对不同类型攻击检测的非平衡性等问题,提出了采用两阶段的负载均衡策略的检测模型。在线检测阶段对网络数据包按协议类型进行分流的检测,离线建模阶段对不同协议类型的... 针对现有的高速网络入侵检测系统丢包率高、检测速度慢以及检测算法对不同类型攻击检测的非平衡性等问题,提出了采用两阶段的负载均衡策略的检测模型。在线检测阶段对网络数据包按协议类型进行分流的检测,离线建模阶段对不同协议类型的数据进行学习建模,供在线部分检测。在讨论非平衡数据处理的各种采样技术基础上,采用改进后的过抽样少数样本合成过采样技术(SMOTE)对网络数据进行预处理,采用AdaBoost、随机森林算法等进行分类。另外对特征选取等方面进行了实验,结果表明SMOTE过抽样可提高各少数类的检测,随机森林算法分类效果好而且建模所用的时间稳定。 展开更多
关键词 高速网络 入侵检测 非平衡数据 少数样本合成过采样技术 集成学习 ADABOOST算法 随机森林算法
在线阅读 下载PDF
一种基于SVM的非均衡数据集过采样方法 被引量:17
5
作者 张忠林 冯宜邦 赵中恺 《计算机工程与应用》 CSCD 北大核心 2020年第23期220-228,共9页
针对不平衡数据集分类结果偏向多数类的问题,重采样技术是解决此问题的有效方法之一。而传统过采样算法易合成无效样本,欠采样方法易剔除重要样本信息。基于此提出一种基于SVM的不平衡数据过采样方法SVMOM(Oversampling Method Based on... 针对不平衡数据集分类结果偏向多数类的问题,重采样技术是解决此问题的有效方法之一。而传统过采样算法易合成无效样本,欠采样方法易剔除重要样本信息。基于此提出一种基于SVM的不平衡数据过采样方法SVMOM(Oversampling Method Based on SVM)。SVMOM通过迭代合成样本。在迭代过程中,通过SVM得到分类超平面;根据每个少数类样本到分类超平面的距离赋予样本距离权重;同时考虑少数类样本的类内平衡,根据样本的分布计算样本的密度,赋予样本密度权重;依据样本的距离权重和密度权重计算每个少数类样本的选择权重,根据样本的选择权重选择样本运用SMOTE合成新样本,达到平衡数据集的目的。实验结果表明,提出的算法在一定程度上解决了分类结果偏向多数类的问题,验证了算法的有效性。 展开更多
关键词 不平衡数据 支持向量机(SVM) 过采样 样本权重 合成少数类过采样技术(SMOTE)
在线阅读 下载PDF
基于数据生成模型的仿真样本点插补方法
6
作者 何玉林 陈佳琪 +2 位作者 徐贺鹏 黄哲学 尹剑飞 《系统仿真学报》 CAS CSCD 北大核心 2023年第9期1948-1964,共17页
为解决插补的仿真样本点与真实样本点概率分布不一致的问题,提出了基于数据生成模型的仿真样本点插补方法。基于高斯混合模型构建真实样本点的数据生成模型,其对应的高斯混合模型构件数通过多模型融合的策略确定;利用在真实样本点上获... 为解决插补的仿真样本点与真实样本点概率分布不一致的问题,提出了基于数据生成模型的仿真样本点插补方法。基于高斯混合模型构建真实样本点的数据生成模型,其对应的高斯混合模型构件数通过多模型融合的策略确定;利用在真实样本点上获得的数据生成模型插补所需的仿真样本点,其中数据生成模型的构件以及构件权重用于控制仿真样本点的生成方式。在20个多模多维混合分布上对新方法的可行性和有效性进行了验证,实验结果表明,与随机样本点插补、合成少类过采样技术及其两种最新的变体等4种方法相比,本文方法能够获得更具概率分布一致性的仿真样本点,证实该方法是一种合理的仿真样本点插补方法。 展开更多
关键词 仿真样本点插补 数据生成模型 高斯混合模型 合成少类过采样技术 概率分布一致
在线阅读 下载PDF
基于电机数据图像化的多时序变量间接卡车误吊起检测
7
作者 刘嘉杰 刘国平 胡文山 《计算机工程》 CAS CSCD 北大核心 2024年第10期370-380,共11页
自动化集装箱码头的装卸作业中经常发生集装箱与卡车同时被吊起的安全事故,导致人员伤亡及货品、车辆的损坏。为解决该问题,提出一种基于电机数据图像化处理的多时序变量间接卡车误吊起检测方法(MEIN)。该方法通过神经网络分析异步电机... 自动化集装箱码头的装卸作业中经常发生集装箱与卡车同时被吊起的安全事故,导致人员伤亡及货品、车辆的损坏。为解决该问题,提出一种基于电机数据图像化处理的多时序变量间接卡车误吊起检测方法(MEIN)。该方法通过神经网络分析异步电机在吊起集装箱和卡车的过程中产生的电流和电压异常,从而判断是否发生了误吊起事故。采集吊机的三相电流和电压数据,并基于物理公式进行特征工程计算出多个相关时序物理量,采用滑动窗口、SMOTE-Tomek综合采样的方式扩大样本总数并平衡类别数量,最后将多时序变量转换为图像的形式以EfficientNet进行分类。实验结果表明,该方法能在复杂的环境下(例如雨雾天气或轮胎被遮挡)保持稳定的检测性能,各测试地区的AUC均在0.997以上。相较于传统的基于激光雷达和计算机视觉的检测方法,MEIN方法具有成本低、精度高、计算量小并且抗环境干扰能力强等优点。该方法已在武汉、青岛、钦州、梅山等多地部署,为提高自动化集装箱码头的作业安全提供一种有效的解决方案。 展开更多
关键词 时间序列分类 卷积神经网络 合成少数类样本过采样技术 Tomek Links欠采样技术 卡车误吊起检测
在线阅读 下载PDF
基于COG-OS框架利用SMART预测云计算平台的硬盘故障 被引量:4
8
作者 宋云华 柏文阳 周琦 《计算机应用》 CSCD 北大核心 2014年第1期31-35,188,共6页
针对云计算平台的硬盘不可靠问题,提出基于带过采样的COG(COG-OS)框架,利用硬盘自我监测分析和报告技术(SMART)日志预测故障硬盘。首先采用DBScan或K-means聚类算法将无故障硬盘样本划分成多个不相交子集;再与故障硬盘样本结合,采用少... 针对云计算平台的硬盘不可靠问题,提出基于带过采样的COG(COG-OS)框架,利用硬盘自我监测分析和报告技术(SMART)日志预测故障硬盘。首先采用DBScan或K-means聚类算法将无故障硬盘样本划分成多个不相交子集;再与故障硬盘样本结合,采用少量样本合成过采样技术(SMOTE)使整体样本集趋于平衡;最后采用LIBSVM分类算法预测故障硬盘。调整参数,将COG-OS与SMOTE+支持向量机(SVM)的预测性能相比较,实验结果表明该方法具有可行性。当采用K-means方法划分无故障盘样本,并采用径向基函数(RBF)内核的LIBSVM方法预测故障盘时,COG-OS改善了SMOTE+SVM对故障硬盘的预测查全率和整体性能。 展开更多
关键词 COG-OS框架 自我监测分析和报告技术 K-均值 少量样本合成过采样技术 LIBSVM 支持向量机
在线阅读 下载PDF
基于改进SMOTE的不平衡数据挖掘方法研究 被引量:31
9
作者 杨智明 乔立岩 彭喜元 《电子学报》 EI CAS CSCD 北大核心 2007年第B12期22-26,共5页
少类样本合成过采样技术(SMOTE)是一种新型的过采样方法,能够有效地处理不平衡数据分类问题,但SMOTE在产生合成样本的过程中,存在一定的盲目性.因此本文提出一种改进的过采样方法一自适应SMOTE,根据样本集内部分布特性,自适应调... 少类样本合成过采样技术(SMOTE)是一种新型的过采样方法,能够有效地处理不平衡数据分类问题,但SMOTE在产生合成样本的过程中,存在一定的盲目性.因此本文提出一种改进的过采样方法一自适应SMOTE,根据样本集内部分布特性,自适应调整SMOTE方法中近邻选择策略,控制合成样本的质量.算法分析和仿真结果表明,文中提出的方法在不影响计算复杂度的前提下,有效地提高了分类算法的整体分类准确率。 展开更多
关键词 不平衡数据集 少类样本合成过采样技术 自适应SMOTE 合成样本 近邻选择策略
在线阅读 下载PDF
面向不平衡数据集的改进型SMOTE算法 被引量:26
10
作者 王超学 张涛 马春森 《计算机科学与探索》 CSCD 2014年第6期727-734,共8页
针对SMOTE(synthetic minority over-sampling technique)在合成少数类新样本时存在的不足,提出了一种改进的SMOTE算法GA-SMOTE。该算法的关键将是遗传算法中的3个基本算子引入到SMOTE中,利用选择算子实现对少数类样本有区别的选择,使... 针对SMOTE(synthetic minority over-sampling technique)在合成少数类新样本时存在的不足,提出了一种改进的SMOTE算法GA-SMOTE。该算法的关键将是遗传算法中的3个基本算子引入到SMOTE中,利用选择算子实现对少数类样本有区别的选择,使用交叉、变异算子实现对合成样本质量的控制。结合GA-SMOTE与SVM(support vector machine)算法来处理不平衡数据的分类问题。UCI数据集上的大量实验表明,GA-SMOTE在新样本的整体合成效果上表现出色,有效提高了SVM在不平衡数据集上的分类性能。 展开更多
关键词 不平衡数据集 分类 遗传算子 少数类样本合成过采样技术(SMOTE) SYNTHETIC MINORITY OVER-SAMPLING technique (SMOTE)
在线阅读 下载PDF
基于主动学习SMOTE的非均衡数据分类 被引量:23
11
作者 张永 李卓然 刘小丹 《计算机应用与软件》 CSCD 北大核心 2012年第3期91-93,162,共4页
少数类样本合成过采样技术(SMOTE)是一种典型的过采样数据预处理方法,它能够有效平衡非均衡数据,但会带来噪音等问题,影响分类精度。为解决此问题,借助主动学习支持向量机的分类性能,提出一种基于主动学习SMOTE的非均衡数据分类方法 ALS... 少数类样本合成过采样技术(SMOTE)是一种典型的过采样数据预处理方法,它能够有效平衡非均衡数据,但会带来噪音等问题,影响分类精度。为解决此问题,借助主动学习支持向量机的分类性能,提出一种基于主动学习SMOTE的非均衡数据分类方法 ALSMOTE。由于主动学习支持向量机采用基于距离的主动选择最佳样本的学习策略,因此能够主动选择非均衡数据中的有价值的多数类样本,舍弃价值较小的样本,从而提高运算效率,改进SMOTE带来的问题。首先运用SMOTE方法均衡小部分样本,得到初始分类器;然后利用主动学习策略调整分类器精度。实验结果表明,该方法有效提高了非均衡数据的分类准确率。 展开更多
关键词 主动学习 不平衡数据集 少数类样本合成过采样技术 支持向量机
在线阅读 下载PDF
针对不平衡数据集的Bagging改进算法 被引量:12
12
作者 李明方 张化祥 《计算机工程与应用》 CSCD 北大核心 2010年第30期40-42,共3页
传统的Bagging分类方法对不平衡数据集进行分类时,虽然能够达到很高的分类精度,但是对其中少数类的分类准确率不高。为提高其对少数类数据的分类精度,利用SMOTE算法对样例集中的少数类样例进行加工,在Bagging算法中根据类值对各个样例... 传统的Bagging分类方法对不平衡数据集进行分类时,虽然能够达到很高的分类精度,但是对其中少数类的分类准确率不高。为提高其对少数类数据的分类精度,利用SMOTE算法对样例集中的少数类样例进行加工,在Bagging算法中根据类值对各个样例的权重进行调整。混淆矩阵和ROC曲线表明改进算法达到了既能保证整体的分类准确率,又能提高少数类分类精度的目的。 展开更多
关键词 不平衡类 少类样本合成过采样技术(SMOTE) BAGGING算法 权重 受试者工作特征曲线(ROC)
在线阅读 下载PDF
基于改进深度降噪自编码网络的电网气象防灾方法 被引量:18
13
作者 丛伟 胡亮亮 +3 位作者 孙世军 韩洪 孙梦晨 王安宁 《电力系统自动化》 EI CSCD 北大核心 2019年第2期42-49,共8页
电网运维数据表明电网故障的主要原因已由电气设备制造工艺水平、现场运维水平等因素转向雷电、山火、大风、冰灾等自然气象因素,电网防灾减灾也应重点关注气象致灾。针对气象与电网故障之间的关联特点和规律,提出了一种基于改进深度降... 电网运维数据表明电网故障的主要原因已由电气设备制造工艺水平、现场运维水平等因素转向雷电、山火、大风、冰灾等自然气象因素,电网防灾减灾也应重点关注气象致灾。针对气象与电网故障之间的关联特点和规律,提出了一种基于改进深度降噪自编码(SDAE)网络的电网气象防灾方法。以气象历史数据和电网运维检修数据为基础,利用合成少数类样本过采样技术(SMOTE)降低原始数据集的不平衡度,自编码网络通过非监督自学习和有监督微调完成气象信息特征的提取和气象信息与电网故障映射关系的建立,并通过融入稀疏项限制和加噪编码来改善网络的鲁棒性。算例分析表明,所提出的基于SMOTE和SDAE的网络电网气象防灾方法,能够准确、全面地建立气象信息与电网故障之间的关联映射关系,能够对给定的气象条件是否会导致发生电网灾害事故进行准确的预判。 展开更多
关键词 气象信息 电网防灾减灾 电网故障 合成少数类样本过采样技术 深度降噪自编码 深度学习
在线阅读 下载PDF
基于不平衡数据集的主动学习分类算法 被引量:8
14
作者 赵小强 刘梦依 《控制工程》 CSCD 北大核心 2019年第2期314-319,共6页
针对不平衡数据集在分类过程中易产生噪声数据和分类精度低的问题,提出一种基于改进SMOTE的不平衡数据集主动学习SVM分类算法。该算法对训练样本集利用少数类样本的归属值通过多数票选择法控制合成少数类样本的数量,以距离公式为衡量标... 针对不平衡数据集在分类过程中易产生噪声数据和分类精度低的问题,提出一种基于改进SMOTE的不平衡数据集主动学习SVM分类算法。该算法对训练样本集利用少数类样本的归属值通过多数票选择法控制合成少数类样本的数量,以距离公式为衡量标准划分超平面,在分类超平面两侧选择最近距离的等量对称的多数类样本,组成平衡采样数据集,利用支持向量机(SVM)进行分类得到优化分类器,再用主动学习对去除了训练样本的不平衡数据集利用优化分类器进行分类循环,直到剩余样本为零。利用UCI数据集中的数据实验表明,该算法有效地减少了噪声数据对分类的影响,并有效改善不平衡数据集的分类精度。 展开更多
关键词 数据挖掘 不平衡数据集 分类 少数类样本合成过采样技术
在线阅读 下载PDF
不平衡数据集异常检测和分类算法 被引量:3
15
作者 樊芮 陈湘媛 +1 位作者 王冠男 崔艳辉 《电力系统及其自动化学报》 CSCD 北大核心 2023年第9期112-119,共8页
针对传统异常检测模型在面对不平衡样本集时存在参数优化困难、少数类识别效果差等问题,提出一种组合模型以实现不平衡数据集的异常检测和分类。首先利用支撑向量数据描述构造闭合曲面实现“异常”检测,然后提出改进少数样本合成技术对... 针对传统异常检测模型在面对不平衡样本集时存在参数优化困难、少数类识别效果差等问题,提出一种组合模型以实现不平衡数据集的异常检测和分类。首先利用支撑向量数据描述构造闭合曲面实现“异常”检测,然后提出改进少数样本合成技术对“异常”数据进行过采样以构建平衡数据集,最后利用所提最大类间-类内距K-均值聚类进行自动聚类,实现3种异常数据的分类判决。结果表明,所提方法能够获得较高的异常检测和分类性能,并且具有较强的泛化能力。 展开更多
关键词 异常检测及分类 不平衡数据 最大类间-类内距K-均值聚类 少数样本合成技术 过采样
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部