基于期望核密度离群因子的离群点检测算法 被引量：3

1

作者 张忠平 孙光旭 +2 位作者 姚春辰 刘硕 齐文旭 《高技术通讯》 CAS 北大核心 2024年第2期187-198,共12页

针对基于密度的离群点检测方法在不同分布的数据集上检测精度低的问题,提出了一种基于期望核密度离群因子的离群点检测算法。首先,引入k近邻和反向k近邻扩展邻域空间(ENS)代替传统的k邻域范围,更加全面地考虑数据对象的邻域信息;其次,... 针对基于密度的离群点检测方法在不同分布的数据集上检测精度低的问题,提出了一种基于期望核密度离群因子的离群点检测算法。首先,引入k近邻和反向k近邻扩展邻域空间(ENS)代替传统的k邻域范围,更加全面地考虑数据对象的邻域信息;其次,在传统核密度估计(KDE)方法的基础上引入多元高斯函数,在扩展邻域空间内估计数据对象的密度,同时借鉴自适应核带宽的思想,更好地适应不同数据集的数据分布;然后,给出期望距离的概念,进一步区分局部离群点和位于低密度区域的正常点;最后,定义了期望核密度离群因子刻画数据对象离群程度。在人工数据集和真实数据集上对所提算法进行实验验证,并与部分传统算法进行对比,验证了所提算法的有效性。 展开更多

关键词 数据挖掘 离群点 核密度估计(KDE) 期望距离 期望核密度离群因子

在线阅读 下载PDF 职称材料

基于高斯核函数改进的电力用户用电数据离群点检测方法 被引量：57

2

作者 孙毅 李世豪 +3 位作者 崔灿 李彬 陈宋宋 崔高颖 《电网技术》 EI CSCD 北大核心 2018年第5期1595-1604,共10页

针对智能配用电大数据背景下用电数据离群点检测方法的适用性以及实际数据集中异常用电样本获取成本较高的问题,提出一种基于高斯核函数改进的电力用户用电数据离群点检测方法。首先通过模糊聚类的方法将用户分类;然后提取每一类用户的... 针对智能配用电大数据背景下用电数据离群点检测方法的适用性以及实际数据集中异常用电样本获取成本较高的问题,提出一种基于高斯核函数改进的电力用户用电数据离群点检测方法。首先通过模糊聚类的方法将用户分类;然后提取每一类用户的用电行为特征量,采用主成分分析法对特征集进行降维;最后利用高斯核函数改进局部离群因子算法,提出高斯核密度局部离群因子（Gaussian kernel densitybased local outlier factor,GKLOF）算法,通过理论推导与仿真实验相结合的方式分析了GKLOF算法的特性。选取了5000个用户真实的用电数据进行实验分析,实验结果表明,该方法具有较高的检测准确率以及较为稳定的判定阈值,并且受局部数据分布的影响较小,更加适用于用户用电行为复杂多样以及实际数据集中所有用户用电行为类型信息未知情况下的离群点检测。 展开更多

关键词 电力大数据 数据挖掘 离群点检测 高斯核密度局部离群因子 用电行为分析

在线阅读 下载PDF 职称材料

一种基于密度的局部离群点检测算法DLOF 被引量：53

3

作者 胡彩平 秦小麟 《计算机研究与发展》 EI CSCD 北大核心 2010年第12期2110-2116,共7页

离群点可分为全局离群点和局部离群点.在很多情况下,局部离群点的挖掘比全局离群点的挖掘更有意义.提出了一种基于密度的局部离群点检测算法DLOF.该方法通过引入信息熵用于确定各对象的离群属性,在计算各对象之间的距离时采用加权距离,... 离群点可分为全局离群点和局部离群点.在很多情况下,局部离群点的挖掘比全局离群点的挖掘更有意义.提出了一种基于密度的局部离群点检测算法DLOF.该方法通过引入信息熵用于确定各对象的离群属性,在计算各对象之间的距离时采用加权距离,并给离群属性较大的权重,从而提高离群点检测的准确度.另外,该算法在计算离群因子时,采用了两步优化技术,并对采用这两步优化技术后算法的时间复杂度进行了详细分析.理论分析和实验结果表明了该方法是有效可行的. 展开更多

关键词 局部离群点 密度 局部离群因子 信息熵 离群属性

在线阅读 下载PDF 职称材料

基于局部估计密度的局部离群点检测算法 被引量：9

4

作者 谢兄 唐昱 《小型微型计算机系统》 CSCD 北大核心 2020年第2期387-392,共6页

局部离群点检测是近年来数据挖掘领域的热点问题之一.针对交通数据去噪问题,提出一种基于局部估计密度的局部离群点检测算法,算法使用核密度估计方法计算每个数据对象的密度估计值,来表示该数据对象的局部估计密度,并在核函数的带宽函... 局部离群点检测是近年来数据挖掘领域的热点问题之一.针对交通数据去噪问题,提出一种基于局部估计密度的局部离群点检测算法,算法使用核密度估计方法计算每个数据对象的密度估计值,来表示该数据对象的局部估计密度,并在核函数的带宽函数计算中引入数据对象的k-邻域平均距离作为其邻域信息,然后利用求出的局部估计密度计算数据对象的局部离群因子,依据局部离群因子的大小来判断数据对象是否为离群点.实验表明,该算法在UCI标准数据集与模拟数据集上都可以取得较好的表现. 展开更多

关键词 离群点检测 核密度估计 邻域信息 局部离群因子

在线阅读 下载PDF 职称材料

高斯核密度估计方法检测健康数据异常值 被引量：7

5

作者 王康 周治平 《计算机科学与探索》 CSCD 北大核心 2019年第12期2094-2102,共9页

针对智能穿戴设备普及背景下,利用运动手环采集的活动数据存在未知异常数据的问题,提出一种基于高斯核密度估计的健康数据异常值检测方法。首先采用t-分布邻域嵌入算法对数据集进行特征提取,增强数据局部结构能力;接着利用高斯核局部密... 针对智能穿戴设备普及背景下,利用运动手环采集的活动数据存在未知异常数据的问题,提出一种基于高斯核密度估计的健康数据异常值检测方法。首先采用t-分布邻域嵌入算法对数据集进行特征提取,增强数据局部结构能力;接着利用高斯核局部密度代替局部异常因子算法中的局部可达密度,提出基于高斯核密度估计离群因子(GKDELOF)算法,推导分析了该算法判断阈值的稳定性;最后在UCI标准数据集上进行仿真实验,验证算法的准确性,并在选取的真实运动手环所采集的活动数据集上进行实验分析。实验结果表明,该方法能够解决由活动复杂多样性造成的健康数据稀疏问题,准确检测出异常值。 展开更多

关键词 运动手环 健康数据 异常值检测 局部异常因子 高斯核密度估计

在线阅读 下载PDF 职称材料

融合边界和密度的时序不平衡过采样算法

6

作者 杨瑞 张海清 +3 位作者 李代伟 陈金京 任李娟 刘佳璇 《计算机工程与设计》 北大核心 2025年第8期2178-2185,共8页

针对时间序列数据中不平衡问题,提出一种基于样本边界和局部密度的生成对抗网络(density-boundary generative adversarial network,DBGAN)。根据样本分布特点,利用共享最近邻、局部离群因子以及高斯核函数获得少数类样本的重要性得分,... 针对时间序列数据中不平衡问题,提出一种基于样本边界和局部密度的生成对抗网络(density-boundary generative adversarial network,DBGAN)。根据样本分布特点,利用共享最近邻、局部离群因子以及高斯核函数获得少数类样本的重要性得分,指导生成器合成具有代表性的少数类样本。同时借鉴CatGAN模型对cGAN的判别器进行修改,使其能够适应多样性的类内分布。实验结果表明,该模型在不同数据集上的性能指标得到提升,有效缓解类不平衡问题。 展开更多

关键词 时间序列 类不平衡 生成对抗网络 共享最近邻 局部离群因子 边界样本 局部密度

在线阅读 下载PDF 职称材料

基于小波密度估计的数据流离群点检测 被引量：4

7

作者 刘耀宗 张宏 +1 位作者 孟锦 韩法旺 《计算机工程》 CAS CSCD 2013年第2期178-181,共4页

为能及时发现数据流上的局部离群点,分析数据流已有的离群点挖掘算法,提出基于小波密度估计的离群点检测算法。利用小波密度估计多尺度和多粒度的特点,通过小波概率阈值判断数据流中当前滑动窗口内的数据点是否为离群点,并对数据流中离... 为能及时发现数据流上的局部离群点,分析数据流已有的离群点挖掘算法,提出基于小波密度估计的离群点检测算法。利用小波密度估计多尺度和多粒度的特点,通过小波概率阈值判断数据流中当前滑动窗口内的数据点是否为离群点,并对数据流中离群点检测过程进行讨论。仿真结果表明,与核密度估计算法相比,该算法的检测效率与精度较高。 展开更多

关键词 数据流 局部离群点 离群点检测 核密度估计 小波密度估计

在线阅读 下载PDF 职称材料

基于局部密度的用户概貌攻击检测算法 被引量：3

8

作者 张付志 魏莎 《小型微型计算机系统》 CSCD 北大核心 2013年第4期850-855,共6页

针对现有的用户概貌攻击检测算法在检测模糊攻击时精确度不高的问题,本文提出一种基于局部密度的用户概貌攻击检测算法.首先,利用LOF离群点检测算法为每个用户计算局部离群因子,得到用户的局部离群程度;然后,结合攻击用户对目标项目的... 针对现有的用户概貌攻击检测算法在检测模糊攻击时精确度不高的问题,本文提出一种基于局部密度的用户概貌攻击检测算法.首先,利用LOF离群点检测算法为每个用户计算局部离群因子,得到用户的局部离群程度;然后,结合攻击用户对目标项目的评分与真实用户评分之间的差异,进一步确定目标项目及攻击目的,最终给出目标项目所对应的攻击概貌.实验结果表明,该算法无论是针对标准攻击还是模糊攻击,均具有较高的检测精度. 展开更多

关键词 用户概貌攻击 攻击检测 模糊攻击 局部密度 局部离群因子

在线阅读 下载PDF 职称材料

基于自编码器和密度的融合离群点检测算法 被引量：5

9

作者 林昕玥 于炯 +3 位作者 杜旭升 理姗姗 杨少智 高杰 《东北师大学报（自然科学版）》 CAS 北大核心 2021年第1期53-60,共8页

针对基于栈式自编码器的离群点(SAE)检测算法和基于密度的离群点(LOF)检测算法检测精度不高的问题,提出了将SAE算法和LOF算法相结合的SAE-LOF算法.该算法的核心是对单独的SAE算法和LOF算法加入“投票”思想,通过神经网络训练权重,计算SA... 针对基于栈式自编码器的离群点(SAE)检测算法和基于密度的离群点(LOF)检测算法检测精度不高的问题,提出了将SAE算法和LOF算法相结合的SAE-LOF算法.该算法的核心是对单独的SAE算法和LOF算法加入“投票”思想,通过神经网络训练权重,计算SAE算法和LOF算法加权投票结果,进而检测离群点.首先,训练并测试SAE,得到SAE的重构误差;其次,通过LOF算法得到局部离群因子;再次,将SAE算法的重构误差和LOF算法的局部离群因子作为新的特征输入到神经网络,进行有监督的训练;最后,将测试集分别经过SAE算法和LOF算法,再输入到神经网络,输出值最高的若干样本被预测为离群点.将SAE-LOF算法与SAE算法、LOF算法、KNN算法、孤立森林算法进行了比较,结果表明:SAE-LOF算法的预测结果具有更高的精度、更低的错误率以及更高的AUC值.该算法显著提高了分类器的性能. 展开更多

关键词 离群点检测 基于自编码器 基于密度 重构误差 局部离群因子 神经网络

在线阅读 下载PDF 职称材料

基于网格划分加权的分布式离群点检测算法 被引量：10

10

作者 梅林 张凤荔 +1 位作者 王瑞锦 高强 《电子科技大学学报》 EI CAS CSCD 北大核心 2020年第6期860-866,共7页

分布式计算被广泛应用于离群点检测问题,但分布式环境中节点计算性能的差异带来了数据计算性能的下降问题。针对面向大尺度高维数据离群点分布式计算的负载均衡问题,该文提出了一种加权分布式离群点检测方法。首先根据数据节点的计算性... 分布式计算被广泛应用于离群点检测问题,但分布式环境中节点计算性能的差异带来了数据计算性能的下降问题。针对面向大尺度高维数据离群点分布式计算的负载均衡问题,该文提出了一种加权分布式离群点检测方法。首先根据数据节点的计算性能确定数据节点的权值,然后将数据空间划分为若干个网格,最后设计了一种基于网格划分的加权分配算法WGBA,将这些网格分配到数据节点中,实现并行计算。实验验证了该方法的有效性。 展开更多

关键词 基于密度的离群点检测 分布式算法 网格划分 局部异常值因子

在线阅读 下载PDF 职称材料

基于K-近邻点云去噪算法的研究与改进 被引量：38

11

作者 张毅 刘旭敏 +1 位作者 隋颖 关永 《计算机应用》 CSCD 北大核心 2009年第4期1011-1014,共4页

针对三维扫描获取的带噪声和离群点的点云数据,提出了改进的去噪算法。通过K-近邻搜索建立散乱点云之间的拓扑关系,进而采用高斯影响函数作为核函数来估计当前测点对周围邻近点的影响力,从而限制噪声并剔除离群点。重点讨论了密度熵的... 针对三维扫描获取的带噪声和离群点的点云数据,提出了改进的去噪算法。通过K-近邻搜索建立散乱点云之间的拓扑关系,进而采用高斯影响函数作为核函数来估计当前测点对周围邻近点的影响力,从而限制噪声并剔除离群点。重点讨论了密度熵的概念以及如何优化高斯核函数的参数,解决了窗宽尺寸在使用中不易确定的问题。仿真实验证明,该算法能够很容易地检测出离群点,同时也避免了将模型上的点误判为离群点的问题。 展开更多

关键词 K-近邻 离群点 高斯核函数 密度熵 去噪

在线阅读 下载PDF 职称材料

基于二级CFSFDP的扩展目标量测集划分算法 被引量：2

12

作者 迟珞珈 冯新喜 +1 位作者 蒲磊 曹倬 《计算机工程》 CAS CSCD 北大核心 2018年第5期309-315,共7页

在扩展目标高斯混合概率假设密度滤波中,量测集的划分需要进行大量计算,导致运行效率较低。针对该问题,提出一种新的扩展目标量测集划分算法。采用局部异常因子对杂波进行滤除,将层次聚类与采用密度极点的算法相结合对量测集进行划分。... 在扩展目标高斯混合概率假设密度滤波中,量测集的划分需要进行大量计算,导致运行效率较低。针对该问题,提出一种新的扩展目标量测集划分算法。采用局部异常因子对杂波进行滤除,将层次聚类与采用密度极点的算法相结合对量测集进行划分。实验结果表明,与距离划分、K-means++划分、DBSCAN划分算法相比,在扩展目标处于交叉和近邻2种情况时,该算法对目标的外形不敏感,在保证扩展目标跟踪性能的同时,减少了计算时间。 展开更多

关键词 扩展目标 局部异常因子 强度函数 高斯混合概率密度 量测集划分

在线阅读 下载PDF 职称材料

基于孤立森林与KDE-LOF的冷水机组故障检测 被引量：6

13

作者 熊坤 丁强 祝红梅 《计算机应用与软件》 北大核心 2023年第1期84-89,共6页

为了提升冷水机组微小故障的检测率,提出一种核密度估计的局部异常因子算法(KDE-LOF)结合孤立森林(iForest)的冷水机组故障检测策略。该策略通过使用孤立森林对实验数据异常值进行剔除,计算正常数据的LOF值作为统计量,并使用KDE确定控... 为了提升冷水机组微小故障的检测率,提出一种核密度估计的局部异常因子算法(KDE-LOF)结合孤立森林(iForest)的冷水机组故障检测策略。该策略通过使用孤立森林对实验数据异常值进行剔除,计算正常数据的LOF值作为统计量,并使用KDE确定控制限来完成模型的训练。通过监测数据LOF值是否超过设定的控制限进而判断是否出现故障。采用ASHRAE RP-1043数据集进行验证,并分析了该方法与主元分析和单类支持向量机的方法的优劣,结果表明该方法检测效果要优于其他两种模型,该方法在微小故障下检测率超过80%,性能最佳。 展开更多

关键词 故障检测 冷水机组 局部异常因子 核密度估计 孤立森林

在线阅读 下载PDF 职称材料

基于MapReduce的并行异常检测算法 被引量：6

14

作者 齐小刚 胡秋秋 刘立芳 《智能系统学报》 CSCD 北大核心 2019年第2期224-230,共7页

为了提高数据挖掘中异常检测算法在数据量增大时的准确度、灵敏度和执行效率,本文提出了一种基于MapReduce框架和Local Outlier Factor(LOF)算法的并行异常检测算法(MR-DLOF)。首先,将存放在Hadoop分布式文件系统(HDFS)上的数据集逻辑... 为了提高数据挖掘中异常检测算法在数据量增大时的准确度、灵敏度和执行效率,本文提出了一种基于MapReduce框架和Local Outlier Factor(LOF)算法的并行异常检测算法(MR-DLOF)。首先,将存放在Hadoop分布式文件系统(HDFS)上的数据集逻辑地切分为多个数据块。然后,利用MapReduce原理将各个数据块中的数据并行处理,使得每个数据点的k-邻近距离和LOF值的计算仅在单个块中执行,从而提高了算法的执行效率;同时重新定义了k-邻近距离的概念,避免了数据集中存在大于或等于k个重复点而导致局部密度为无穷大的情况。最后,将LOF值较大的数据点合并重新计算其LOF值,从而提高算法准确度和灵敏度。通过真实数据集验证了MR-DLOF算法的有效性、高效性和可扩展性。 展开更多

关键词 数据挖掘 异常检测 局部离群因子 HADOOP MAPREDUCE 分布式文件系统 并行计算 局部密度

在线阅读 下载PDF 职称材料

基于数据场的改进LOF算法 被引量：4

15

作者 孟海东 孙新军 宋宇辰 《计算机工程与应用》 CSCD 北大核心 2019年第3期154-158,共5页

LOF(Local Outlier Factor)是一种经典基于密度的局部离群点检测算法,为提高算法的精确度,以便更精准挖掘出局部离群点,在LOF算法的基础上,提出了一种基于数据场的改进LOF离群点检测算法。通过对数据集每一维的属性值应用数据场理论,计... LOF(Local Outlier Factor)是一种经典基于密度的局部离群点检测算法,为提高算法的精确度,以便更精准挖掘出局部离群点,在LOF算法的基础上,提出了一种基于数据场的改进LOF离群点检测算法。通过对数据集每一维的属性值应用数据场理论,计算势值,进而引入平均势差的概念,针对每一维度中大于平均势差的任意两点在计算距离时加入一个权值,从而提高离群点检测的精确度,实验结果表明该算法是可行的,并且拥有更高的精确度。 展开更多

关键词 数据挖掘 局部可达密度 数据场 平均势差 局部离群因子

在线阅读 下载PDF 职称材料

基于观测点机制的异常点检测算法 被引量：4

16

作者 于万国 何玉林 覃荟霖 《深圳大学学报（理工版）》 CAS CSCD 北大核心 2022年第3期355-362,共8页

异常点检测是数据挖掘领域的一个重要研究方向,传统的基于近邻和局部异常因子的异常点检测算法存在计算复杂度高和误检率高的缺陷.为解决该缺陷,提出一种基于观测点机制的异常点检测(observation-point mechanism-based outlier detecti... 异常点检测是数据挖掘领域的一个重要研究方向,传统的基于近邻和局部异常因子的异常点检测算法存在计算复杂度高和误检率高的缺陷.为解决该缺陷,提出一种基于观测点机制的异常点检测(observation-point mechanism-based outlier detection,OPOD)算法.首先在原始样本空间中随机放置若干观测点,然后计算观测点与样本点之间的距离,将原始数据转换为与观测点相对应的距离数据,再估计距离数据的概率密度函数,进而计算距离数据出现的概率值,最后通过对多个观测点距离数据概率值的融合最终确定原始样本点中的异常点.基于PyCharm平台,采用sklearn.datasets的make_blobs函数生成仿真数据集,分别测试不同规模和不同维度数据集对OPOD算法性能的影响,并对比了OPOD算法、基于局部异常因子的异常点检测(local outlier factor-based outlier detection,LOFOD)算法和基于近邻的异常点检测(nearest neighbor-based outlier detection,NNOD)算法的运行时间、异常点召回率和误检率.结果表明,OPOD算法具有对异常点进行检测的能力,且随着观测点数量的增加算法呈收敛趋势;观测点选取合适的条件下,具有比基于近邻和局部异常因子的异常点检测算法更低的时间复杂度和更好的异常点检测效果. 展开更多

关键词 人工智能 异常点检测 观测点 近邻 局部异常因子 概率密度函数 核密度估计 数据挖掘

在线阅读 下载PDF 职称材料

改进的多扩展目标PHD滤波算法

17

作者 彭聪 王杰贵 +1 位作者 朱克凡 程泽新 《现代防御技术》 2019年第1期97-104,110,共9页

在扩展目标产生量测密度差异较大的情况下,传统的基于距离划分的多扩展目标高斯混合概率假设密度(ET-GM-PHD)滤波算法计算量大,跟踪效果不佳。针对这个问题,提出了一种改进的ET-GM-PHD滤波算法,该算法首先通过局部异常因子(LOF)检测对... 在扩展目标产生量测密度差异较大的情况下,传统的基于距离划分的多扩展目标高斯混合概率假设密度(ET-GM-PHD)滤波算法计算量大,跟踪效果不佳。针对这个问题,提出了一种改进的ET-GM-PHD滤波算法,该算法首先通过局部异常因子(LOF)检测对量测集进行杂波的滤除,然后采用共享最近邻(SNN)相似度为量测划分准则。SNN相似度体现了量测分布的局部信息,考虑了量测周围的量测信息,因此利用SNN相似度划分量测密度差别较大的量测集时,划分效果比较理想。提出的算法相较于传统算法,减少了运行时间,提升了跟踪的稳定性。 展开更多

关键词 目标跟踪 扩展目标 多扩展目标高斯混合概率假设密度滤波器 量测划分 局部异常因子 共享最近邻相似度

在线阅读 下载PDF 职称材料