为提高浮动车数据中异常数据检测能力及不同载客状态下的模型检测分析能力,提出基于S-DTA-IIForest(Summation&Difference Third Order Average&Improvement-Isolation Forest)的浮动车数据异常检测算法。构建由相邻两项求和(S...为提高浮动车数据中异常数据检测能力及不同载客状态下的模型检测分析能力,提出基于S-DTA-IIForest(Summation&Difference Third Order Average&Improvement-Isolation Forest)的浮动车数据异常检测算法。构建由相邻两项求和(S)、三阶求和平均差分(DTA)的二维度空间SDTA特征向量;提出差额累计更新和动态区分辨识的改进孤立森林IIForest算法,通过设置停止阈值参数,避免当出现新样本异常值分数大于停止阈值时,仅更新样本不更新孤立森林模型的问题,设计每个二叉树区分辨识度参数,区分辨识度位于停止区间时停止二叉树生长,提高算法收敛性能,以ROC(Receiver Operating Characteristic)曲线下面积AUC(Area Under ROC Cure)、F1-score为指标对模型精度进行对比分析,并以重庆市中心城区学府大道开展实例验证。结果表明:本文S-DTA-IIForest组合算法AUC、F1-score分别为86.63%、0.89,AUC较传统孤立森林IForest(Isolation Forest)提高32.4%,运行效率提高1.29%,具有收敛速度更快、精度更高的优势,载客条件下模型AUC、F1-score较未载客分别提高7.7%、10.8%,组合算法对载客数据有更高的检测精度,且未载客状态数据异常率较载客状态增加71.4%,未载客数据异常率更高。展开更多
随着互联电网运行方式的愈加复杂多变以及广域量测系统部署的越来越完善,以广域测量系统(wide area measurement system,WAMS)量测大数据为基础的实时稳定分析成为必然要求。与此同时,如何对全网多节点毫秒级海量WAMS大数据进行时空同...随着互联电网运行方式的愈加复杂多变以及广域量测系统部署的越来越完善,以广域测量系统(wide area measurement system,WAMS)量测大数据为基础的实时稳定分析成为必然要求。与此同时,如何对全网多节点毫秒级海量WAMS大数据进行时空同步处理和异常数据检测,成为阻碍其发挥更大作用的关键问题。因此,该文提出基于高维随机矩阵描述的WAMS量测大数据建模与分析方法。首先在对WAMS量测数据时空特性分析的基础上,根据高维随机矩阵理论,进行了WAMS量测大数据的高维随机矩阵模型构建,然后推导了其异常数据检测理论和方法,最后在仿真算例上模拟实测量测数据,通过对比不同异常时刻量测数据的Trace检测和谱分布,验证了该量测大数据的建模方法的有效性与适用性。展开更多
随着传感器网络环境监控应用的发展,传感器网络测量数据的异常检测近年来受到学术界和工业界的高度关注。提出一种基于DBSCAN(Density-Based Spatial Clustering of Application with Noise)的异常数据检测方法,该方法利用距离定义数据...随着传感器网络环境监控应用的发展,传感器网络测量数据的异常检测近年来受到学术界和工业界的高度关注。提出一种基于DBSCAN(Density-Based Spatial Clustering of Application with Noise)的异常数据检测方法,该方法利用距离定义数据的相似度进行划分聚类,使用DBSCAN算法提取环境特征集,并根据特征集对异常数据进行检测。最后,基于真实的传感器网络完成了多组实验,实验结果表明该方法能够实时准确地检测出异常数据。展开更多
数据质量影响了情报分析和知识发现的有效性,针对科技情报数据中异常数据所导致的分析准确率低和误检率高等问题,提出了一种基于代表性对象(Clustering Using Representatives,CURE)聚类算法的异常数据检测方法。通过信息采集与预处理...数据质量影响了情报分析和知识发现的有效性,针对科技情报数据中异常数据所导致的分析准确率低和误检率高等问题,提出了一种基于代表性对象(Clustering Using Representatives,CURE)聚类算法的异常数据检测方法。通过信息采集与预处理、文本处理和聚类分析三个阶段实现异常情报数据的识别和定位,为构造高质量情报数据集提供了参考。最后基于专利情报数据进行实验验证,验证结果表明,所提出的异常情报数据检测方法能够实现异常数据的精准定位,准确率高、误检率低,具有一定的可行性。展开更多
受自然环境、计量仪器等影响,量测数据会出现异常,导致调度人员错误决策,威胁电力系统安全稳定运行。为保障电力系统安全稳定运行,提出了一种基于双向长短期记忆(bidirectional long short-term memory,Bi-LSTM)神经网络的配网电压无监...受自然环境、计量仪器等影响,量测数据会出现异常,导致调度人员错误决策,威胁电力系统安全稳定运行。为保障电力系统安全稳定运行,提出了一种基于双向长短期记忆(bidirectional long short-term memory,Bi-LSTM)神经网络的配网电压无监督异常数据检测方法。利用Bi-LSTM神经网络处理时序数据的双向特性,建立时序预测模型,通过对比预测值和实际值的误差检测异常数据。最后,基于某实际配网电压数据进行仿真验证,仿真结果表明:所提方法在准确率、F1分数等指标方面均优于决策树、K近邻、支持向量机、长短期记忆(long short-term memory,LSTM)神经网络。展开更多
文摘为提高浮动车数据中异常数据检测能力及不同载客状态下的模型检测分析能力,提出基于S-DTA-IIForest(Summation&Difference Third Order Average&Improvement-Isolation Forest)的浮动车数据异常检测算法。构建由相邻两项求和(S)、三阶求和平均差分(DTA)的二维度空间SDTA特征向量;提出差额累计更新和动态区分辨识的改进孤立森林IIForest算法,通过设置停止阈值参数,避免当出现新样本异常值分数大于停止阈值时,仅更新样本不更新孤立森林模型的问题,设计每个二叉树区分辨识度参数,区分辨识度位于停止区间时停止二叉树生长,提高算法收敛性能,以ROC(Receiver Operating Characteristic)曲线下面积AUC(Area Under ROC Cure)、F1-score为指标对模型精度进行对比分析,并以重庆市中心城区学府大道开展实例验证。结果表明:本文S-DTA-IIForest组合算法AUC、F1-score分别为86.63%、0.89,AUC较传统孤立森林IForest(Isolation Forest)提高32.4%,运行效率提高1.29%,具有收敛速度更快、精度更高的优势,载客条件下模型AUC、F1-score较未载客分别提高7.7%、10.8%,组合算法对载客数据有更高的检测精度,且未载客状态数据异常率较载客状态增加71.4%,未载客数据异常率更高。
文摘随着互联电网运行方式的愈加复杂多变以及广域量测系统部署的越来越完善,以广域测量系统(wide area measurement system,WAMS)量测大数据为基础的实时稳定分析成为必然要求。与此同时,如何对全网多节点毫秒级海量WAMS大数据进行时空同步处理和异常数据检测,成为阻碍其发挥更大作用的关键问题。因此,该文提出基于高维随机矩阵描述的WAMS量测大数据建模与分析方法。首先在对WAMS量测数据时空特性分析的基础上,根据高维随机矩阵理论,进行了WAMS量测大数据的高维随机矩阵模型构建,然后推导了其异常数据检测理论和方法,最后在仿真算例上模拟实测量测数据,通过对比不同异常时刻量测数据的Trace检测和谱分布,验证了该量测大数据的建模方法的有效性与适用性。
文摘随着传感器网络环境监控应用的发展,传感器网络测量数据的异常检测近年来受到学术界和工业界的高度关注。提出一种基于DBSCAN(Density-Based Spatial Clustering of Application with Noise)的异常数据检测方法,该方法利用距离定义数据的相似度进行划分聚类,使用DBSCAN算法提取环境特征集,并根据特征集对异常数据进行检测。最后,基于真实的传感器网络完成了多组实验,实验结果表明该方法能够实时准确地检测出异常数据。
文摘数据质量影响了情报分析和知识发现的有效性,针对科技情报数据中异常数据所导致的分析准确率低和误检率高等问题,提出了一种基于代表性对象(Clustering Using Representatives,CURE)聚类算法的异常数据检测方法。通过信息采集与预处理、文本处理和聚类分析三个阶段实现异常情报数据的识别和定位,为构造高质量情报数据集提供了参考。最后基于专利情报数据进行实验验证,验证结果表明,所提出的异常情报数据检测方法能够实现异常数据的精准定位,准确率高、误检率低,具有一定的可行性。
