为提高浮动车数据中异常数据检测能力及不同载客状态下的模型检测分析能力,提出基于S-DTA-IIForest(Summation&Difference Third Order Average&Improvement-Isolation Forest)的浮动车数据异常检测算法。构建由相邻两项求和(S...为提高浮动车数据中异常数据检测能力及不同载客状态下的模型检测分析能力,提出基于S-DTA-IIForest(Summation&Difference Third Order Average&Improvement-Isolation Forest)的浮动车数据异常检测算法。构建由相邻两项求和(S)、三阶求和平均差分(DTA)的二维度空间SDTA特征向量;提出差额累计更新和动态区分辨识的改进孤立森林IIForest算法,通过设置停止阈值参数,避免当出现新样本异常值分数大于停止阈值时,仅更新样本不更新孤立森林模型的问题,设计每个二叉树区分辨识度参数,区分辨识度位于停止区间时停止二叉树生长,提高算法收敛性能,以ROC(Receiver Operating Characteristic)曲线下面积AUC(Area Under ROC Cure)、F1-score为指标对模型精度进行对比分析,并以重庆市中心城区学府大道开展实例验证。结果表明:本文S-DTA-IIForest组合算法AUC、F1-score分别为86.63%、0.89,AUC较传统孤立森林IForest(Isolation Forest)提高32.4%,运行效率提高1.29%,具有收敛速度更快、精度更高的优势,载客条件下模型AUC、F1-score较未载客分别提高7.7%、10.8%,组合算法对载客数据有更高的检测精度,且未载客状态数据异常率较载客状态增加71.4%,未载客数据异常率更高。展开更多
随着互联电网运行方式的愈加复杂多变以及广域量测系统部署的越来越完善,以广域测量系统(wide area measurement system,WAMS)量测大数据为基础的实时稳定分析成为必然要求。与此同时,如何对全网多节点毫秒级海量WAMS大数据进行时空同...随着互联电网运行方式的愈加复杂多变以及广域量测系统部署的越来越完善,以广域测量系统(wide area measurement system,WAMS)量测大数据为基础的实时稳定分析成为必然要求。与此同时,如何对全网多节点毫秒级海量WAMS大数据进行时空同步处理和异常数据检测,成为阻碍其发挥更大作用的关键问题。因此,该文提出基于高维随机矩阵描述的WAMS量测大数据建模与分析方法。首先在对WAMS量测数据时空特性分析的基础上,根据高维随机矩阵理论,进行了WAMS量测大数据的高维随机矩阵模型构建,然后推导了其异常数据检测理论和方法,最后在仿真算例上模拟实测量测数据,通过对比不同异常时刻量测数据的Trace检测和谱分布,验证了该量测大数据的建模方法的有效性与适用性。展开更多
随着传感器网络环境监控应用的发展,传感器网络测量数据的异常检测近年来受到学术界和工业界的高度关注。提出一种基于DBSCAN(Density-Based Spatial Clustering of Application with Noise)的异常数据检测方法,该方法利用距离定义数据...随着传感器网络环境监控应用的发展,传感器网络测量数据的异常检测近年来受到学术界和工业界的高度关注。提出一种基于DBSCAN(Density-Based Spatial Clustering of Application with Noise)的异常数据检测方法,该方法利用距离定义数据的相似度进行划分聚类,使用DBSCAN算法提取环境特征集,并根据特征集对异常数据进行检测。最后,基于真实的传感器网络完成了多组实验,实验结果表明该方法能够实时准确地检测出异常数据。展开更多
文摘为提高浮动车数据中异常数据检测能力及不同载客状态下的模型检测分析能力,提出基于S-DTA-IIForest(Summation&Difference Third Order Average&Improvement-Isolation Forest)的浮动车数据异常检测算法。构建由相邻两项求和(S)、三阶求和平均差分(DTA)的二维度空间SDTA特征向量;提出差额累计更新和动态区分辨识的改进孤立森林IIForest算法,通过设置停止阈值参数,避免当出现新样本异常值分数大于停止阈值时,仅更新样本不更新孤立森林模型的问题,设计每个二叉树区分辨识度参数,区分辨识度位于停止区间时停止二叉树生长,提高算法收敛性能,以ROC(Receiver Operating Characteristic)曲线下面积AUC(Area Under ROC Cure)、F1-score为指标对模型精度进行对比分析,并以重庆市中心城区学府大道开展实例验证。结果表明:本文S-DTA-IIForest组合算法AUC、F1-score分别为86.63%、0.89,AUC较传统孤立森林IForest(Isolation Forest)提高32.4%,运行效率提高1.29%,具有收敛速度更快、精度更高的优势,载客条件下模型AUC、F1-score较未载客分别提高7.7%、10.8%,组合算法对载客数据有更高的检测精度,且未载客状态数据异常率较载客状态增加71.4%,未载客数据异常率更高。
文摘随着互联电网运行方式的愈加复杂多变以及广域量测系统部署的越来越完善,以广域测量系统(wide area measurement system,WAMS)量测大数据为基础的实时稳定分析成为必然要求。与此同时,如何对全网多节点毫秒级海量WAMS大数据进行时空同步处理和异常数据检测,成为阻碍其发挥更大作用的关键问题。因此,该文提出基于高维随机矩阵描述的WAMS量测大数据建模与分析方法。首先在对WAMS量测数据时空特性分析的基础上,根据高维随机矩阵理论,进行了WAMS量测大数据的高维随机矩阵模型构建,然后推导了其异常数据检测理论和方法,最后在仿真算例上模拟实测量测数据,通过对比不同异常时刻量测数据的Trace检测和谱分布,验证了该量测大数据的建模方法的有效性与适用性。
文摘随着传感器网络环境监控应用的发展,传感器网络测量数据的异常检测近年来受到学术界和工业界的高度关注。提出一种基于DBSCAN(Density-Based Spatial Clustering of Application with Noise)的异常数据检测方法,该方法利用距离定义数据的相似度进行划分聚类,使用DBSCAN算法提取环境特征集,并根据特征集对异常数据进行检测。最后,基于真实的传感器网络完成了多组实验,实验结果表明该方法能够实时准确地检测出异常数据。
