关于大坝监测数据质量评价因子及算法研究

1

作者 冯宇扬 李登华 +1 位作者 方博雅 丁勇 《现代电子技术》 北大核心 2025年第2期90-96,共7页

大坝监测数据是判断大坝运行安全的主要依据,为了鉴别数据优劣并选择出可信度较高的数据,文中构建一个大坝监测数据质量评价框架。针对测点之间的相关性、监测项目及仪器的特点,利用Kshape算法找出具有强相关性的测点,再通过相对偏移率... 大坝监测数据是判断大坝运行安全的主要依据,为了鉴别数据优劣并选择出可信度较高的数据,文中构建一个大坝监测数据质量评价框架。针对测点之间的相关性、监测项目及仪器的特点,利用Kshape算法找出具有强相关性的测点,再通过相对偏移率、相对平滑率、周期波动程度和精度修正率等评价因子对大坝监测数据进行评价;其次,结合混合蝙蝠算法优化后的长短期记忆网络对大坝监测数据进行分类,构建了大坝监测数据质量评价算法流程。以新疆某大坝监测数据为研究对象进行试验,结果表明所提出的大坝监测数据质量评价算法的准确率为94.33%,可为评价大坝监测数据质量提供有效的解决方法。 展开更多

关键词 大坝监测数据 评价因子 数据质量评价 长短期记忆网络 测点聚类 相关性分析

在线阅读 下载PDF 职称材料

基于Prophet-GMM的大坝监测数据异常检测算法 被引量：4

2

作者 孙政杰 丁勇 李登华 《人民黄河》 CAS 北大核心 2024年第3期132-135,142,共5页

大坝监测数据受环境等因素影响,往往存在异常数据,异常数据的检测对于大坝的正常运行起着不可或缺的作用,但是传统异常检测算法对于大坝监测数据往往达不到精度要求。提出了一种基于Prophet-GMM的异常检测算法,利用Prophet算法较好的拟... 大坝监测数据受环境等因素影响,往往存在异常数据,异常数据的检测对于大坝的正常运行起着不可或缺的作用,但是传统异常检测算法对于大坝监测数据往往达不到精度要求。提出了一种基于Prophet-GMM的异常检测算法,利用Prophet算法较好的拟合性能对大坝数据进行拟合,由拟合数据与实测数据求残差序列,再利用GMM算法对残差序列进行聚类,从而准确识别出异常值。结果表明:Prophet-GMM法对于不同类型的大坝监测数据都能准确识别出异常值,与传统检测算法相比,在查准率、查全率及准确率3个检测指标上,均有较为明显的提升。 展开更多

关键词 PROPHET GMM 大坝监测数据 异常检测

在线阅读 下载PDF 职称材料

孤立森林算法在大坝监测数据异常识别中的应用 被引量：20

3

作者 张海龙 范振东 陈敏 《人民黄河》 CAS 北大核心 2020年第8期154-157,168,共5页

大坝安全监测数据的可靠性和完整性是分析监测效应量变化规律、评判大坝运行性态的前提,有必要对大坝安全监测异常数据进行识别和清除,以提高监测数据质量。将适用于大数据处理的孤立森林算法应用于大坝监测异常数据识别中,首先通过小... 大坝安全监测数据的可靠性和完整性是分析监测效应量变化规律、评判大坝运行性态的前提,有必要对大坝安全监测异常数据进行识别和清除,以提高监测数据质量。将适用于大数据处理的孤立森林算法应用于大坝监测异常数据识别中,首先通过小波变换提取监测数据的趋势项,然后采用孤立森林算法对扣除趋势项的剩余量进行异常值识别。通过实例对比分析发现该方法能有效识别大坝监测数据的异常值。 展开更多

关键词 孤立森林 大坝监测数据 异常识别 小波变换

在线阅读 下载PDF 职称材料

分形学在大坝监测数据处理中的应用 被引量：7

4

作者 金永强 《合肥工业大学学报（自然科学版）》 CAS CSCD 北大核心 2006年第11期1430-1432,共3页

直接应用分形分布模型难以分析某些大坝的监测数据,这是因为这些数据往往存在着一定的非线性关系。在这种情况下,文章借助于变维分形的概念,将数据进行一系列变换,使变换后的数据能近似地与一条直线相吻合,从而可以用一般的常维分形来处... 直接应用分形分布模型难以分析某些大坝的监测数据,这是因为这些数据往往存在着一定的非线性关系。在这种情况下,文章借助于变维分形的概念,将数据进行一系列变换,使变换后的数据能近似地与一条直线相吻合,从而可以用一般的常维分形来处理;工程实际说明,用变维分形技术来处理大坝数据具有一定的实用价值。 展开更多

关键词 分形 大坝监测数据 非线性 变维分形

在线阅读 下载PDF 职称材料

基于稳健估计的大坝监测数据粗差识别方法 被引量：12

5

作者 赵泽鹏 陈建康 +2 位作者 张瀚 李艳玲 吴震宇 《水电能源科学》 北大核心 2018年第12期68-71,共4页

大坝安全管理已逐步由粗放型向信息化转化,然而传统的误差识别技术识别精度不高,造成大量异常数据进入原始信息库,导致后期分析结论的偏离,成为信息化建设的制约因素。为此,提出了基于稳健估计的大坝监测数据粗差识别方法,即以稳健MM回... 大坝安全管理已逐步由粗放型向信息化转化,然而传统的误差识别技术识别精度不高,造成大量异常数据进入原始信息库,导致后期分析结论的偏离,成为信息化建设的制约因素。为此,提出了基于稳健估计的大坝监测数据粗差识别方法,即以稳健MM回归替代传统建模方式,同时结合MCD稳健估计确定异常识别阈值,并实现了程序编制。实例应用结果表明,该方法能有效避免由于异常值存在而导致的模型崩溃及阈值失效,且识别更加可靠。 展开更多

关键词 大坝监测数据 3σ准则 MCD稳健估计 MM稳健回归

在线阅读 下载PDF 职称材料

大坝监测数据多维度LSTM异常检测与恢复 被引量：6

6

作者 熊敏 江德军 +2 位作者 高志良 何海锋 罗冲 《电子测量技术》 北大核心 2023年第6期51-56,共6页

大坝安全监测是大坝安全的重要保障,对监测数据进行异常检测与恢复可有效避免对大坝状态的错误估计和判断,具有重要现实意义。近年来基于深度学习方法的大坝监测数据异常检测受到广泛研究,但现存方法存在数据利用不足、信息挖掘不充分... 大坝安全监测是大坝安全的重要保障,对监测数据进行异常检测与恢复可有效避免对大坝状态的错误估计和判断,具有重要现实意义。近年来基于深度学习方法的大坝监测数据异常检测受到广泛研究,但现存方法存在数据利用不足、信息挖掘不充分等问题。因此,本文提出一种多维度LSTM异常检测与恢复方法,该方法用LSTM输入多个测点的大坝监测数据对单测点数据进行预测,有效利用了不同测点间的相关信息;最后利用拉依达准则对目标测点进行异常检测。本文利用大渡河瀑布沟水电站真空激光准直监测数据进行案例验证,通过与单维度的LSTM异常检测与恢复方法相比较,验证了所提方法能有效地检测数据异常和预测恢复正常数据,是一种有效的大坝监测数据异常检测与恢复方法。 展开更多

关键词 大坝监测数据 LSTM 拉依达准则 异常检测 数据恢复

在线阅读 下载PDF 职称材料

基于云概率密度分布估计的大坝监测数据分析 被引量：3

7

作者 魏庆宾 《人民长江》 北大核心 2015年第10期77-82,共6页

大坝运行监测易受自然环境和监测条件影响，存在时间和空间上的变异性，监测数据具有不确定性。以云理论的随机性和不确定性分析方法为基础，并与空间数据辐射思想相结合，建立了云滴概率密度分布估计模型，然后导出云概率密度分布函数... 大坝运行监测易受自然环境和监测条件影响，存在时间和空间上的变异性，监测数据具有不确定性。以云理论的随机性和不确定性分析方法为基础，并与空间数据辐射思想相结合，建立了云滴概率密度分布估计模型，然后导出云概率密度分布函数，依据样本监测数据推求母体空间数据的分布特征，并设计了基于逆向云算法云变换的计算程序。分析陆浑水库1979～1999年测压管监测数据和位移变形数据的云概率密度分布特征和云数字特征，得出了20a来大坝的数据分布特征和运行状态。监测数据分析结果表明，云概率密度分布估计不仅能有效合理地分析大坝的运行状态，而且能够依据云数字特征来判断监测状态和监测环境的异常变化。 展开更多

关键词 大坝监测数据 云概率密度 数据辐射 云数字特征

在线阅读 下载PDF 职称材料

基于EMD-ABOD的大坝异常监测数据识别方法研究 被引量：1

8

作者 杨兴富 刘得潭 +5 位作者 杨进 廖茂 杨川 顾昊 邵晨飞 吴斌庆 《水电能源科学》 北大核心 2024年第6期162-165,共4页

大坝监测数据普遍存在异常值,对异常数据进行识别和剔除,可保持模型的稳定性和可靠性,并提高模型的预测或分类性能;同时,可及时发现异常情况,以保证系统的安全运行。因此,将基于角度的异常值检测算法(ABOD)引入大坝监测异常数据识别,首... 大坝监测数据普遍存在异常值,对异常数据进行识别和剔除,可保持模型的稳定性和可靠性,并提高模型的预测或分类性能;同时,可及时发现异常情况,以保证系统的安全运行。因此,将基于角度的异常值检测算法(ABOD)引入大坝监测异常数据识别,首先通过经验模态分解(EMD)提取监测数据的高频本征函数,然后对由高频本征函数构成的新数据进行异常数据识别。对长河坝沉降监测数据的验证结果表明,与其他方法相比,EMD-ABOD可有效提升异常数据识别的准确性。 展开更多

关键词 大坝监测数据 异常数据 EMD ABOD

在线阅读 下载PDF 职称材料

基于相似测点对比的大坝变形监测数据粗差识别方法 被引量：3

9

作者 陈立秋 顾冲时 +2 位作者 邵晨飞 顾昊 高睿颖 《水利水电科技进展》 CSCD 北大核心 2024年第4期72-77,共6页

针对混凝土坝变形监测数据粗差检测方法难以区分粗差和环境突变引起的数据跳跃问题,提出了一种基于K-means++距离聚类算法分区,采用OPTICS密度聚类算法结合局部异常因子(LOF)算法识别监测数据中粗差的大坝变形监测数据粗差识别方法。该... 针对混凝土坝变形监测数据粗差检测方法难以区分粗差和环境突变引起的数据跳跃问题,提出了一种基于K-means++距离聚类算法分区,采用OPTICS密度聚类算法结合局部异常因子(LOF)算法识别监测数据中粗差的大坝变形监测数据粗差识别方法。该方法通过K-means++算法实现测点区域划分,联合使用OPTICS算法和LOF算法进行粗差确定,通过对比属于同一分区不同测点的粗差出现时间来判定真实粗差。算例分析结果表明,该方法能有效鉴别变形监测数据中由环境突变引起的数据跳跃,显著提高粗差识别的准确性,降低粗差误判率。 展开更多

关键词 大坝变形监测数据 粗差 环境变化 K-means++算法 OPTICS算法 LOF算法

在线阅读 下载PDF 职称材料

论大坝安全监测数据异常值的判断方法 被引量：14

10

作者 陶家祥 熊红阳 胡波 《三峡大学学报（自然科学版）》 CAS 2016年第6期15-17,41,共4页

大坝安全监测数据受到外界干扰因素较为复杂,即使通过数量统计、数学模型等方法相结合的方式已经判断该数据为异常值,也需要结合现场实际情况进一步综合判断.本文总结了大坝安全监测数据异常值处理的方法与步骤,通过工程算例表明该方法... 大坝安全监测数据受到外界干扰因素较为复杂,即使通过数量统计、数学模型等方法相结合的方式已经判断该数据为异常值,也需要结合现场实际情况进一步综合判断.本文总结了大坝安全监测数据异常值处理的方法与步骤,通过工程算例表明该方法与步骤是可行和有效的. 展开更多

关键词 大坝监测数据 格拉布斯法 异常值

在线阅读 下载PDF 职称材料

基于改进Prophet-LSTM-PSO的大坝异常数据检测模型

11

作者 葛大龙 丁勇 李登华 《中国安全科学学报》 北大核心 2025年第8期164-170,共7页

为提升大坝监测数据的异常检测性能,提出一种基于改进Prophet-长短期记忆(LSTM)-粒子群优化(PSO)的大坝异常数据检测模型。首先,通过改进Prophet法使得异常数据点位分解得到趋势分量特征;其次,将分解得到的趋势、周期和残差分量映射到... 为提升大坝监测数据的异常检测性能,提出一种基于改进Prophet-长短期记忆(LSTM)-粒子群优化(PSO)的大坝异常数据检测模型。首先,通过改进Prophet法使得异常数据点位分解得到趋势分量特征;其次,将分解得到的趋势、周期和残差分量映射到三维空间,以三维空间中近邻均值距离数据代替原始时序数据;最后,结合LSTM网络与PSO算法,设定与优化异常阈值,进而实现异常数据的精准识别。结果表明:相较于传统模型,该模型在检测效果上具有明显提升,且表现出较高的稳定性。在召回率稳定维持在95%以上的前提下,精确率与准确率均超过95%,验证了该方法的有效性与实用性。 展开更多

关键词 PROPHET 长短期记忆(LSTM) 粒子群优化(PSO) 异数据常检测 大坝监测数据

在线阅读 下载PDF 职称材料

基于数据重构与孤立森林法的大坝自动化监测数据异常检测方法 被引量：16

12

作者 赵新华 范振东 +1 位作者 何宇 查益华 《中国农村水利水电》 北大核心 2021年第9期174-178,共5页

大坝安全自动化采集的监测数据不可避免地存在粗差、缺测等问题,针对异常数据量值、数量以及分布规律的不确定性,人工删除异常值存在工作量大、主观性强等不足,提出一种基于数据重构与孤立森林法的异常数据检测方法,该方法是一种无监督... 大坝安全自动化采集的监测数据不可避免地存在粗差、缺测等问题,针对异常数据量值、数量以及分布规律的不确定性,人工删除异常值存在工作量大、主观性强等不足,提出一种基于数据重构与孤立森林法的异常数据检测方法,该方法是一种无监督的学习方法,不需要根据特征标签进行样本学习,适用范围较广。首先对大坝自动化监测数据进行分解与重构,分离出趋势项,而后用孤立森林算法对剩余项进行判别,计算测点的异常分数,并剔除明显的异常数据,最后再根据拉依达准则进一步清理异常数据。通过实例验证,该方法能较好检测出大坝安全自动化异常监测数据,满足工程实际应用。 展开更多

关键词 大坝自动化监测数据 异常检测 孤立森林 数据分解与重构 拉依达准则

在线阅读 下载PDF 职称材料