基于相关性分析和生成对抗网络的电网缺失数据填补方法 被引量：7

1

作者 蔡榕 杨雪 +2 位作者 田江 赵奇 王毅 《电力工程技术》 北大核心 2024年第1期229-237,共9页

城市电网新型电力系统中多元资源增多,数据采集难度加大,导致数据随机缺失率升高,难以满足精细化分析决策需求。为解决新型电力系统中配网量测数据在采集与传输过程中频发的缺失问题,文中提出一种基于波动互相关分析(fluctuation cross-... 城市电网新型电力系统中多元资源增多,数据采集难度加大,导致数据随机缺失率升高,难以满足精细化分析决策需求。为解决新型电力系统中配网量测数据在采集与传输过程中频发的缺失问题,文中提出一种基于波动互相关分析(fluctuation cross-correlation analysis,FCCA)算法和生成对抗网络(generative adversarial network,GAN)的电网缺失数据填补方法。首先,融合FCCA算法提出强相关性电网数据多维特征提取方法;其次,基于核主成分分析(kernel principal component analysis,KPCA)对多维特征数据集进行降维处理;最后,设计改进型GAN结构,融合电网数据多维特征对低维向量进行重构,实现缺失数据填补。算例采用真实电网数据进行算法验证,并在某城市电网试运行。结果表明,所提方法比传统数据填补方法具有更高填补精度。因此,在新型电力系统中量测数据连续缺失和缺失量较大的情况下,融合强相关性特征进行数据填补,对提升量测数据的完整性和可用性有明显优势。 展开更多

关键词 新型电力系统 波动互相关分析(FCCA) 多维特征 生成对抗网络(GAN) 缺失数据 核主成分分析(KPCA) 智能填补

在线阅读 下载PDF 职称材料

数据挖掘中基于ICA的缺失数据值的估计 被引量：9

2

作者 彭红毅 朱思铭 蒋春福 《计算机科学》 CSCD 北大核心 2005年第12期203-205,共3页

本文简单介绍了数据挖掘中缺失数据的研究现状及ICA的特点与发展前景,提出了基于ICA的缺失数据估计模型——ICA-MDH模型。该模型研究了数据之间存在相关关系且为非高斯分布时缺失数据的处理方法,该方法能充分利用已知数据记录中的已知信... 本文简单介绍了数据挖掘中缺失数据的研究现状及ICA的特点与发展前景,提出了基于ICA的缺失数据估计模型——ICA-MDH模型。该模型研究了数据之间存在相关关系且为非高斯分布时缺失数据的处理方法,该方法能充分利用已知数据记录中的已知信息,且具有较好的通用性。实验通过对一些不完整经济数据进行了处理。结果表明,本文提出的缺失数据估计方法的精度明显优于平均值法和PCAs法,从而验证了本文所提模型的正确性与合理性。 展开更多

关键词 缺失数据 ICA 相关关系 高斯分布

在线阅读 下载PDF 职称材料

基于相对主元分析的故障检测与诊断方法 被引量：3

3

作者 胡静 刘荣利 文成林 《弹箭与制导学报》 CSCD 北大核心 2007年第3期329-331,334,共4页

针对传统主元分析(PCA)在实际监控过程中存在的问题,文中提出相对主元(RPC)的概念,并建立了一种相对主元分析方法(RPCA)。RPCA在有效处理丢失数据及异常点问题的同时,能够根据各分量在系统中的不同重要性,赋以相应的权值,从而达到建立... 针对传统主元分析(PCA)在实际监控过程中存在的问题,文中提出相对主元(RPC)的概念,并建立了一种相对主元分析方法(RPCA)。RPCA在有效处理丢失数据及异常点问题的同时,能够根据各分量在系统中的不同重要性,赋以相应的权值,从而达到建立相对精确的RPC模型进行故障检测和诊断的目的。与传统方法相比,RPCA可以克服其在实际故障检测时能力的不足。给出的计算机仿真实验证明了该方法的有效性和实用性。 展开更多

关键词 相对主元分析 故障检测 异常点 数据丢失

在线阅读 下载PDF 职称材料

实时燃烧诊断系统中缺失数据的处理 被引量：3

4

作者 张清宇 严建华 +5 位作者 倪明江 王飞 马增益 白卫东 林彬 岑可法 《动力工程》 CSCD 北大核心 2004年第2期222-226,共5页

运用EM(PCA)算法来处理不完整电厂运行参量数据空间。电厂运行是一种典型的多变量被控对象,鉴于PCA方法是一种探讨多变量数据空间的有效方法,对于电厂的多变量参量的监控非常适合。但由于电厂运行复杂,时常造成各种传感器失常或变量数... 运用EM(PCA)算法来处理不完整电厂运行参量数据空间。电厂运行是一种典型的多变量被控对象,鉴于PCA方法是一种探讨多变量数据空间的有效方法,对于电厂的多变量参量的监控非常适合。但由于电厂运行复杂,时常造成各种传感器失常或变量数值超过范围,从而无法得到完整的数据空间。通过对各种方法的比较选择EM(PCA)方法成功地解决了这一问题。为了验证算法,分别对具有不同缺失率的数据运用此法,成功地预测了缺失值并较为准确地把原本不完整的数据空间分解为主成分空间和噪声空间。此方法为今后运用主元分析方法建立燃烧诊断系统对电厂燃烧稳定性、经济性实时监测打下基础。 展开更多

关键词 自动控制技术 主元分析方法(PCA) 燃烧诊断 EM算法 缺失数据

在线阅读 下载PDF 职称材料

基于主成分分析和长短期记忆网络的滑坡地表位移监测数据缺失插补算法 被引量：6

5

作者 张坤 肖慧 +2 位作者 徐哈宁 胡佳超 范凌峰 《科学技术与工程》 北大核心 2023年第26期11129-11135,共7页

在滑坡地表位移监测过程中,由于设备工作异常或恶劣气候的干扰,原始数据会随机出现长时间序列的缺失,这类数据对滑坡的预警和预测有很大的影响。针对上述问题,提出了一种基于主成分分析(principal component analysis,PCA)和长短期记忆... 在滑坡地表位移监测过程中,由于设备工作异常或恶劣气候的干扰,原始数据会随机出现长时间序列的缺失,这类数据对滑坡的预警和预测有很大的影响。针对上述问题,提出了一种基于主成分分析(principal component analysis,PCA)和长短期记忆网络(long-short term memory,LSTM)的数据插补方法。首先利用PCA实现滑坡监测数据的降维和特征提取,消除数据间的相关性,然后建立基于LSTM的地表位移监测数据插补模型,对缺失数据进行插补。实验结果表明:该模型与BP(back propagation)神经网络等其他几种机器学习插补模型相比,平均绝对误差、均方根误差和平均绝对百分比误差分别为0.523、1.233和0.009,均优于其他几种模型;该模型能够较好地解决地表位移长时间序列数据缺失的问题。 展开更多

关键词 滑坡地表位移 缺失数据插补 主成分分析 长短期记忆网络

在线阅读 下载PDF 职称材料

概率二维主分量分析

6

作者 卿湘运 王行愚 《自动化学报》 EI CSCD 北大核心 2008年第3期353-359,共7页

二维主分量分析是一种直接面向图像矩阵表达方式的特征抽取与降维方法.提出了一个基于二维主分量分析的概率模型.首先,通过对此产生式概率模型参数的最大似然估计得到主分量(矢量);然后,考虑到缺失数据问题,利用期望最大化算法迭代估计... 二维主分量分析是一种直接面向图像矩阵表达方式的特征抽取与降维方法.提出了一个基于二维主分量分析的概率模型.首先,通过对此产生式概率模型参数的最大似然估计得到主分量(矢量);然后,考虑到缺失数据问题,利用期望最大化算法迭代估计模型参数和主分量.混合概率二维主分量分析模型在人脸聚类问题上的应用表明概率二维主分量分析模型能作为图像矩阵的密度估计工具.含有缺失值的人脸图像重构实验阐述了此模型及迭代算法的有效性. 展开更多

关键词 主分量分析 二维主分量分析 期望最大化算法 缺失数据

在线阅读 下载PDF 职称材料

基于潜变量自回归算法的化工过程动态监测方法 被引量：7

7

作者 唐俊苗 俞海珍 +1 位作者 史旭华 童楚东 《化工学报》 EI CAS CSCD 北大核心 2019年第3期987-994,共8页

从建立潜变量自回归(AR)模型的角度出发,提出了一种基于潜变量自回归(LVAR)算法的化工过程动态建模与监测方法,旨在提取动态潜变量的同时给出各潜变量的AR模型。LVAR算法在最小化潜变量的AR模型残差的约束下,通过同时搜寻投影变换向量... 从建立潜变量自回归(AR)模型的角度出发,提出了一种基于潜变量自回归(LVAR)算法的化工过程动态建模与监测方法,旨在提取动态潜变量的同时给出各潜变量的AR模型。LVAR算法在最小化潜变量的AR模型残差的约束下,通过同时搜寻投影变换向量与AR系数向量,实现了对动态潜变量的特征提取及其AR模型的建立。此外,LVAR算法通过先提取动态潜变量后提取静态成分信息的方式,有效地区分了采样数据中的自相关性与交叉相关性。在对比实验中,通过比较分析LVAR方法与其他三种典型的动态过程监测方法在经典化工过程对象上的故障监测结果,验证了LVAR方法在动态过程监测上的优越性与可靠性。 展开更多

关键词 主成分分析 故障检测 缺失数据 过程系统

在线阅读 下载PDF 职称材料

基于概率主成分分析的结构健康监测数据修复方法研究 被引量：13

8

作者 马帜 罗尧治 +3 位作者 万华平 YUN C B 沈雁彬 俞峰 《振动与冲击》 EI CSCD 北大核心 2021年第21期135-141,167,共8页

结构健康监测愈来愈成为结构损伤演化行为研究的有效手段和运营安全保障的重要技术。在长期监测过程中,由于监测设备故障、供能中断、数据传输故障等诸多因素存在,监测数据缺失情况不可避免。修复缺失数据有助于保证监测数据的完整性和... 结构健康监测愈来愈成为结构损伤演化行为研究的有效手段和运营安全保障的重要技术。在长期监测过程中,由于监测设备故障、供能中断、数据传输故障等诸多因素存在,监测数据缺失情况不可避免。修复缺失数据有助于保证监测数据的完整性和可靠性。引入了概率主成分分析方法对结构健康监测数据进行修复,该方法无需对完整数据进行训练,尤其适用于完整数据较少、多测点存在数据缺失的情况。概率主成分分析方法能估计修复数据的不确定性水平,给出相应的置信区间。武夷山旋转观众席结构的监测数据用来验证方法的有效性,并与传统主成分分析、多元线性回归法、K最近邻法和压缩传感方法四种数据修复方法对比。结果表明,概率主成分分析方法在不同缺失工况和不同缺失率下的修复效果均最佳。 展开更多

关键词 概率主成分分析(PPCA) 缺失数据修复 结构健康监测(SHM) 最大期望(EM)算法 旋转观众席结构

在线阅读 下载PDF 职称材料

三维荧光光谱结合组合算法在环境污染监测中的应用：油种鉴别与定量分析（英文） 被引量：6

9

作者 陈至坤 黄微 +3 位作者 程朋飞 沈小伟 王福斌 王玉田 《光谱学与光谱分析》 SCIE EI CAS CSCD 北大核心 2019年第10期3313-3320,共8页

针对油类污染物成分复杂,光谱重叠难以识别的问题,提出采用三维荧光光谱结合组合算法对油类污染物进行了定性和定量分析。荧光光谱中存在的瑞利散射对三维荧光光谱检测有较大影响,提出了缺损数据修复-主成分分析(MDR-PCA)方法对矿物油... 针对油类污染物成分复杂,光谱重叠难以识别的问题,提出采用三维荧光光谱结合组合算法对油类污染物进行了定性和定量分析。荧光光谱中存在的瑞利散射对三维荧光光谱检测有较大影响,提出了缺损数据修复-主成分分析(MDR-PCA)方法对矿物油三维荧光光谱的瑞利散射进行处理,原理是单个荧光光谱激发发射矩阵符合双线性,可用主成分分析(PCA)法来解析。MDR-PCA法首先将荧光数据中的散射干扰数据全部扣除,之后利用主成分分析(PCA)迭代过程对扣除数据进行重构修复后补全数据。该方法在消除散射干扰的同时充分利用了荧光物质光谱矩阵中的有效信息。利用不同浓度的矿物油的激发-发射荧光光谱构建了三维数据。样品数据来源于柴油、汽油和煤油三种溶质的四氯化碳溶液。常用于三维荧光光谱数据分析的三线性分解算法有平行因子分析(PARAFAC)、交替三线性分解(ATLD)和自加权交替三线性分解算法(SWATLD)等。PARAFAC基于严格意义上的最小二乘原则,具有抗噪声强、模型稳定、微小预期误差等优点,可以实现三维数据阵列的最佳拟合,但该算法收敛速度较慢,对组分数敏感。ATLD算法通过提取对角主元和切尾奇异值求解广义逆,极大提高了收敛速度并降低了对组分数的敏感度,从而实现三线性分解。然而,取对角元时易使ATLD方法对噪声敏感。SWATLD算法既继承了对组分数不敏感、收敛速度快等优点,又降低了噪声水平的影响。但是在抗共线程度方面,SWATLD算法在抵抗共线性程度方面的能力较ATLD略有降低。基于此,论文根据三线性分解算法迭代过程中损失函数的变化,对迭代过程进行划分,提出了三线性迭代方法的组合算法(algorithm combination methodology,ACM)—将ATLD,SWATLD与PARAFAC组合在一起,充分发挥各算法的优点,实现二阶校正算法的优势互补。采用ACM算法对两组分及三组分矿物油样品的三维荧光光谱数据进行解析,并对三种矿物油的回收率进行了计算。柴油的回收率为97.08%,汽油的回收率为97.34%,煤油的回收率为97.25%。解析光谱和回收率表明,ACM算法能够实现油类污染物的种类识别及浓度测量。 展开更多

关键词 三维荧光光谱 组合算法 缺损数据修复-主成分分析 组分数 回收率

在线阅读 下载PDF 职称材料

基于核主成分分析和粒子群优化支持向量机的统计数据缺失值插补 被引量：5

10

作者 吴桐雨 吴少雄 《统计与决策》 CSSCI 北大核心 2018年第8期21-24,共4页

文章利用核主成分分析法对统计数据进行特征提取,将获得的主成分作为最小二乘支持向量机的特征向量建立支持向量机模型,应用粒子群算法对最小二乘支持向量机参数进行优化,并应用于福建省流通产业统计数据的缺失值插补。研究结果表明,应... 文章利用核主成分分析法对统计数据进行特征提取,将获得的主成分作为最小二乘支持向量机的特征向量建立支持向量机模型,应用粒子群算法对最小二乘支持向量机参数进行优化,并应用于福建省流通产业统计数据的缺失值插补。研究结果表明,应用核主成分分析与粒子群优化最小二乘支持向量机的方法具有较高的的精度,可以应用于统计数据缺失值的插补。 展开更多

关键词 统计数据缺失 核主成分分析 粒子群优化 支持向量机 插补

在线阅读 下载PDF 职称材料

基于DPCA-IM的动态过程监测方法 被引量：1

11

作者 孟生军 童楚东 《计算机应用研究》 CSCD 北大核心 2021年第1期175-178,共4页

动态主成分分析(DPCA)通过增广矩阵或向量的方式来挖掘采样数据间的时序自相关性。然而,DPCA对自相关的特征成分与残差直接实施监测是不合理的,故其故障检测效果较差。为了剔除采样数据的自相关性以提高故障检测效果,提出一种基于估计... 动态主成分分析(DPCA)通过增广矩阵或向量的方式来挖掘采样数据间的时序自相关性。然而,DPCA对自相关的特征成分与残差直接实施监测是不合理的,故其故障检测效果较差。为了剔除采样数据的自相关性以提高故障检测效果,提出一种基于估计误差的动态过程监测方法。首先,通过逐个假设各个过程变量的测量数据缺失,并在已建立的DPCA模型中引入迭代方法(IM)计算得到相应变量缺失数据的估计值。由于该估计值在仅缺失一个变量数据的条件下能较大程度地逼近原测量数据,两者之差(即估计误差)不再存在显著的自相关性,而且该估计误差的变化可直接反映出采样数据变化情况的异常,所以可利用估计误差监测动态过程。最后,通过两个动态过程实例,即动态数值仿真过程与田纳西—伊斯曼(TE)标准测试平台的仿真结果表明,该方法能剔除采样数据间的自相关性,并能有效地提高故障检测效果,验证了该方法不仅可行,而且具有良好的优越性。 展开更多

关键词 动态主成分分析 估计误差 自相关性 缺失数据

在线阅读 下载PDF 职称材料