基于梯度惩罚生成对抗网络的配电网缺失数据修复方法

1

作者 吕朋蓬 卜强生 +1 位作者 郭野 罗飞 《太阳能学报》 北大核心 2025年第5期185-192,共8页

提出一种基于梯度惩罚生成对抗网络的配电网缺失数据修复方法。针对配电网数据特点设计生成器和判别器的结构及参数,并在生成对抗网络训练中引入梯度惩罚项以提高收敛性能。该方法仅以数据驱动,通过无监督学习理解数据中难以表征的高维... 提出一种基于梯度惩罚生成对抗网络的配电网缺失数据修复方法。针对配电网数据特点设计生成器和判别器的结构及参数,并在生成对抗网络训练中引入梯度惩罚项以提高收敛性能。该方法仅以数据驱动,通过无监督学习理解数据中难以表征的高维、非线性特征,不需要配电网的具体拓扑结构建模,提高了数据修复方法的适用性。算例结果表明该方法与传统生成对抗网络相比具有更高的修复精度,在数据缺失比例为10%时,数据修复精度提高18.9%。 展开更多

关键词 电网功率测量 大数据 生成对抗网络 无监督学习 缺失数据修复

在线阅读 下载PDF 职称材料

基于上下文感知实体排序的缺失数据修复方法 被引量：3

2

作者 陈肇强 李佳俊 +3 位作者 蒋川 刘海龙 陈群 李战怀 《计算机学报》 EI CSCD 北大核心 2015年第9期1755-1766,共12页

大数据环境下,数据缺失现象十分普遍,导致许多基于数据的决策出现偏差.传统的数据库缺失值修复方法主要是利用本地数据库来修复数值型数据,这些方法并不适用于利用互联网数据来修复数值型和非数值型数据.基于互联网的缺失值修复过程一... 大数据环境下,数据缺失现象十分普遍,导致许多基于数据的决策出现偏差.传统的数据库缺失值修复方法主要是利用本地数据库来修复数值型数据,这些方法并不适用于利用互联网数据来修复数值型和非数值型数据.基于互联网的缺失值修复过程一般包括生成查询、检索文档集、抽取实体、实体排序4个步骤,其中候选实体的排序决定了最终用于修复数据库的信息.现有的利用互联网数据来修复缺失数据的研究主要集中在两个方面:一是提升查询和抽取的质量,然后对抽取的候选实体按频率进行排序;另一种是分析目标实体应该具有的特征,然后对候选实体计算特征值,最后用权值叠加进行排序.这两类方法都只是考虑了实体自身的因素,而忽略了实体之间的影响.文中针对候选实体的排序建立了图模型,基于该图模型提出了上下文相关的实体排序算法CER(Contextaware Entity Ranking),该算法能够把候选实体在网页中的上下文特征充分利用起来并用实体间的影响来推断新信息,从而得到更准确的排序结果.基于真实数据集的实验结果表明,相较于频率统计和权值叠加的实体排序算法,CER算法能利用互联网的海量数据对关系数据库中的缺失值进行更加有效的修复. 展开更多

关键词 数据库缺失值修复 互联网 图 实体排序

在线阅读 下载PDF 职称材料

基于随机森林和最近邻插值法的交通流量数据修复方法

3

作者 汤伟 漆苏应 +1 位作者 杨晓东 李国强 《科学技术与工程》 北大核心 2024年第32期14056-14065,共10页

针对目前传感器在采集数据过程中由于受到天气或者自身设备故障等原因,造成数据缺失或者数据异常,导致不能从采集的数据中获得准确的交通变化规律等问题,分别提出基于改进最近邻插值算法和基于随机森林插补的交通流量数据缺失修复模型... 针对目前传感器在采集数据过程中由于受到天气或者自身设备故障等原因,造成数据缺失或者数据异常,导致不能从采集的数据中获得准确的交通变化规律等问题,分别提出基于改进最近邻插值算法和基于随机森林插补的交通流量数据缺失修复模型。由于交通数据缺失场景和缺失类型以及时空关联的差异性,将数据缺失类型划分为简单随机缺失和复杂连续缺失两种;利用改进的最近邻插值算法建立模型处理简单随机缺失,建立随机森林模型进行迭代插补处理复杂连续缺失;面对两种不同的数据缺失类型,利用期望最大化算法、深度信念网络、季节性差分自回归滑动平均模型分别搭建模型对比交叉验证改进的最近邻插值算法和随机森林插补方法。数据来源于美国加利福尼亚州PeMS(performance measurement system)实时采集的2022年6月1日—2022年7月31日以5 min为采样时间间隔的交通流量数据,为了模拟数据的缺失状况,将完整数据按照一定比例进行缺失,来模拟数据缺数的情况,得到简单随机缺失和复杂连续缺失分布的交通流量缺失数据集。结果表明:本实验在不同的缺失比例下均有良好的表现,通过设计不同的缺失比例和类型,各项评估指标均有明显优势,验证了两种数据缺失填充模型的有效性。 展开更多

关键词 智能交通 缺失数据修复 随机森林(RF) 最近邻插值算法 交通运营管理

在线阅读 下载PDF 职称材料

改进的固定交通检测器缺失数据综合修复方法 被引量：9

4

作者 苗旭 王忠宇 +1 位作者 邹亚杰 吴兵 《同济大学学报（自然科学版）》 EI CAS CSCD 北大核心 2019年第10期1477-1484,共8页

基于检测器数据的时空相关性,为缺失数据修复模型动态地选择解释变量,在综合考虑检测器数据的周期性趋势和实时变化特性的基础上,提出了一种改进的缺失数据修复方法.对上海市南北高架的线圈流量数据进行数据修复精度测试.结果表明,相较... 基于检测器数据的时空相关性,为缺失数据修复模型动态地选择解释变量,在综合考虑检测器数据的周期性趋势和实时变化特性的基础上,提出了一种改进的缺失数据修复方法.对上海市南北高架的线圈流量数据进行数据修复精度测试.结果表明,相较于传统的支持向量回归(SVR)模型,该方法在3个测试检测器上的数据修复平均绝对误差分别减小了3.80%、3.40%、25.23%,并且在数据连续缺失1~10个时平均绝对百分比误差均低于6%. 展开更多

关键词 交通运输系统工程 缺失数据修复 周期性 支持向量回归(SVR)

在线阅读 下载PDF 职称材料

基于FSOM神经网络的电能质量数据缺失修复算法 被引量：24

5

作者 杨挺 何周泽 +5 位作者 赵东艳 盆海波 姜含 蔡绍堂 原义栋 蔡玉朋 《电网技术》 EI CSCD 北大核心 2020年第5期1941-1949,共9页

电力物联网承载的电气量测数据在采集、传输、转换等各个环节中受到干扰而导致数据出现缺失,影响状态估计精度和系统稳定运行。针对传统修复策略仅考虑一维量测数据横向分布规律造成数据修复精度较低的不足之处,充分考虑电力系统量测数... 电力物联网承载的电气量测数据在采集、传输、转换等各个环节中受到干扰而导致数据出现缺失,影响状态估计精度和系统稳定运行。针对传统修复策略仅考虑一维量测数据横向分布规律造成数据修复精度较低的不足之处,充分考虑电力系统量测数据缺失点的邻域数据以及量测数据的周期性变化规律,提出一种基于模糊自组织(fuzzy self organizing map,FSOM)神经网络的电能质量量测缺失数据修复方法。首先,通过将电能质量一维测量数据映射为二维灰度图像,提升数据间的时-空相关性解析。进而采用人工智能FSOM神经网络算法对原始数据进行聚类,析构出数据的多层特征值,进行对聚类后数据的分层修复。最后,以劳伦斯伯克利国家实验室实测电能质量数据为基础实验验证FSOM算法性能。实验结果表明,无论是在随机缺失还是连续缺失情况下,提出的FSOM修复算法比现有算法在数据低丢失率和高丢失率下都有更低的修复误差和更高的信噪比。 展开更多

关键词 FSOM神经网络 量测数据 二维映射 缺失数据修复

在线阅读 下载PDF 职称材料

基于交通流数据修复的GA-RF方法研究 被引量：6

6

作者 邵毅明 甘元艺 +1 位作者 侯雨彤 钟颖 《重庆理工大学学报（自然科学）》 CAS 北大核心 2021年第6期29-36,共8页

城市道路交通中交通检测器获得的数据往往不完整,存在缺失现象,需要对其进行修复,以保证交通流预测模型的实际应用精度。现阶段随机森林(RF)方法主要应用于交通流预测方面,在交通流数据修复方面的应用和研究较少。针对低缺失比例的交通... 城市道路交通中交通检测器获得的数据往往不完整,存在缺失现象,需要对其进行修复,以保证交通流预测模型的实际应用精度。现阶段随机森林(RF)方法主要应用于交通流预测方面,在交通流数据修复方面的应用和研究较少。针对低缺失比例的交通流数据修复提出了GA-RF模型的缺失数据修复方法,采用遗传算法(GA)对RF模型进行优化调参,用优化后的GA-RF模型修复交通流缺失数据,并将修复效果和其他修复方法进行比较。实验结果表明:在少量数据缺失情况下,所提出的GA-RF方法能很好地实现路段交通流缺失数据修复,且修复精度高于同等缺失比例的RF方法、历史均值法以及历史相邻加权法。 展开更多

关键词 交通流 随机森林 遗传算法 缺失数据修复

在线阅读 下载PDF 职称材料

基于改进生成对抗网络的台区采集数据修复 被引量：9

7

作者 刘科研 周方泽 +1 位作者 周晖 王存平 《电网技术》 EI CSCD 北大核心 2022年第8期3231-3239,共9页

低压配电网台区位于输配电系统的末端,是开展配电系统管控的基础环节。受不可抗力的影响,台区终端采集数据普遍存在缺失值,整体数据质量较差,进而影响信息的正确性和决策分析的准确度。传统的数据修复方法忽略了台区数据的周期性和时序... 低压配电网台区位于输配电系统的末端,是开展配电系统管控的基础环节。受不可抗力的影响,台区终端采集数据普遍存在缺失值,整体数据质量较差,进而影响信息的正确性和决策分析的准确度。传统的数据修复方法忽略了台区数据的周期性和时序性,修复精度较低。该文提出一种基于生成对抗网络(generative adversarial network,GAN)的配电网台区缺失采集数据修复模型,改进了GAN网络的结构,为判别器额外设计了提示机制,使其能够尽可能地利用未缺失信息,潜在地拟合原始数据的分布特征。所提出的方法不需要利用完整的数据集进行训练,整体运行在无监督的环境下,更适用于复杂的生产实际,实验结果表明,所提方法能够高精度地对台区缺失数据进行修复。 展开更多

关键词 配电网 低压台区 缺失数据修复 生成对抗网络

在线阅读 下载PDF 职称材料

基于概率主成分分析的结构健康监测数据修复方法研究 被引量：13

8

作者 马帜 罗尧治 +3 位作者 万华平 YUN C B 沈雁彬 俞峰 《振动与冲击》 EI CSCD 北大核心 2021年第21期135-141,167,共8页

结构健康监测愈来愈成为结构损伤演化行为研究的有效手段和运营安全保障的重要技术。在长期监测过程中,由于监测设备故障、供能中断、数据传输故障等诸多因素存在,监测数据缺失情况不可避免。修复缺失数据有助于保证监测数据的完整性和... 结构健康监测愈来愈成为结构损伤演化行为研究的有效手段和运营安全保障的重要技术。在长期监测过程中,由于监测设备故障、供能中断、数据传输故障等诸多因素存在,监测数据缺失情况不可避免。修复缺失数据有助于保证监测数据的完整性和可靠性。引入了概率主成分分析方法对结构健康监测数据进行修复,该方法无需对完整数据进行训练,尤其适用于完整数据较少、多测点存在数据缺失的情况。概率主成分分析方法能估计修复数据的不确定性水平,给出相应的置信区间。武夷山旋转观众席结构的监测数据用来验证方法的有效性,并与传统主成分分析、多元线性回归法、K最近邻法和压缩传感方法四种数据修复方法对比。结果表明,概率主成分分析方法在不同缺失工况和不同缺失率下的修复效果均最佳。 展开更多

关键词 概率主成分分析(PPCA) 缺失数据修复 结构健康监测(SHM) 最大期望(EM)算法 旋转观众席结构

在线阅读 下载PDF 职称材料

基于时序信号图像编码和生成对抗网络的配电网台区数据修复 被引量：14

9

作者 刘科研 周方泽 周晖 《电力系统保护与控制》 EI CSCD 北大核心 2022年第24期129-136,共8页

受不可抗力影响,配电网低压台区数据中普遍存在缺失值,整体数据质量较差,限制了台区的精益化管理水平。传统的数据修复方法忽略了数据的周期性和时序性,修复精度较低。提出了一种基于图像编码和生成对抗网络的台区缺失数据修复方法。首... 受不可抗力影响,配电网低压台区数据中普遍存在缺失值,整体数据质量较差,限制了台区的精益化管理水平。传统的数据修复方法忽略了数据的周期性和时序性,修复精度较低。提出了一种基于图像编码和生成对抗网络的台区缺失数据修复方法。首先引入了一种一维时序信号编码图像预处理方法,将原始的时序信号转换为格拉姆角场图像,然后利用卷积神经网络在图像特征提取上的强大优势构建了生成对抗网络模型。结合像素损失和相似性损失的双重约束条件增强了生成图像的质量。整体流程由数据驱动,无需先验知识的分布假设与显式物理建模。最后的算例结果表明,该方法能够较为精确地实现台区缺失数据的修复。 展开更多

关键词 配电网 缺失数据修复 生成对抗网络 格拉姆角场

在线阅读 下载PDF 职称材料

基于双向循环插补网络的分布式光伏集群时序数据耦合增强方法 被引量：1

10

作者 廖若愚 刘友波 +3 位作者 沈晓东 高红均 唐冬来 刘俊勇 《电网技术》 EI CSCD 北大核心 2024年第7期2784-2794,I0042-I0048,共18页

分布式光伏点多面广、局部渗透率高、安装环境复杂多变,真实可靠的量测数据是其性能分析、出力预测、运维调控的基础。然而,传感器故障和通信堵塞等因素会造成量测值缺失,恶化原始数据质量,进而影响配电网运行决策的准确性。传统数据修... 分布式光伏点多面广、局部渗透率高、安装环境复杂多变,真实可靠的量测数据是其性能分析、出力预测、运维调控的基础。然而,传感器故障和通信堵塞等因素会造成量测值缺失,恶化原始数据质量,进而影响配电网运行决策的准确性。传统数据修复方法只考虑单一量测值的分布特征,忽略了多维时序数据的潜在耦合关系,修复精度有限。为此,该文提出一种基于双向多阶段循环插补网络和Seq2SeqAttention的时序数据耦合增强方法,改进了循环插补网络的结构,并引入衰减机制,能利用少量未缺失数据,潜在地挖掘原始数据的整体分布规律,一次性对多个光伏场站完成高质量数据修复。实验结果表明,所提方法在高比例缺失情况下仍有良好的修复性能,可明显增强分布式光伏集群的基础数据质量,提升电网运营商对光伏集群的细粒度感知能力。 展开更多

关键词 缺失数据修复 双向循环插补网络 耦合时序数据 分布式光伏集群

在线阅读 下载PDF 职称材料

基于残差连接长短期记忆网络的时间序列修复模型 被引量：7

11

作者 钱斌 郑楷洪 +4 位作者 陈子鹏 肖勇 李森 叶纯壮 马千里 《计算机应用》 CSCD 北大核心 2021年第1期243-248,共6页

传统的时间序列缺失修复方法通常假设数据由线性动态系统产生,然而时间序列更多地表现为非线性。为此,提出了基于残差连接长短期记忆(LSTM)网络的时间序列修复模型,称为RSI-LSTM,用来有效捕获时间序列的非线性动态特性,并且挖掘缺失数... 传统的时间序列缺失修复方法通常假设数据由线性动态系统产生,然而时间序列更多地表现为非线性。为此,提出了基于残差连接长短期记忆(LSTM)网络的时间序列修复模型,称为RSI-LSTM,用来有效捕获时间序列的非线性动态特性,并且挖掘缺失数据和最近的非缺失数据之间的潜在关联。具体来说,就是采用LSTM网络对时间序列的非线性动态特性进行建模,同时引入残差连接来挖掘历史值与缺失值的联系,从而提升模型的修复能力。首先使用RSI-LSTM对单变量日供电量数据集的缺失数据进行修复,然后在第九届电工数学建模竞赛A题的电力负荷数据集上,引入气象因素作为RSI-LSTM的多变量输入,以提升模型对时间序列缺失值的修复效果。此外,使用了两个通用的多变量时间序列数据集以验证模型的缺失修复能力。实验结果表明,在单变量和多变量数据集上,RSI-LSTM的缺失值修复效果均优于LSTM,得到的均方误差(MSE)总体下降了10%。 展开更多

关键词 缺失数据修复 长短期记忆网络 残差连接 时间序列 时序依赖

在线阅读 下载PDF 职称材料