Owing to the wide range of applications in various fields,generative models have become increasingly popular.However,they do not handle spatio-temporal features well.Inspired by the recent advances in these models,thi...Owing to the wide range of applications in various fields,generative models have become increasingly popular.However,they do not handle spatio-temporal features well.Inspired by the recent advances in these models,this paper designs a distributed spatio-temporal generative adversarial network(STGAN-D)that,given some initial data and random noise,generates a consecutive sequence of spatio-temporal samples which have a logical relationship.This paper builds a spatio-temporal discriminator to distinguish whether the samples generated by the generator meet the requirements for time and space coherence,and builds a controller for distributed training of the network gradient updated to separate the model training and parameter updating,to improve the network training rate.The model is trained on the skeletal dataset and the traffic dataset.In contrast to traditional generative adversarial networks(GANs),the proposed STGAN-D can generate logically coherent samples with the corresponding spatial and temporal features while avoiding mode collapse.In addition,this paper shows that the proposed model can generate different styles of spatio-temporal samples given different random noise inputs,and the controller can improve the network training rate.This model will extend the potential range of applications of GANs to areas such as traffic information simulation and multiagent adversarial simulation.展开更多
现有的多数入侵检测模型通过长短期记忆(long short-term memory,LSTM)网络评估数据之间的时间依赖性。然而,LSTM网络处理序列数据增加了训练模型的计算复杂度和存储成本。为此,提出了基于多头注意力机制和时间卷积网络的无监督入侵检...现有的多数入侵检测模型通过长短期记忆(long short-term memory,LSTM)网络评估数据之间的时间依赖性。然而,LSTM网络处理序列数据增加了训练模型的计算复杂度和存储成本。为此,提出了基于多头注意力机制和时间卷积网络的无监督入侵检测模型(unsupervised intrusion detection model based on multihead attention mechanism or temporal convolutional network,UDMT)。UDMT不依赖于LSTM网络,它利用时间卷积网络和多头注意力机制构建生成对抗网络的生成器和决策器,实现计算的并行化,进而降低复杂度。同时,UDMT不依赖于标签的攻击数据,它具有检测已知攻击和未知攻击的能力。此外,UDMT采用不同的隐藏层模式,配置灵活,以满足不同的检测率和检测时延的要求。相比于两个同类的检测模型,提出的UDMT能获取更高的检测率和更低的检测时延。展开更多
针对部分场景下标签较少、样本不均衡的时序数据,为了更好的捕捉序列之间的逐步依赖关系,本文一方面使用具有因果关系属性的时域卷积网络构建生成对抗网络,另一方面使用长短期记忆网络构建嵌入网络和复现网络,以实现模型同时处理短期依...针对部分场景下标签较少、样本不均衡的时序数据,为了更好的捕捉序列之间的逐步依赖关系,本文一方面使用具有因果关系属性的时域卷积网络构建生成对抗网络,另一方面使用长短期记忆网络构建嵌入网络和复现网络,以实现模型同时处理短期依存项和长期依存项,从而提出一种基于时域卷积网络和长短期记忆网络的时间序列生成对抗网络(A Time-series Generative Adversarial Network based on Temporal convolutional network and Long-short term memory network, TL-TimeGAN)。采用覆盖性、有用性和相似度检验的综合分析方法作为合成数据质量的评价指标,进一步全面地评价合成数据的覆盖性、预测程度和相似性。最终,基于以太坊欺诈检测数据集,使用Tabnet网络对扩增数据进行异常检测并获得局部特征重要性以及全局特征重要性,以增强扩增数据应用于实际工作的实践指导价值。展开更多
深入分析交通事故数据可以为规避事故发生、降低事故严重程度提供重要理论依据,然而,在事故数据采集、传输、存储过程中往往会产生数据缺失,导致统计分析结果的准确性下降、模型的误判风险上升。本文以芝加哥2016—2021年的101452条追...深入分析交通事故数据可以为规避事故发生、降低事故严重程度提供重要理论依据,然而,在事故数据采集、传输、存储过程中往往会产生数据缺失,导致统计分析结果的准确性下降、模型的误判风险上升。本文以芝加哥2016—2021年的101452条追尾事故数据为研究对象,将原始数据按照7∶3随机分为训练集和测试集。在训练集数据上,利用生成式插补网络(Generative Adversarial Imputation Network,GAIN)实现对缺失数据的填补。为对比不同数据填补方法的效果,同时选择多重插补(Multiple Imputation by Chained Equations,MICE)算法、期望最大化(Expectation Maximization,EM)填充算法、缺失森林(MissForest)算法和K最近邻(K-Nearest Neighbor,KNN)算法对同一数据集进行数据填补,并基于填补前后变量方差变化比较不同填补算法对数据变异性的影响。在完成数据填补的基础上,构建LightGBM三分类事故严重程度影响因素分析模型。使用原始训练集数据,以及填补后的训练集数据分别训练模型,并使用未经填补的测试集数据检验模型预测效果。结果表明,经缺失值填补后,模型性能得到一定改善,使用GAIN填补数据集训练的模型,相较于原始数据训练的模型,准确率提高了6.84%,F1提高了4.61%,AUC(Area Under the Curve)提高了10.09%,且改善效果优于其他4种填补方法。展开更多
工业数据由于技术故障和人为因素通常导致数据异常,现有基于约束的方法因约束阈值设置的过于宽松或严格会导致修复错误,基于统计的方法因平滑修复机制导致对时间步长较远的异常值修复准确度较低.针对上述问题,提出了基于奖励机制的最小...工业数据由于技术故障和人为因素通常导致数据异常,现有基于约束的方法因约束阈值设置的过于宽松或严格会导致修复错误,基于统计的方法因平滑修复机制导致对时间步长较远的异常值修复准确度较低.针对上述问题,提出了基于奖励机制的最小迭代修复和改进WGAN混合模型的时序数据修复方法.首先,在预处理阶段,保留异常数据,进行信息标注等处理,从而充分挖掘异常值与真实值之间的特征约束.其次,在噪声模块提出了近邻参数裁剪规则,用于修正最小迭代修复公式生成的噪声向量.将其传递至模拟分布模块的生成器中,同时设计了一个动态时间注意力网络层,用于提取时序特征权重并与门控循环单元串联组合捕捉不同步长的特征依赖,并引入递归多步预测原理共同提升模型的表达能力;在判别器中设计了Abnormal and Truth奖励机制和Weighted Mean Square Error损失函数共同反向优化生成器修复数据的细节和质量.最后,在公开数据集和真实数据集上的实验结果表明,该方法的修复准确度与模型稳定性显著优于现有方法.展开更多
应用中的各种因素可能造成数据缺失,影响后续任务的分析。因此,数据集缺失值的插补尤为重要。相比原本没有插补的处理,错误的插补值也会对分析造成更严重的偏差。针对这种情况,提出新的采用双重判别器的基于条件生成对抗插补网络(C-GAIN...应用中的各种因素可能造成数据缺失,影响后续任务的分析。因此,数据集缺失值的插补尤为重要。相比原本没有插补的处理,错误的插补值也会对分析造成更严重的偏差。针对这种情况,提出新的采用双重判别器的基于条件生成对抗插补网络(C-GAIN)的缺失值插补算法DDC-GAIN(Dual Discriminator based on C-GAIN)。该算法通过一个辅助判别器辅助主判别器判断预测值的真假,即根据一个样本的全局信息判断这个样本生成的真假,更注重特征之间的关系,以此估算预测值。在4个数据集上与5种经典插补算法进行对比实验,结果表明:同样条件下,DDC-GAIN算法在样本量较大时的均方根误差(RMSE)最低;在Default credit card数据集上缺失率为15%时,DDC-GAIN算法的RMSE比次优算法C-GAIN降低了28.99%。这说明利用辅助判别器帮助主判别器学习特征之间的关系是有效的。展开更多
综合能源系统(Integrated energy system,IES)运行状态分析常以广泛化信息技术应用提供的数据为支撑,然而传感器故障、网络通信中断等信息异常导致的数据缺失会直接影响数据质量.在考虑数据缺失的情况下,本文提出了一种基于关联信息对...综合能源系统(Integrated energy system,IES)运行状态分析常以广泛化信息技术应用提供的数据为支撑,然而传感器故障、网络通信中断等信息异常导致的数据缺失会直接影响数据质量.在考虑数据缺失的情况下,本文提出了一种基于关联信息对抗学习的综合能源系统运行状态分析方法.首先构建深度生成对抗网络(Generative adversarial network,GAN)对数据缺失部分进行可靠性补偿.在设计生成器结构过程中,通过引入系统拓扑邻接矩阵对生成器输入数据进行优化排序,进而在训练过程中采用设计的多属性融合生成器损失函数,促使生成器进一步得到高精度补偿数据.接着将判别器提取的不同时刻完整能源数据的特征作为基础,采用浅层特征分布及深层特征信息差异值融合判断,从而实现系统运行状态分析.最后对不同数据缺失补偿及不同类型节点改变情况进行仿真,验证了本文所提方法的可行性与有效性.展开更多
基金the National Natural Science Foundation of China(61573285).
文摘Owing to the wide range of applications in various fields,generative models have become increasingly popular.However,they do not handle spatio-temporal features well.Inspired by the recent advances in these models,this paper designs a distributed spatio-temporal generative adversarial network(STGAN-D)that,given some initial data and random noise,generates a consecutive sequence of spatio-temporal samples which have a logical relationship.This paper builds a spatio-temporal discriminator to distinguish whether the samples generated by the generator meet the requirements for time and space coherence,and builds a controller for distributed training of the network gradient updated to separate the model training and parameter updating,to improve the network training rate.The model is trained on the skeletal dataset and the traffic dataset.In contrast to traditional generative adversarial networks(GANs),the proposed STGAN-D can generate logically coherent samples with the corresponding spatial and temporal features while avoiding mode collapse.In addition,this paper shows that the proposed model can generate different styles of spatio-temporal samples given different random noise inputs,and the controller can improve the network training rate.This model will extend the potential range of applications of GANs to areas such as traffic information simulation and multiagent adversarial simulation.
文摘现有的多数入侵检测模型通过长短期记忆(long short-term memory,LSTM)网络评估数据之间的时间依赖性。然而,LSTM网络处理序列数据增加了训练模型的计算复杂度和存储成本。为此,提出了基于多头注意力机制和时间卷积网络的无监督入侵检测模型(unsupervised intrusion detection model based on multihead attention mechanism or temporal convolutional network,UDMT)。UDMT不依赖于LSTM网络,它利用时间卷积网络和多头注意力机制构建生成对抗网络的生成器和决策器,实现计算的并行化,进而降低复杂度。同时,UDMT不依赖于标签的攻击数据,它具有检测已知攻击和未知攻击的能力。此外,UDMT采用不同的隐藏层模式,配置灵活,以满足不同的检测率和检测时延的要求。相比于两个同类的检测模型,提出的UDMT能获取更高的检测率和更低的检测时延。
文摘针对部分场景下标签较少、样本不均衡的时序数据,为了更好的捕捉序列之间的逐步依赖关系,本文一方面使用具有因果关系属性的时域卷积网络构建生成对抗网络,另一方面使用长短期记忆网络构建嵌入网络和复现网络,以实现模型同时处理短期依存项和长期依存项,从而提出一种基于时域卷积网络和长短期记忆网络的时间序列生成对抗网络(A Time-series Generative Adversarial Network based on Temporal convolutional network and Long-short term memory network, TL-TimeGAN)。采用覆盖性、有用性和相似度检验的综合分析方法作为合成数据质量的评价指标,进一步全面地评价合成数据的覆盖性、预测程度和相似性。最终,基于以太坊欺诈检测数据集,使用Tabnet网络对扩增数据进行异常检测并获得局部特征重要性以及全局特征重要性,以增强扩增数据应用于实际工作的实践指导价值。
文摘深入分析交通事故数据可以为规避事故发生、降低事故严重程度提供重要理论依据,然而,在事故数据采集、传输、存储过程中往往会产生数据缺失,导致统计分析结果的准确性下降、模型的误判风险上升。本文以芝加哥2016—2021年的101452条追尾事故数据为研究对象,将原始数据按照7∶3随机分为训练集和测试集。在训练集数据上,利用生成式插补网络(Generative Adversarial Imputation Network,GAIN)实现对缺失数据的填补。为对比不同数据填补方法的效果,同时选择多重插补(Multiple Imputation by Chained Equations,MICE)算法、期望最大化(Expectation Maximization,EM)填充算法、缺失森林(MissForest)算法和K最近邻(K-Nearest Neighbor,KNN)算法对同一数据集进行数据填补,并基于填补前后变量方差变化比较不同填补算法对数据变异性的影响。在完成数据填补的基础上,构建LightGBM三分类事故严重程度影响因素分析模型。使用原始训练集数据,以及填补后的训练集数据分别训练模型,并使用未经填补的测试集数据检验模型预测效果。结果表明,经缺失值填补后,模型性能得到一定改善,使用GAIN填补数据集训练的模型,相较于原始数据训练的模型,准确率提高了6.84%,F1提高了4.61%,AUC(Area Under the Curve)提高了10.09%,且改善效果优于其他4种填补方法。
文摘工业数据由于技术故障和人为因素通常导致数据异常,现有基于约束的方法因约束阈值设置的过于宽松或严格会导致修复错误,基于统计的方法因平滑修复机制导致对时间步长较远的异常值修复准确度较低.针对上述问题,提出了基于奖励机制的最小迭代修复和改进WGAN混合模型的时序数据修复方法.首先,在预处理阶段,保留异常数据,进行信息标注等处理,从而充分挖掘异常值与真实值之间的特征约束.其次,在噪声模块提出了近邻参数裁剪规则,用于修正最小迭代修复公式生成的噪声向量.将其传递至模拟分布模块的生成器中,同时设计了一个动态时间注意力网络层,用于提取时序特征权重并与门控循环单元串联组合捕捉不同步长的特征依赖,并引入递归多步预测原理共同提升模型的表达能力;在判别器中设计了Abnormal and Truth奖励机制和Weighted Mean Square Error损失函数共同反向优化生成器修复数据的细节和质量.最后,在公开数据集和真实数据集上的实验结果表明,该方法的修复准确度与模型稳定性显著优于现有方法.
文摘应用中的各种因素可能造成数据缺失,影响后续任务的分析。因此,数据集缺失值的插补尤为重要。相比原本没有插补的处理,错误的插补值也会对分析造成更严重的偏差。针对这种情况,提出新的采用双重判别器的基于条件生成对抗插补网络(C-GAIN)的缺失值插补算法DDC-GAIN(Dual Discriminator based on C-GAIN)。该算法通过一个辅助判别器辅助主判别器判断预测值的真假,即根据一个样本的全局信息判断这个样本生成的真假,更注重特征之间的关系,以此估算预测值。在4个数据集上与5种经典插补算法进行对比实验,结果表明:同样条件下,DDC-GAIN算法在样本量较大时的均方根误差(RMSE)最低;在Default credit card数据集上缺失率为15%时,DDC-GAIN算法的RMSE比次优算法C-GAIN降低了28.99%。这说明利用辅助判别器帮助主判别器学习特征之间的关系是有效的。
文摘综合能源系统(Integrated energy system,IES)运行状态分析常以广泛化信息技术应用提供的数据为支撑,然而传感器故障、网络通信中断等信息异常导致的数据缺失会直接影响数据质量.在考虑数据缺失的情况下,本文提出了一种基于关联信息对抗学习的综合能源系统运行状态分析方法.首先构建深度生成对抗网络(Generative adversarial network,GAN)对数据缺失部分进行可靠性补偿.在设计生成器结构过程中,通过引入系统拓扑邻接矩阵对生成器输入数据进行优化排序,进而在训练过程中采用设计的多属性融合生成器损失函数,促使生成器进一步得到高精度补偿数据.接着将判别器提取的不同时刻完整能源数据的特征作为基础,采用浅层特征分布及深层特征信息差异值融合判断,从而实现系统运行状态分析.最后对不同数据缺失补偿及不同类型节点改变情况进行仿真,验证了本文所提方法的可行性与有效性.
