【目的】设计一种基于FIML和DAE的填充缺失值的方法,即聚类全信息选择性过滤编码器数据填补算法(clustering-based comprehensive information selective filtering encoder data imputation algorithm,CFSM-DAE),为水稻种质资源缺失数...【目的】设计一种基于FIML和DAE的填充缺失值的方法,即聚类全信息选择性过滤编码器数据填补算法(clustering-based comprehensive information selective filtering encoder data imputation algorithm,CFSM-DAE),为水稻种质资源缺失数据进行填充。【方法】利用聚类辅助避免数据异常值对算法的影响,采用选择性过滤层用于识别高质量估算、减少低质量估算的影响。传统的DAE框架通常没有选择性过滤层,所有的估算值都被视为同等重要,无法区分高质量和低质量的估算值。为了进一步提高估算精度,研究采用集成框架将全信息最大似然性(FIML)与多对抗性自编码器(DAE)结合的方法(CFSM-DAE),在选择性过滤层基础上,自适应填充,即当估算值不符合设定阈值时,采用FIML填充策略以确保填充结果的稳定性和精确度,从而进一步来提高整体估算精度。在3种缺失数据机制(随机缺失(MAR)、完全随机缺失(MCAR)和非随机缺失(MNAR))下对模拟数据和实际水稻种质资源数据集进行研究,将CFSM-DAE方法与多种常用填充算法比较(全信息最大似然性(FIML)、对抗自编码器(DAE)、K近邻填充(KNN)、随机森林(RF)、链式方程多重插补(MICE))。【结果】CFSM-DAE在模拟数据上的表现为S_(RME)=0.0676,E_(MA)=0.0093,R^(2)=0.9958;在水稻种质资源数据上的表现为S_(RME)=0.0395,E_(MA)=0.0078,R^(2)=0.8913。相比之下,其他算法如DAE在这两类数据下的SRME表现分别为0.8896和0.7707;KNN算法的EMA表现分别为0.1183和0.1305;FIML算法的R2表现为0.3382和0.7321。因此,CFSM-DAE在多个评价指标上相较于其他算法都表现出了一定的提升,CFSM-DAE在模拟数据和水稻种质资源数据的表现优于其他算法。【结论】CFSM-DAE方法通过结合聚类、选择性过滤和全信息最大似然性等策略,显著提高了水稻种质资源数据中缺失值的填补精度,展示了其在处理复杂缺失值问题上的有效性和潜力。展开更多
For the fault detection and diagnosis problem in largescale industrial systems, there are two important issues： the missing data samples and the non-Gaussian property of the data. However, most of the existing data-d...For the fault detection and diagnosis problem in largescale industrial systems, there are two important issues： the missing data samples and the non-Gaussian property of the data. However, most of the existing data-driven methods cannot be able to handle both of them. Thus, a new Bayesian network classifier based fault detection and diagnosis method is proposed. At first, a non-imputation method is presented to handle the data incomplete samples, with the property of the proposed Bayesian network classifier, and the missing values can be marginalized in an elegant manner. Furthermore, the Gaussian mixture model is used to approximate the non-Gaussian data with a linear combination of finite Gaussian mixtures, so that the Bayesian network can process the non-Gaussian data in an effective way. Therefore, the entire fault detection and diagnosis method can deal with the high-dimensional incomplete process samples in an efficient and robust way. The diagnosis results are expressed in the manner of probability with the reliability scores. The proposed approach is evaluated with a benchmark problem called the Tennessee Eastman process. The simulation results show the effectiveness and robustness of the proposed method in fault detection and diagnosis for large-scale systems with missing measurements.展开更多
深入分析交通事故数据可以为规避事故发生、降低事故严重程度提供重要理论依据,然而,在事故数据采集、传输、存储过程中往往会产生数据缺失,导致统计分析结果的准确性下降、模型的误判风险上升。本文以芝加哥2016—2021年的101452条追...深入分析交通事故数据可以为规避事故发生、降低事故严重程度提供重要理论依据,然而,在事故数据采集、传输、存储过程中往往会产生数据缺失,导致统计分析结果的准确性下降、模型的误判风险上升。本文以芝加哥2016—2021年的101452条追尾事故数据为研究对象,将原始数据按照7∶3随机分为训练集和测试集。在训练集数据上,利用生成式插补网络(Generative Adversarial Imputation Network,GAIN)实现对缺失数据的填补。为对比不同数据填补方法的效果,同时选择多重插补(Multiple Imputation by Chained Equations,MICE)算法、期望最大化(Expectation Maximization,EM)填充算法、缺失森林(MissForest)算法和K最近邻(K-Nearest Neighbor,KNN)算法对同一数据集进行数据填补,并基于填补前后变量方差变化比较不同填补算法对数据变异性的影响。在完成数据填补的基础上,构建LightGBM三分类事故严重程度影响因素分析模型。使用原始训练集数据,以及填补后的训练集数据分别训练模型,并使用未经填补的测试集数据检验模型预测效果。结果表明,经缺失值填补后,模型性能得到一定改善,使用GAIN填补数据集训练的模型,相较于原始数据训练的模型,准确率提高了6.84%,F1提高了4.61%,AUC(Area Under the Curve)提高了10.09%,且改善效果优于其他4种填补方法。展开更多
文摘【目的】设计一种基于FIML和DAE的填充缺失值的方法,即聚类全信息选择性过滤编码器数据填补算法(clustering-based comprehensive information selective filtering encoder data imputation algorithm,CFSM-DAE),为水稻种质资源缺失数据进行填充。【方法】利用聚类辅助避免数据异常值对算法的影响,采用选择性过滤层用于识别高质量估算、减少低质量估算的影响。传统的DAE框架通常没有选择性过滤层,所有的估算值都被视为同等重要,无法区分高质量和低质量的估算值。为了进一步提高估算精度,研究采用集成框架将全信息最大似然性(FIML)与多对抗性自编码器(DAE)结合的方法(CFSM-DAE),在选择性过滤层基础上,自适应填充,即当估算值不符合设定阈值时,采用FIML填充策略以确保填充结果的稳定性和精确度,从而进一步来提高整体估算精度。在3种缺失数据机制(随机缺失(MAR)、完全随机缺失(MCAR)和非随机缺失(MNAR))下对模拟数据和实际水稻种质资源数据集进行研究,将CFSM-DAE方法与多种常用填充算法比较(全信息最大似然性(FIML)、对抗自编码器(DAE)、K近邻填充(KNN)、随机森林(RF)、链式方程多重插补(MICE))。【结果】CFSM-DAE在模拟数据上的表现为S_(RME)=0.0676,E_(MA)=0.0093,R^(2)=0.9958;在水稻种质资源数据上的表现为S_(RME)=0.0395,E_(MA)=0.0078,R^(2)=0.8913。相比之下,其他算法如DAE在这两类数据下的SRME表现分别为0.8896和0.7707;KNN算法的EMA表现分别为0.1183和0.1305;FIML算法的R2表现为0.3382和0.7321。因此,CFSM-DAE在多个评价指标上相较于其他算法都表现出了一定的提升,CFSM-DAE在模拟数据和水稻种质资源数据的表现优于其他算法。【结论】CFSM-DAE方法通过结合聚类、选择性过滤和全信息最大似然性等策略,显著提高了水稻种质资源数据中缺失值的填补精度,展示了其在处理复杂缺失值问题上的有效性和潜力。
基金supported by the National Natural Science Foundation of China(61202473)the Fundamental Research Funds for Central Universities(JUSRP111A49)+1 种基金"111 Project"(B12018)the Priority Academic Program Development of Jiangsu Higher Education Institutions
文摘For the fault detection and diagnosis problem in largescale industrial systems, there are two important issues： the missing data samples and the non-Gaussian property of the data. However, most of the existing data-driven methods cannot be able to handle both of them. Thus, a new Bayesian network classifier based fault detection and diagnosis method is proposed. At first, a non-imputation method is presented to handle the data incomplete samples, with the property of the proposed Bayesian network classifier, and the missing values can be marginalized in an elegant manner. Furthermore, the Gaussian mixture model is used to approximate the non-Gaussian data with a linear combination of finite Gaussian mixtures, so that the Bayesian network can process the non-Gaussian data in an effective way. Therefore, the entire fault detection and diagnosis method can deal with the high-dimensional incomplete process samples in an efficient and robust way. The diagnosis results are expressed in the manner of probability with the reliability scores. The proposed approach is evaluated with a benchmark problem called the Tennessee Eastman process. The simulation results show the effectiveness and robustness of the proposed method in fault detection and diagnosis for large-scale systems with missing measurements.
文摘深入分析交通事故数据可以为规避事故发生、降低事故严重程度提供重要理论依据,然而,在事故数据采集、传输、存储过程中往往会产生数据缺失,导致统计分析结果的准确性下降、模型的误判风险上升。本文以芝加哥2016—2021年的101452条追尾事故数据为研究对象,将原始数据按照7∶3随机分为训练集和测试集。在训练集数据上,利用生成式插补网络(Generative Adversarial Imputation Network,GAIN)实现对缺失数据的填补。为对比不同数据填补方法的效果,同时选择多重插补(Multiple Imputation by Chained Equations,MICE)算法、期望最大化(Expectation Maximization,EM)填充算法、缺失森林(MissForest)算法和K最近邻(K-Nearest Neighbor,KNN)算法对同一数据集进行数据填补,并基于填补前后变量方差变化比较不同填补算法对数据变异性的影响。在完成数据填补的基础上,构建LightGBM三分类事故严重程度影响因素分析模型。使用原始训练集数据,以及填补后的训练集数据分别训练模型,并使用未经填补的测试集数据检验模型预测效果。结果表明,经缺失值填补后,模型性能得到一定改善,使用GAIN填补数据集训练的模型,相较于原始数据训练的模型,准确率提高了6.84%,F1提高了4.61%,AUC(Area Under the Curve)提高了10.09%,且改善效果优于其他4种填补方法。
