-
题名空间自回归模型下不完整大数据缺失值插补算法
- 1
-
-
作者
刘晓燕
翟建国
-
机构
昆明理工大学信息工程与自动化学院
-
出处
《吉林大学学报（信息科学版）》
CAS
2024年第2期312-317,共6页
-
基金
云南省自然科学基金资助项目(202224143456)。
-
文摘
针对不完整大数据因其自身结构具有不规则性,导致在进行缺失值插补时计算量大、插补精度低的问题,提出空间自回归模型下不完整大数据缺失值插补算法。利用迁移学习算法在动态权重下过滤出原始数据中冗余数据,区分异常和正常数据,提取残缺数据,采用最小二乘回归对残缺数据实施修补。将缺失值插补分为3种类型,分别为一阶空间自回归模型插补、空间自回归模型插补和多重插补法。根据实际情况将修补后数据插补到合适的位置,实现不完整大数据缺失值插补。实验结果表明,所提方法具有良好的缺失值插补能力。
-
关键词
迁移学习
不完整大数据
缺失值插补
空间回归模型
数据修正
-
Keywords
transfer learning
incomplete big data
imputation of missing values
spatial regression model
data correction
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于改进遗传算法的不完整大数据填充挖掘算法
被引量：6
- 2
-
-
作者
郑斌
-
机构
福建江夏学院电子信息科学学院
-
出处
《微电子学与计算机》
CSCD
北大核心
2016年第2期96-99,共4页
-
文摘
传统的大数据填充挖掘过程存在耗时高、效率低的缺陷,对此提出基于改进遗传算法的不完整大数据填充挖掘算法.该算法先融合于BP人工网络神经算法随机产生不完整大数据初始网络权值,并对该组权值进行训练,设计一个不完整大数据基因矩阵,利用遗传算法以该基因矩阵为依据计算出不完整大数据适应值函数,并同时进行编码、杂交、变异等遗传操作,在此基础上进行不完整大数据信息的全局搜索,以其搜索的结果为核心将大数据划分为完整与不完整数据,采用信息论中熵值的概念利用同一类完整数据信息的属性值对缺失值进行填充.实验仿真证明,基于改进遗传算法的不完整大数据填充挖掘方法能实现对不完整大数据的挖掘,提高缺失数据的填充精度.
-
关键词
不完整大数据
数据填充
遗传神经网络
-
Keywords
incomplete data
Data filled
Genetic neural network
-
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
-
