-
题名一种基于深度学习的异常数据清洗算法
被引量：30
- 1
-
-
作者
匡俊搴
赵畅
杨柳
王海峰
钱骅
-
机构
中国科学院上海高等研究院
上海科技大学信息科学与技术学院
中国科学院大学
中国科学院大学微电子学院
中国科学院上海微系统与信息技术研究所
-
出处
《电子与信息学报》
EI
CSCD
北大核心
2022年第2期507-513,共7页
-
基金
国家自然科学基金(61971286)
国家重点研究发展计划(2020YFB2205603)
上海市科学技术委员会科技创新行动计划(19DZ1204300)。
-
文摘
在物联网(IoT)中采用合适的异常数据清洗算法能极大地提升数据质量。许多研究人员采用统计学方法或分类聚类等方法对时-空相关数据进行清洗。但这些方法需要额外的先验知识,会给汇聚节点带来额外的计算开销。该文根据低秩-稀疏矩阵分解模型,提出一种基于深度神经网络的快速异常数据清洗算法,来解决物联网中时-空相关数据的清洗问题。结合感知数据的时-空相关性和异常值的稀疏性,将异常数据清洗问题转换为优化问题,并采用迭代阈值收缩算法(ISTA)求解该优化问题,再将ISTA算法展开成一个固定长度的深度神经网络。实际数据集的实验结果表明,该方法能够自动更新阈值,比传统的ISTA算法收敛速度更快,精度更高。
-
关键词
物联网
异常数据清洗
迭代阈值收缩算法
展开
深度神经网络
-
Keywords
Internet of Things(IoT)
Outlier cleaning
Iterative Shrinkage-Thresholding Algorithm(ISTA)
Unfolding
Deep neural network
-
分类号
TN915
[电子电信—通信与信息系统]
TP181
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于QM-DBSCAN的风力机数据清洗方法
被引量：10
- 2
-
-
作者
郑玉巧
刘玉涵
何正文
董博
魏剑峰
-
机构
兰州理工大学机电工程学院
-
出处
《兰州理工大学学报》
CAS
北大核心
2021年第6期50-55,共6页
-
基金
国家自然科学基金(51965034)
兰州市人才创新创业项目(2018-RC-25)。
-
文摘
针对风电场风速-功率异常数据难以清洗的问题,提出一种基于QM-DBSCAN算法的风电场数据清洗方法.首先选取最能代表风力机运行状况的风速-功率数据作为研究对象,根据异常数据的分布特征进行分类;然后分别利用四分位法、标准DBSCAN算法及基于QM-DBSCAN方法识别和剔除异常数;最后通过spearman系数进一步验证所提方法的有效性.研究结果表明:QM-DBSCAN方法的剔除效果最好,较四分位法和标准DBSCAN法的spearman系数分别提高0.0035和0.0047.
-
关键词
风力机
异常数据清洗
四分位法
DBSCAN
QM-DBSCAN
-
Keywords
wind turbine
abnormal data cleaning
the Quartile Method
DBSCAN
QM-DBSCAN
-
分类号
TK83
[动力工程及工程热物理—流体机械及工程]
-
-
题名基于边缘检测与方差变点的风功率数据清洗方法
被引量：4
- 3
-
-
作者
苏荣
张斌
沈晨
陈俊生
-
机构
南方海上风电联合开发有限公司
输配电装备及系统安全与新技术国家重点实验室(重庆大学)
重庆邮电大学自动化学院
-
出处
《广东电力》
2021年第5期48-56,共9页
-
基金
重庆市自然科学基金面上项目(cstc2020jcyj-msxmX0687)。
-
文摘
风电场SCADA系统中存在大量异常监测数据,不利于风功率曲线的准确建模和风能预测等后续研究的开展。为此,根据负值点以及分散型、堆积型异常数据的分布特征,提出一种基于边缘检测与方差变点的风功率数据清洗方法。首先进行数据预清洗,以识别负值点;接着基于边缘检测识别曲线主体,以清洗分散型异常数据;然后通过方差变点分区间获得风速功率点中的方差突变点,以清洗堆积型异常数据;最后得到分类清洗后的风功率数据。算例验证结果表明,所提方法可有效地分类识别异常数据,通用性较好,且有利于风功率曲线的准确建模。
-
关键词
风功率
异常数据清洗
边缘检测
方差突变点
-
Keywords
wind power
abnormal data cleaning
edge detection
variable-point variance
-
分类号
TM614
[电气工程—电力系统及自动化]
-
