期刊文献+
共找到7篇文章
< 1 >
每页显示 20 50 100
海洋环境监测数据异常及缺失处理方法研究进展
1
作者 刘岩 钊煜鹏 +2 位作者 刘凤庆 孔祥峰 马然 《应用海洋学学报》 北大核心 2025年第2期388-401,共14页
海洋环境监测是指通过各类海洋环境监测仪器对海水中的叶绿素a、海水表面温度、溶解氧、营养盐(总磷、总氮等)等参数实现长期连续监测,对探究海洋规律、保护生态环境具有重要作用。然而,受到复杂的海洋环境及各类监测仪器的局限性等影响... 海洋环境监测是指通过各类海洋环境监测仪器对海水中的叶绿素a、海水表面温度、溶解氧、营养盐(总磷、总氮等)等参数实现长期连续监测,对探究海洋规律、保护生态环境具有重要作用。然而,受到复杂的海洋环境及各类监测仪器的局限性等影响,原始监测数据,尤其是实时原位采集到的连续监测数据往往存在数据异常、数据缺失等严重影响数据质量的问题。为获取高质量的海洋环境监测数据,对原始监测数据进行预处理是一种必要的手段。本文从产生数据质量问题的原因出发,对数据质量的两个典型问题(数据异常、数据缺失)展开分析,总结了近年来海洋环境监测数据异常及缺失问题的处理方法研究进展,包括数学模型分析方法、统计学分析方法、频域方法和时域方法、机器学习方法等。通过比较各种数据预处理方法的原理、适用性、优势、缺陷等方面,对集成模型的进一步研究、检测时效性的提升、模型对数据的自适应性及现场处理能力等问题提出了建议性的展望。总体来说,传统的预处理方法大多依靠人工主观建模或总结经验规律,实现对异常数据的识别和缺失数据的填补,对于平稳性、规律性较好的数据效果明显,但对数据中的突变、连续异常等情况处理能力较差;新兴的预处理方法通过引入分解方法、机器学习、深度学习等智能算法,不仅能够掌握数据的长期规律特征,而且通过更深层次的学习对小尺度的变化特征充分挖掘,能够识别数据.长期连续异常,并通过数据预测准确识别突变数据,完成对数据缺失部分的填补。然而,智能算法的引入仍然存在许多限制,比如训练数据不足、最优参数获取较为困难、对硬件算力的高需求等。海洋环境监测数据预处理方法将随着芯片科技、智能算法等前沿科技的突破,朝着高精度、低模型复杂度、高终端部署能力等方面发展。 展开更多
关键词 海洋环境监测 数据预处理 异常检测 数据缺失填充
在线阅读 下载PDF
有序填充微阵列缺失数据
2
作者 周秀梅 李作春 覃泽 《计算机工程与应用》 CSCD 北大核心 2009年第22期111-113,共3页
针对欧式距离填充算法不足和微阵列数据集中缺失数据比率过大问题,提出了使用马氏距离有序填充微阵列的最近邻算法,能充分使用数据集中所有有效信息填充缺失数据,真实基因数据集的实验结果显示改进后的最近邻算法明显优于存在算法。
关键词 马氏距离 缺失数据填充 填充顺序
在线阅读 下载PDF
代价敏感的缺失数据有序填充算法
3
作者 苏毅娟 钟智 《计算机工程》 CAS CSCD 北大核心 2009年第17期92-93,96,共3页
缺失数据填充效果会对学习算法和挖掘算法的后续处理过程产生影响。针对代价敏感决策树方法没有同时考虑填充顺序和填充代价的问题,提出一种有序填充缺失数据的算法,综合考虑经济因素和建立填充器所需的有效信息。实验结果表明其预测准... 缺失数据填充效果会对学习算法和挖掘算法的后续处理过程产生影响。针对代价敏感决策树方法没有同时考虑填充顺序和填充代价的问题,提出一种有序填充缺失数据的算法,综合考虑经济因素和建立填充器所需的有效信息。实验结果表明其预测准确率和分类准确率高于现有算法。 展开更多
关键词 代价敏感学习 缺失数据填充 填充顺序
在线阅读 下载PDF
一种基于极限学习机的缺失数据填充方法 被引量:9
4
作者 杨毅 卢诚波 《计算机应用与软件》 CSCD 2016年第10期243-246,共4页
数据处理过程中经常会遇到不完备数据需要填充的问题,寻求简单有效的缺失数据填充方法非常重要。针对该情况,提出一种基于极限学习机ELM(Extreme Learning Machine)的缺失数据填充方法,通过极限学习机网络建模,建立需要填充的缺失属性... 数据处理过程中经常会遇到不完备数据需要填充的问题,寻求简单有效的缺失数据填充方法非常重要。针对该情况,提出一种基于极限学习机ELM(Extreme Learning Machine)的缺失数据填充方法,通过极限学习机网络建模,建立需要填充的缺失属性与其他属性的非线性映射模型。实验结果表明:该方法具有非常好的填充效果。 展开更多
关键词 极限学习机 缺失数据填充 UCI机器学习数据
在线阅读 下载PDF
基于改进神经过程的缺失数据填充算法 被引量:3
5
作者 孙晓丽 郭艳 +1 位作者 李宁 宋晓祥 《中国科学院大学学报(中英文)》 CSCD 北大核心 2021年第2期280-287,共8页
缺失数据填充是数据分析处理领域的一个重要研究课题。特别是在采集数据量较少的情况下,缺失数据填充的难度极大。针对这个问题,提出一种基于改进神经过程模型的缺失数据填充算法,该算法可有效提升小数据集背景下的缺失数据填充性能。首... 缺失数据填充是数据分析处理领域的一个重要研究课题。特别是在采集数据量较少的情况下,缺失数据填充的难度极大。针对这个问题,提出一种基于改进神经过程模型的缺失数据填充算法,该算法可有效提升小数据集背景下的缺失数据填充性能。首先,将观测到的时间序列进行单一表示,由神经网络得到各自的表征向量;其次,通过神经过程模型获得数据的分布函数,并在训练阶段引入修正系数α,从而根据数据缺失率更加精确地确定训练数据的采样率;最后,加入填充过程,通过训练好的模型估计数据缺失值。为检验算法性能,在海洋表面温度数据集以及北京PM2.5含量数据集上进行仿真实验,结果表明该算法在小数据集背景下具有良好的填充效果。与其他算法相比,所提算法在高缺失率的情况下具有更低的均方根误差。 展开更多
关键词 缺失数据填充 时间序列 改进神经过程 修正系数
在线阅读 下载PDF
基于张量分解的多维数据填充算法 被引量:2
6
作者 朱彦君 吴向阳 《计算机工程》 CAS CSCD 2014年第5期45-48,共4页
在多维数据分析和处理中,经常会出现部分数据丢失或者部分数据未知的情况,如何利用已知数据的潜在结构对这些缺失数据进行填充是一个亟待解决的问题。目前对于缺失数据填充的研究大多是针对矩阵或者向量形式的低维数据,而对于三维以上... 在多维数据分析和处理中,经常会出现部分数据丢失或者部分数据未知的情况,如何利用已知数据的潜在结构对这些缺失数据进行填充是一个亟待解决的问题。目前对于缺失数据填充的研究大多是针对矩阵或者向量形式的低维数据,而对于三维以上高维数据填充的研究则很少。针对该问题,提出一种基于张量分解的多维数据填充算法,利用张量分解中CP分解模型的结构特性和分解的唯一性,实现对多维数据中缺失数据的有效填充。通过实验对以三维形式存储的部分数据缺失图像进行填充修复,并与CP-WOPT算法进行比较,结果表明,该算法具有较高的准确度以及较快的运行速度。 展开更多
关键词 缺失数据填充 张量分解 多维数据填充 多维数据分析 多维数据处理 图像修复
在线阅读 下载PDF
基于真值发现的加油站车辆号牌缺损数据填充方法
7
作者 彭新亮 程力 +3 位作者 王轶 马博 赵凡 周喜 《计算机应用与软件》 北大核心 2019年第8期41-46,74,共7页
由于数据采集设备的不完善以及数据在传输过程中的不可靠性等原因,致使加油站车辆加油数据中经常会产生数据的丢失和错误,降低了车辆加油数据的完整性,严重影响了后续的数据分析工作。目前虽然已有许多算法可以解决连续型数值数据的缺... 由于数据采集设备的不完善以及数据在传输过程中的不可靠性等原因,致使加油站车辆加油数据中经常会产生数据的丢失和错误,降低了车辆加油数据的完整性,严重影响了后续的数据分析工作。目前虽然已有许多算法可以解决连续型数值数据的缺损问题,但是它们并不适用于车辆号牌这种离散型分类数据。提出一种基于改进TruthFinder算法的缺损值填充框架。基于真值发现算法,考虑到离散数据相似度的计算方式,改进原算法对数据值支持度的计算模型。通过在真实加油站车辆数据集上的实验,相较于原算法及更加通用的Voting算法,正确率分别提升了7%和23%。该方法能部分解决类似加油站车辆加油数据这种多源离散型数据的缺损值填充问题,大大提高了此数据的可用性。 展开更多
关键词 数据清洗 车辆加油数据 缺失数据填充 真值发现
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部