期刊文献+
共找到11篇文章
< 1 >
每页显示 20 50 100
数据时效性判定问题的求解算法 被引量:20
1
作者 李默涵 李建中 高宏 《计算机学报》 EI CSCD 北大核心 2012年第11期2348-2360,共13页
数据的时效性问题是影响数据质量的重要因素之一.时效性差的数据会对企业决策和人们的日常生活带来许多不利影响,这使得判定数据的时效性成为必要.许多应用数据库中都没有完整、清洁、可用的时间戳,从而导致数据时效性的判定非常困难.... 数据的时效性问题是影响数据质量的重要因素之一.时效性差的数据会对企业决策和人们的日常生活带来许多不利影响,这使得判定数据的时效性成为必要.许多应用数据库中都没有完整、清洁、可用的时间戳,从而导致数据时效性的判定非常困难.冗余记录和时效约束能够在时间戳缺失的情况下有效地辅助恢复数据的时序关系,因而能够帮助数据时效性的判定.文中研究包含冗余记录的集合在给定时效约束下的时效性判定问题,并首次提出了时效性判定问题的求解算法.首先,文中定义了查询相关时效性和用户相关时效性.在判定查询相关时效性时,文中将查询归结为最新值查询和时效序列查询两类,并分别根据两类查询的特点,对每类查询定义了查询结果时效性和平均时效性.然后,文中提出了时效图的概念.利用时效图,文中给出了查询相关时效性和用户相关时效性判定问题的求解算法.最后给出了真实数据和虚拟数据上的实验结果,验证了文中算法较高的执行效率,并分析了各个参数对算法的影响. 展开更多
关键词 数据质量 数据时效 相关时效
在线阅读 下载PDF
数据时效性修复问题的求解算法 被引量:4
2
作者 李默涵 李建中 《计算机研究与发展》 EI CSCD 北大核心 2015年第9期1992-2001,共10页
数据过时问题普遍存在于实际应用中,因此将数据库中的过时数据修复为最新值是提高数据质量的关键步骤.当前主要有基于规则和基于统计2类数据修复方法.基于规则的修复方法能够将领域知识直观地表达为规则的形式,但是难以表达数据中某些... 数据过时问题普遍存在于实际应用中,因此将数据库中的过时数据修复为最新值是提高数据质量的关键步骤.当前主要有基于规则和基于统计2类数据修复方法.基于规则的修复方法能够将领域知识直观地表达为规则的形式,但是难以表达数据中某些复杂的关联关系;基于统计的方法能够表达数据中的复杂关联关系,并修复许多通过规则难以发现和修复的错误,但是该类方法均需要学习较复杂的条件概率分布,且难以直接应用数据语义相关的领域知识.研究数据时效性的修复问题,同时,为了克服当前2类数据修复方法的缺点,提出一类新的修复规则,将规则和统计的方法结合起来修复过时数据.该规则一方面能够以传统规则的方式表达领域知识,另一方面还能够使用其特有的分布表来描述数据随时间变化的统计信息.接着,还给出了修复规则学习算法和数据时效性修复算法.真实和虚拟数据上的实验均验证了算法的有效性. 展开更多
关键词 数据质量 数据时效 数据修复 数据质量规则 分布表
在线阅读 下载PDF
计及数据时效性的输电线路状态综合评估方法 被引量:11
3
作者 叶保璇 王康坚 +2 位作者 余盛达 黄廷城 易婷婷 《广东电力》 2020年第11期109-116,共8页
针对当前架空输电线路环境复杂、运行与维护效率低等问题,考虑在线监测和巡检数据对输电线路状态评估的差异性和互补性,提出计及数据时效性的输电线路状态综合评估方法。首先,构建基于在线监测数据的架空输电线路状态评价指标体系;然后... 针对当前架空输电线路环境复杂、运行与维护效率低等问题,考虑在线监测和巡检数据对输电线路状态评估的差异性和互补性,提出计及数据时效性的输电线路状态综合评估方法。首先,构建基于在线监测数据的架空输电线路状态评价指标体系;然后,兼顾指标的主观和客观权重,提出基于层次分析法和反熵权法的输电线路状态动态评估方法;接着,计及不同数据的时效性特征,提出融合巡检数据和在线监测数据的输电线路状态综合评估方法;最后通过具体算例,验证了所提架空输电线路状态评价指标体系及综合评估方法的有效性和可行性。 展开更多
关键词 数据时效 架空输电线路 综合评估 层次分析 反熵权法
在线阅读 下载PDF
基于时效规则的数据修复方法 被引量:12
4
作者 段旭良 郭兵 +3 位作者 沈艳 申云成 董祥千 张洪 《软件学报》 EI CSCD 北大核心 2019年第3期589-603,共15页
数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不... 数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不准确的数据,精确恢复其时间戳是困难的,但可以依据一定的规则对其时间先后顺序进行还原恢复,满足数据清洗及各类应用需求.在数据时效性应用需求分析的基础上,首先明确了属性的时效规则相关概念,对属性的时效规则等进行了形式化定义;然后提出了基于图模型的时效规则发现以及数据时序修复算法;随后,对相关算法进行了实现,并在真实数据集上对算法运行效率、修复正确率等进行了测试,分析了影响算法修复数据正确率的一些影响因素,对算法进行了较为全面的分析评价.实验结果表明,算法具有较高的执行效率和较好的时效修复效果. 展开更多
关键词 数据质量 数据时效 数据修复 数据清洗 个人大数据
在线阅读 下载PDF
基于关联数据的一致性和时效性清洗方法 被引量:42
5
作者 杜岳峰 申德荣 +2 位作者 聂铁铮 寇月 于戈 《计算机学报》 EI CSCD 北大核心 2017年第1期92-106,共15页
数据一致性和数据时效性是大数据质量管理所关注的两个重要内容.条件函数依赖(CFDs)和时效约束(CCs)分别是用于分析数据一致性和数据时效性的有效技术手段.现实生活中的数据会夹杂一些关于一致性和时效性的潜在错误,这些错误又无法为CFD... 数据一致性和数据时效性是大数据质量管理所关注的两个重要内容.条件函数依赖(CFDs)和时效约束(CCs)分别是用于分析数据一致性和数据时效性的有效技术手段.现实生活中的数据会夹杂一些关于一致性和时效性的潜在错误,这些错误又无法为CFDs和CCs检测和修复,最终影响数据的整体质量.值得一提的是,这些数据通常是相互关联的,这种关联关系可以用来发现数据中的潜在错误.文中使用了一种条件合并的函数依赖(CCFDs)将关联数据放在一起进行处理.基于此,该文提出了一种基于关联数据的一致性和时效性清洗方法.在数据清洗过程中,数据的检测和修复是两个相互影响的过程.所以,该文设计了一种新的自动清洗框架,迭代地进行数据检测和数据修复.其次,该文对关联数据的一致性和时效性清洗的相关问题进行了分析,并且证明了关于CCFDs和CCs的最小代价修复问题是一个Σ~p_2完全(NP^(NP))问题.进而,该文采用一种启发式的修复方法对错误进行修复.为了提高修复的准确性,该文还提出了一种修复序列图的概念.最后,通过在两组真实数据上进行实验,验证了方法的实用性和高效性. 展开更多
关键词 数据一致性 数据时效 数据质量 关联数据 数据清洗
在线阅读 下载PDF
大数据的一个重要方面:数据可用性 被引量:265
6
作者 李建中 刘显敏 《计算机研究与发展》 EI CSCD 北大核心 2013年第6期1147-1162,共16页
随着信息技术的发展,特别是物理信息系统、互联网、云计算和社交网络等技术的突飞猛进,大数据普遍存在,正在成为信息社会的重要财富,同时也带来了巨大的挑战.数据可用性问题就是大数据的重要挑战之一.随着数据的爆炸性增长,劣质数据也... 随着信息技术的发展,特别是物理信息系统、互联网、云计算和社交网络等技术的突飞猛进,大数据普遍存在,正在成为信息社会的重要财富,同时也带来了巨大的挑战.数据可用性问题就是大数据的重要挑战之一.随着数据的爆炸性增长,劣质数据也随之而来,数据可用性受到严重影响,对信息社会形成严重威胁,引起了学术界和工业界的共同关注.近年来,学术界和工业界开始研究数据可用性问题,取得了一些的研究成果,但是针对大数据可用性问题的研究工作还很少.介绍了大数据可用性的基本概念,讨论大数据可用性的挑战,探讨大数据可用性方面的研究问题,并综述数据可用性方面的研究成果. 展开更多
关键词 数据 数据可用性 数据一致性 数据完整性 数据精确性 数据时效 实体同一性
在线阅读 下载PDF
基于时效评分函数和贝叶斯概率的电力变压器状态实时评估 被引量:23
7
作者 孙鹏 耿苏杰 王秀利 《高电压技术》 EI CAS CSCD 北大核心 2018年第4期1069-1077,共9页
为了有助于设备安全的动态管控,通过融合设备更新周期不同指标数据,提出电力变压器状态实时评估方法。在构建评估指标体系基础上,提出实时监测和例行试验2类指标评分值函数;同时基于设备样本和该变压器评估时间,提出结合贝叶斯后验概率... 为了有助于设备安全的动态管控,通过融合设备更新周期不同指标数据,提出电力变压器状态实时评估方法。在构建评估指标体系基础上,提出实时监测和例行试验2类指标评分值函数;同时基于设备样本和该变压器评估时间,提出结合贝叶斯后验概率与时变函数的指标权重计算方法。就综合指标劣化不均衡问题,引入变权重公式来调整计算其权重系数。样本实例计算结果显示采用该方法的评估正确率达93.5%。通过充分利用变压器本身数据信息,辅以同类型设备样本统计规律挖掘,该方法适于对电力变压器状态进行实时评估。 展开更多
关键词 电力变压器 状态实时评估 数据时效 贝叶斯概率 时变权重
在线阅读 下载PDF
基于实时监测和例行试验数据的电力变压器状态动态评估方法 被引量:17
8
作者 孙鹏 黄绪勇 +1 位作者 耿苏杰 王秀利 《电力自动化设备》 EI CSCD 北大核心 2018年第3期210-217,共8页
考虑到实时监测和例行试验数据反映变压器当前状态的差异性和互补性,提出了一种电力变压器状态动态评估方法。在构建动态评估指标体系的基础上,提出了具有时效特征的单项状态量评分函数;同时基于历史实例样本和变压器状态实时评估时间,... 考虑到实时监测和例行试验数据反映变压器当前状态的差异性和互补性,提出了一种电力变压器状态动态评估方法。在构建动态评估指标体系的基础上,提出了具有时效特征的单项状态量评分函数;同时基于历史实例样本和变压器状态实时评估时间,提出了融合关联规则置信度与时变参数的单项状态量权重计算方法。针对综合状态指标劣化不均衡问题,引入变权重公式调整权重系数。外样本实例计算结果表明所提方法的正确率达92.1%。 展开更多
关键词 电力变压器 状态评估 实时动态评估 数据时效 关联规则 变权重
在线阅读 下载PDF
遥感卫星数据预处理系统复杂任务调度模型研究与实现 被引量:1
9
作者 陈亮 李景山 《遥感信息》 CSCD 北大核心 2021年第5期98-106,共9页
针对遥感卫星数据预处理系统同时对多卫星数据处理任务进行调度时,因资源分配不合理,导致计算资源浪费、系统吞吐量低、无法满足卫星数据时效性要求的问题,提出了一种基于预处理任务性能及预处理系统工作流特性的调度模型。该模型通过... 针对遥感卫星数据预处理系统同时对多卫星数据处理任务进行调度时,因资源分配不合理,导致计算资源浪费、系统吞吐量低、无法满足卫星数据时效性要求的问题,提出了一种基于预处理任务性能及预处理系统工作流特性的调度模型。该模型通过研究预处理任务算法的一般特征,对不同资源分配情况下的任务执行时间进行预估,并根据预处理任务工作流对卫星数据产品所需总时间进行预估;在此基础上,采用基于任务时效性和系统资源利用率的二次资源动态分配算法对预处理任务进行调度。实验结果表明,该调度模型在满足多卫星数据处理的时效性要求的同时,合理地减小调度过程中存在的资源浪费,提高了系统的吞吐量。 展开更多
关键词 遥感卫星数据预处理系统 复杂任务调度 动态资源分配 卫星数据时效 吞吐量
在线阅读 下载PDF
遥感卫星CBERS-4数据接收站布局研究 被引量:1
10
作者 王维佳 章文毅 马广彬 《量子电子学报》 CAS CSCD 北大核心 2016年第1期111-117,共7页
通过分析CBERS-4遥感卫星轨道特征以及星下点轨迹特点,同时参考通信卫星测控站的布局原理,结合当前国内国际已有地面站,提出一种能够满足时间约束的CBERS-4地面接收站布局思路:在南北极布站的基础上依据星下点轨迹特点在赤道附近布站,... 通过分析CBERS-4遥感卫星轨道特征以及星下点轨迹特点,同时参考通信卫星测控站的布局原理,结合当前国内国际已有地面站,提出一种能够满足时间约束的CBERS-4地面接收站布局思路:在南北极布站的基础上依据星下点轨迹特点在赤道附近布站,尽可能地减少了布站数量。使用STK软件对布局方案进行仿真验证,研究结果可对遥感卫星地面接收站的建设以及合理规划提供重要的参考价值。 展开更多
关键词 遥感 地面站布局 数据接收时效 STK仿真
在线阅读 下载PDF
Sib-pair genetic longitudinal studies with missing not at random data
11
作者 Siyu Jiang Hong Zhang 《中国科学技术大学学报》 CSCD 北大核心 2024年第12期16-21,I0003,I0008,共8页
In the interdisciplinary realm of statistics,genetics,and epidemiology,longitudinal sibling pair data offers a unique perspective for investigating complex diseases and traits,allowing the exploration of the dynamic p... In the interdisciplinary realm of statistics,genetics,and epidemiology,longitudinal sibling pair data offers a unique perspective for investigating complex diseases and traits,allowing the exploration of the dynamic processes of gene expression over time by controlling numerous confounding factors.Missing-not-at-random(MNAR)data are commonly used in such types of studies,but no statistical methods specifically tailored have been developed to handle MNAR data in complex longitudinal data in the literature.Here,we propose a new statistical method by jointly modeling longitudinal data from sib-pairs and MNAR data.Extensive simulations demonstrate the excellent finite sample properties of the proposed method. 展开更多
关键词 complex diseases gene-time interaction longitudinal data missing-not-at-random data
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部