期刊文献+
共找到179篇文章
< 1 2 9 >
每页显示 20 50 100
面向数据质量的ETL过程建模与实现 被引量:23
1
作者 贾自艳 黄友平 +3 位作者 罗平 李嘉佑 秦亮曦 史忠植 《系统仿真学报》 CAS CSCD 2004年第5期907-911,914,共6页
为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程... 为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程统一的体系结构设计,包括ETL元数据对象建模、ETL转换函数设计、ETL任务建模以及ETL任务模型的描述语言(XTDL)。基于该体系结构和设计思想开发出一个ETL系统—MSETL,目的是为多策略数据挖掘平台(MSMiner)提供高质量的数据。它提供友好界面并对ETL过程进行统一的元数据管理,包括:ETL转换函数的注册和删除;任务模型的生成、执行和删除等功能。 展开更多
关键词 数据仓库 数据质量 抽取-转换-装载(etl) 数据挖掘 数据清洗
在线阅读 下载PDF
数据仓库中ETL技术的研究 被引量:120
2
作者 张宁 贾自艳 史忠植 《计算机工程与应用》 CSCD 北大核心 2002年第24期213-216,共4页
作为数据仓库的关键部件,支持数据抽取、清洗、转换和装载的工具集对任何数据仓库工程都是一个必不可少的成功因素。该文简单介绍了ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位以及现有的研究成果,然后重点介绍了ETL... 作为数据仓库的关键部件,支持数据抽取、清洗、转换和装载的工具集对任何数据仓库工程都是一个必不可少的成功因素。该文简单介绍了ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位以及现有的研究成果,然后重点介绍了ETL的具体设计和实现方法。 展开更多
关键词 数据仓库 etl 数据库 数据模型 数据抽取 数据转换 数据清洗 数据装载
在线阅读 下载PDF
数据仓库中ETL技术的探讨与实践 被引量:31
3
作者 王克龙 王玲 +1 位作者 王平立 宋斌 《计算机应用与软件》 CSCD 北大核心 2005年第11期30-31,78,共3页
支持数据抽取、转换、清洗和装载的工具集对任何数据仓库工程都是一个必不可少的关键部件。本文重点探讨了ETL技术以及ETL工具的选择原则,并结合具体实例详细介绍了ETL过程的设计和实现方法。
关键词 数据仓库 etl技术 数据抽取 数据挖掘 联机分析 可靠性
在线阅读 下载PDF
面向数据质量的ETL框架的设计与实现 被引量:20
4
作者 李庆阳 彭宏 《计算机工程与设计》 CSCD 北大核心 2010年第9期2057-2060,共4页
针对传统抽取-转换-装载(ETL)架构在数据质量控制方面的不足,提出一种面向数据质量管理的ETL架构。根据ETL过程的特点,设计多数据源接口模块、ETL元数据描述模块、ETL任务描述模块和数据质量控制模块等。该架构以数据质量为核心,通过建... 针对传统抽取-转换-装载(ETL)架构在数据质量控制方面的不足,提出一种面向数据质量管理的ETL架构。根据ETL过程的特点,设计多数据源接口模块、ETL元数据描述模块、ETL任务描述模块和数据质量控制模块等。该架构以数据质量为核心,通过建立数据分析模型,利用规则推导引擎对数据分析结果生成数据清洗方案,从而有效地对数据流进行质量评估和管理。基于该设计思想开发一个ETL工具-DQETL。DQETL采用统一建模语言进行设计,并提供友好界面对ETL过程进行集中管理。最后,结合实例阐述了在该框架下进行数据质量管理的一般步骤。 展开更多
关键词 数据仓库 数据质量 抽取-转换-装载(etl) 规则推导 数据清洗
在线阅读 下载PDF
数据ETL工具通用框架设计 被引量:27
5
作者 周宏广 周继承 +1 位作者 彭银桥 龙思锐 《计算机应用》 CSCD 北大核心 2003年第12期96-98,共3页
异构多数据源集成和数据清洗是将操作数据导入数据仓库过程中面临的两大挑战。从实践角度设计了数据ETL工具的整体框架,使用通用数据访问接口来屏蔽各种数据源之间的差异,并以数据清洗为主要目的,为消除多数据源的模式冲突和数据冲突提... 异构多数据源集成和数据清洗是将操作数据导入数据仓库过程中面临的两大挑战。从实践角度设计了数据ETL工具的整体框架,使用通用数据访问接口来屏蔽各种数据源之间的差异,并以数据清洗为主要目的,为消除多数据源的模式冲突和数据冲突提供了通用而有效的解决方案。 展开更多
关键词 数据etl 数据集成 数据清洗
在线阅读 下载PDF
基于语义树的非结构化年鉴Excel表格的ETL方法 被引量:3
6
作者 赵乐 赵宏宇 +1 位作者 刘斌 陈彦如 《计算机应用》 CSCD 北大核心 2021年第S02期131-135,共5页
针对计算机程序在对海量Excel表格中的中国城市年鉴数据进行抽取-转换-加载(ETL)时由于表格的非结构化格式导致的准确率和查全率较低的问题,提出了一种基于语义树的ETL方法。首先,通过数据与表格行名、列名的对应关系分别建立两棵语义... 针对计算机程序在对海量Excel表格中的中国城市年鉴数据进行抽取-转换-加载(ETL)时由于表格的非结构化格式导致的准确率和查全率较低的问题,提出了一种基于语义树的ETL方法。首先,通过数据与表格行名、列名的对应关系分别建立两棵语义树模型,利用两棵语义树生成包含数据项以及数据项所属行名、列名的元数据集合;然后,通过正则表达式对每个元数据所属行名、列名进行语义匹配,从该集合中删除不需要的分项或汇总项元数据;接着,通过三种基于字典的过滤策略进一步做数据清洗,将剩余的元数据导入到数据仓库中;最后,从总量30万个统计年鉴表格中随机抽取604个进行程序ETL与人工ETL对比,实验结果表明,所提出的程序ETL可达到人工ETL86.51%的准确率和95.15%的查全率,可以满足考察地方发展现状、编制和发展未来规划的需求。 展开更多
关键词 EXCEL表格 抽取-转换-加载 语义树 正则表达式 数据仓库
在线阅读 下载PDF
增量ETL过程自动化产生方法的研究 被引量:19
7
作者 张旭峰 孙未未 +2 位作者 汪卫 冯雅慧 施伯乐 《计算机研究与发展》 EI CSCD 北大核心 2006年第6期1097-1103,共7页
ETL过程用于将数据从数据源装载到数据仓库中,它可以被划分为两种类型:全量ETL过程和增量ETL过程·全量ETL过程只能处理全量数据,但易于设计·而增量ETL过程设计起来比较复杂,但适用于处理增量数据·主要对增量ETL过程的自... ETL过程用于将数据从数据源装载到数据仓库中,它可以被划分为两种类型:全量ETL过程和增量ETL过程·全量ETL过程只能处理全量数据,但易于设计·而增量ETL过程设计起来比较复杂,但适用于处理增量数据·主要对增量ETL过程的自动化产生方法进行了研究,根据已有的全量ETL过程,可以自动产生增量ETL过程,从而降低设计增量ETL过程的代价·利用已有的物化视图增量维护的方法,给出了根据全量ETL过程自动产生增量ETL过程的方法·但是已有的研究集中在包含选择、投影、联接和聚合运算情况下物化视图的增量维护,未见对包括差运算情况下的讨论·作为研究工作的基础,还详细讨论了包含差运算情况下物化视图的增量维护问题· 展开更多
关键词 etl 数据仓库 增量维护 物化视图 自维护
在线阅读 下载PDF
面向数据集成的ETL系统设计与实现 被引量:21
8
作者 钟华 冯文澜 +1 位作者 谭红星 黄涛 《计算机科学》 CSCD 北大核心 2004年第9期87-89,F004,共4页
ETL是一类用于从一个或多个业务数据库中抽取数据,进行清理转换并加截到数据仓库中的工具。这个数据抽取、转换和加载的过程能够很好地应用于数据集成领域中,实现不同机构之间数据的交换与整合。通过分析数据集成的一些特点,我们提出了... ETL是一类用于从一个或多个业务数据库中抽取数据,进行清理转换并加截到数据仓库中的工具。这个数据抽取、转换和加载的过程能够很好地应用于数据集成领域中,实现不同机构之间数据的交换与整合。通过分析数据集成的一些特点,我们提出了一个ETL过程模型,开发了一个面向数据集成的ETL系统DataIntegrator。本文对ETL过程模型、系统总体结构及若干关键技术进行论述。DataIntegrator已经应用于信息系统的建设中,为企业应用集成提供了很好的支持。 展开更多
关键词 etl 数据集成 过程模型 数据抽取 企业应用集成 数据仓库 转换 系统总体结构 业务数据 信息系统
在线阅读 下载PDF
一种可靠的数据仓库中ETL策略与架构设计 被引量:46
9
作者 尤玉林 张宪民 《计算机工程与应用》 CSCD 北大核心 2005年第10期172-174,229,共4页
作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地... 作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地介绍了数据仓库技术和ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位;然后重点介绍了这种ETL的具体策略和架构设计。 展开更多
关键词 数据仓库 etl 数据抽取 数据转换 数据清洗 数据装载
在线阅读 下载PDF
基于电信数据仓库系统的ETL研究与设计 被引量:12
10
作者 李颖 郝克刚 葛玮 《计算机应用与软件》 CSCD 2009年第1期178-180,共3页
电信行业大都建立了自己的数据仓库系统,而建立数据仓库的最重要环节便是数据的抽取、转换和加载ETL(Extracting、Transformation、Loading)。通过对现有ETL系统的分析研究,设计并部分实现了基于某省电信公司数据仓库的ETL系统。采取XM... 电信行业大都建立了自己的数据仓库系统,而建立数据仓库的最重要环节便是数据的抽取、转换和加载ETL(Extracting、Transformation、Loading)。通过对现有ETL系统的分析研究,设计并部分实现了基于某省电信公司数据仓库的ETL系统。采取XML格式编辑整个ETL过程,实现部分图形化交互界面,并针对电信系统大数据量的特点,提出性能优化及改进的方法,提高了ETL效率。 展开更多
关键词 etl 电信 数据仓库 大数据量
在线阅读 下载PDF
一种元数据驱动的ETL方法的研究 被引量:15
11
作者 宋杰 王大玲 +1 位作者 鲍玉斌 于戈 《小型微型计算机系统》 CSCD 北大核心 2007年第12期2167-2173,共7页
数据仓库研究中最重要的问题之一是对ETL方法的研究.本研究提出ETL工具是元数据驱动的,以提供更好的柔性机制、扩展能力和可操作性.本文给出了一种基于SQL的元数据驱动的ETL方法的设计和实现细节,并且以国家海洋环境数据仓库为例,证明... 数据仓库研究中最重要的问题之一是对ETL方法的研究.本研究提出ETL工具是元数据驱动的,以提供更好的柔性机制、扩展能力和可操作性.本文给出了一种基于SQL的元数据驱动的ETL方法的设计和实现细节,并且以国家海洋环境数据仓库为例,证明了这种方法的高效性. 展开更多
关键词 etl 数据仓库 元数据
在线阅读 下载PDF
基于MapReduce的分布式ETL体系结构研究 被引量:9
12
作者 宋杰 郝文宁 +2 位作者 陈刚 靳大尉 赵水宁 《计算机科学》 CSCD 北大核心 2013年第6期152-154,共3页
针对传统ETL工具集中式执行方式的不足,提出了一种基于MapReduce的分布式ETL体系结构——MDETL(MapReduce Distributed ETL)。该体系结构采用MapReduce并发处理海量数据的并行编程模型,结合分布式ETL的集群运算方法,实现了集群分布式执... 针对传统ETL工具集中式执行方式的不足,提出了一种基于MapReduce的分布式ETL体系结构——MDETL(MapReduce Distributed ETL)。该体系结构采用MapReduce并发处理海量数据的并行编程模型,结合分布式ETL的集群运算方法,实现了集群分布式执行ETL流程,从而提高了整个ETL系统的灵活性和吞吐率,并具有较好的可扩展性和负载平衡性能,提高了执行效率。 展开更多
关键词 etl MAPREDUCE 分布式
在线阅读 下载PDF
地理编码在空间数据仓库ETL中的应用 被引量:11
13
作者 陈细谦 迟忠先 +1 位作者 昃宗亮 苏立强 《小型微型计算机系统》 CSCD 北大核心 2005年第4期628-630,共3页
空间数据仓库可以有效地管理和利用空间信息以便支持空间分析和决策支持.在空间数据的抽取、转换和加载中如何有效地把非空间信息与空间信息融合起来,是空间数据仓库ETL实现的难点.将地理编码技术引入到空间数据仓库ETL中,给出了融合地... 空间数据仓库可以有效地管理和利用空间信息以便支持空间分析和决策支持.在空间数据的抽取、转换和加载中如何有效地把非空间信息与空间信息融合起来,是空间数据仓库ETL实现的难点.将地理编码技术引入到空间数据仓库ETL中,给出了融合地理编码模块的ETL体系机构.同时为了提高地址匹配能力,将动态规划算法应用到地理编码地址匹配中,并对算法做了改进,给出了完整的应用示例. 展开更多
关键词 地理编码 空间数据仓库 etl 动态规划
在线阅读 下载PDF
数据ETL研究综述 被引量:111
14
作者 徐俊刚 裴莹 《计算机科学》 CSCD 北大核心 2011年第4期15-20,共6页
数据抽取、转换和装载(Extraction,Transformation and Loading,简称ETL)是数据仓库化的关键环节,对数据仓库数据质量有着至关重要的影响。随着信息化的发展,ETL已经成为当前较活跃的研究领域之一,但是ETL理论和技术的发展还不成熟。针... 数据抽取、转换和装载(Extraction,Transformation and Loading,简称ETL)是数据仓库化的关键环节,对数据仓库数据质量有着至关重要的影响。随着信息化的发展,ETL已经成为当前较活跃的研究领域之一,但是ETL理论和技术的发展还不成熟。针对当前ETL研究中存在的一些问题和需要考虑的各种因素,从ETL各个阶段存在的主要问题出发,列举了各种研究方法及研究成果,并进行了分析。最后,总结并提出了ETL的未来研究方向和今后工作的建议。 展开更多
关键词 etl 数据仓库 数据质量 元数据
在线阅读 下载PDF
ETL执行的流水线优化 被引量:15
15
作者 韩京宇 徐立臻 董逸生 《小型微型计算机系统》 CSCD 北大核心 2005年第6期1013-1017,共5页
ETL工具是构建和维护数据仓库的基本构件,由于它处理的是海量数据,如何有效地加快响应时间成为值得研究的问题.本文提出了ETL过程的“主表衍生”模式,并针对这种模式采用流水线算法来提高并行性从而加快ETL过程的响应时间,理论分析和实... ETL工具是构建和维护数据仓库的基本构件,由于它处理的是海量数据,如何有效地加快响应时间成为值得研究的问题.本文提出了ETL过程的“主表衍生”模式,并针对这种模式采用流水线算法来提高并行性从而加快ETL过程的响应时间,理论分析和实验表明具有好的效果. 展开更多
关键词 etl 数据仓库 流水线
在线阅读 下载PDF
数据仓库ETL中相似重复记录的检测方法及应用 被引量:15
16
作者 张永 迟忠先 闫德勤 《计算机应用》 CSCD 北大核心 2006年第4期880-882,共3页
检测和消除数据仓库中的相似重复记录是数据清洗和提高数据质量要解决的主要问题之一。将位置编码技术引入到数据仓库ETL中,提出了一种相似重复记录的检测算法PCM(位置编码方法)。该算法不仅可以应用到西文字符集中,而且也成功的应用到... 检测和消除数据仓库中的相似重复记录是数据清洗和提高数据质量要解决的主要问题之一。将位置编码技术引入到数据仓库ETL中,提出了一种相似重复记录的检测算法PCM(位置编码方法)。该算法不仅可以应用到西文字符集中,而且也成功的应用到了中文字符集中,实例表明该算法具有很好的效果。 展开更多
关键词 位置编码 数据仓库 etl 相似重复记录
在线阅读 下载PDF
基于CEP引擎的配电网运行监控信号大数据ETL方法 被引量:14
17
作者 葛贤军 艾明浩 +2 位作者 李志宏 汪旭 陈乃仕 《电工电能新技术》 CSCD 北大核心 2017年第9期36-42,共7页
电力系统规模在不断扩大,配电网电气设备数量急剧增长且趋于精细化。大量且散乱的运行监控数据使得主动配电网各应用无法快速有效地提取有用信息以形成决策支持。本文利用复杂事件处理(CEP)引擎作为运行监控信号处理核心,通过Apriori机... 电力系统规模在不断扩大,配电网电气设备数量急剧增长且趋于精细化。大量且散乱的运行监控数据使得主动配电网各应用无法快速有效地提取有用信息以形成决策支持。本文利用复杂事件处理(CEP)引擎作为运行监控信号处理核心,通过Apriori机器学习算法定义和完善规则库,通过核心算法库对信号数据流进行规范化处理。整体采用ETL(Extract-Transform-Load)框架,将主动配电网中分散、零乱、标准不统一的信号数据整合、清洗后加载到数据仓库,并以多种数据接口输出至不同介质,供不同应用调用。基于CEP引擎的大数据ETL方法,可对运行监控信号进行快速、精确、有效的规范化处理,实现多数据源集成与输出,为主动配电网设备仿真、故障分析、状态估计等多种重要应用提供数据准备。 展开更多
关键词 CEP引擎 运行监控 大数据 etl 主动配电网 规范化
在线阅读 下载PDF
数据仓库系统中Excel文档数据的ETL方法研究与实现 被引量:7
18
作者 周大海 安云哲 +1 位作者 夏秀峰 于戈 《小型微型计算机系统》 CSCD 北大核心 2007年第10期1813-1816,共4页
数据仓库的数据来源于组织内部的OLTP系统和其它格式的内部、外部数据,它们之中的许多是按照Microsoft Excel格式予以组织的,如何通过ETL程序将该格式的数据转换成数据仓库中有用的信息是目前亟待解决的问题.首先叙述了Excel文件的结构... 数据仓库的数据来源于组织内部的OLTP系统和其它格式的内部、外部数据,它们之中的许多是按照Microsoft Excel格式予以组织的,如何通过ETL程序将该格式的数据转换成数据仓库中有用的信息是目前亟待解决的问题.首先叙述了Excel文件的结构和Java Excel API的使用方法,给出了Java读取Excel文档的操作步骤,结合实例说明了从Excel文件向数据仓库实现抽取及存储的过程和方法. 展开更多
关键词 数据仓库 外部数据 etl EXCEL文档
在线阅读 下载PDF
结构图ETL概念模型的设计方法 被引量:3
19
作者 张忠平 赵瑞珍 《计算机工程与应用》 CSCD 北大核心 2009年第6期161-164,共4页
ETL过程是数据仓库获得高质量数据的重要环节,是任何数据仓库工程不可缺少的成功因素。为了便于ETL过程的设计和维护,降低ETL过程的设计、维护代价,提出一种基于结构图的ETL概念模型设计方法,给出一个用于描述ETL过程的模型,并基于CWM... ETL过程是数据仓库获得高质量数据的重要环节,是任何数据仓库工程不可缺少的成功因素。为了便于ETL过程的设计和维护,降低ETL过程的设计、维护代价,提出一种基于结构图的ETL概念模型设计方法,给出一个用于描述ETL过程的模型,并基于CWM完成用以存储元数据的ETL元模型的设计。通过图形化ETL过程中的元素和关联,该模型清晰直观地反映了各个源数据库与目标数据仓库的内部结构和组成、数据的来源与流向、源数据和目标数据之间的映射和转换关系,辅助设计人员更好地进行ETL过程的设计和编码实现,使整个ETL的设计与维护过程更加方便、灵活、有效。 展开更多
关键词 数据仓库 数据抽取 转换 加载 结构图 概念模型
在线阅读 下载PDF
基于ETL的数据集成优化研究与实现 被引量:10
20
作者 王世水 王元元 高应波 《天津工业大学学报》 CAS 北大核心 2013年第3期78-81,共4页
通过分析数据源的数据量和异构数据库系统环境等情况,提出基于ETL技术的异构数据集成优化方案.对实验验证数据与现有集成方法进行对比和效能评估得出结果:该解决方案对异构数据源的集成效率较高,尤其是针对海量数据效果尤其明显.
关键词 异构数据 etl 数据集成 XML
在线阅读 下载PDF
上一页 1 2 9 下一页 到第
使用帮助 返回顶部