浅论数据抽取、净化和转换工具 被引量：13

1

作者 朱焱 《计算机应用》 CSCD 2000年第4期1-3,共3页

选择怎样的ECT(Extraction ,Cleanup ,Transformation)工具将是每个数据仓库构建者不可避免的问题。本文重点介绍ECT工具的类型 ,工作机理及它们之间的区别 ,一些著名商家的解决方法亦将作为例子给出。

关键词 数据仓库 数据抽取 数据净化 数据转换 软件工具

在线阅读 下载PDF 职称材料

数据提取、转换和装载技术研究 被引量：6

2

作者 罗会兰 《计算机工程与设计》 CSCD 2004年第5期761-765,共5页

来自企业操作环境的数据是数据仓库的数据源,通过提取、转换、装载填充数据仓库,对数据提取、转换与装载技术进行了研究与实践。对数据提取、转换与装载要解决的问题进行了详细论述并提出了相应的解决方法,并以MS SQL Server2000为例,... 来自企业操作环境的数据是数据仓库的数据源,通过提取、转换、装载填充数据仓库,对数据提取、转换与装载技术进行了研究与实践。对数据提取、转换与装载要解决的问题进行了详细论述并提出了相应的解决方法,并以MS SQL Server2000为例,介绍了可用于析取数据的一些工具。在此基础上,以电信行业话单数据载入数据仓库为实例,就如何实现各步骤进行了详细说明,提出了在数据提取、转换与装载过程中需注意的一些问题。 展开更多

关键词 数据提取 转换 装载技术 数据仓库 MS SQL SERVER2000 脚本

在线阅读 下载PDF 职称材料

基于XML的数据转换系统SuperETL 被引量：4

3

作者 柴胜 周云轩 +2 位作者 黄永平 王洪媛 王云霄 《计算机应用研究》 CSCD 北大核心 2006年第1期16-18,共3页

针对政府机构和企事业单位对数据资源整合的需求,提出一个数据转换系统SuperETL,主要介绍其设计目标、体系结构,并给出了系统中任务的XML定义标准。测试结果表明,SuperETL能够高效、智能地完成数据抽取(Extract)、清洗(C leaning)、转换... 针对政府机构和企事业单位对数据资源整合的需求,提出一个数据转换系统SuperETL,主要介绍其设计目标、体系结构,并给出了系统中任务的XML定义标准。测试结果表明,SuperETL能够高效、智能地完成数据抽取(Extract)、清洗(C leaning)、转换(Transformation)、装载(Loading)及ETL任务。 展开更多

关键词 抽取 清洗 转换 装载

在线阅读 下载PDF 职称材料

一种通用的多数据库间数据抽取方法及应用 被引量：16

4

作者 刘如九 张振山 柴天佑 《北京交通大学学报》 EI CAS CSCD 北大核心 2008年第4期14-18,共5页

为方便从多个异构的数据源中抽取转换数据、并加载到目标数据库,提出一种较为通用的抽取方法,并开发了工具软件.该方法基于客户端的方案,使用数据库驱动程序屏蔽异构数据库间的差异;数据的抽取、转换和加载由数据抽取软件执行;数据的抽... 为方便从多个异构的数据源中抽取转换数据、并加载到目标数据库,提出一种较为通用的抽取方法,并开发了工具软件.该方法基于客户端的方案,使用数据库驱动程序屏蔽异构数据库间的差异;数据的抽取、转换和加载由数据抽取软件执行;数据的抽取转换基于抽取规则,抽取规则采用可视化方法编辑生成;抽取规则存储于规则库,供多次调用修改;多个抽取任务组成抽取任务队列.开发的抽取工具软件DbBridge,支持从Oracle,SQL Server,SAS,Access,Excel等数据源抽取数据.软件成功应用于某数据仓库的建立及数据迁移工作. 展开更多

关键词 数据仓库 数据的抽取转换加载 数据迁移 关系型数据库

在线阅读 下载PDF 职称材料

基于关键属性比对的增量数据抽取方法 被引量：4

5

作者 刘胜 杨岳湘 +1 位作者 邓劲生 李阳 《计算机工程与应用》 CSCD 2012年第4期115-117,共3页

概述了ETL目前常用的增量数据抽取方法,在全表比对方法基础上,提出了基于关键属性比对的增量数据提取方法,描述了关键属性提取算法,并建立其模型,用实验验证了基于关键属性比对的方法优于全表比对方法和全表删除插入方法。

关键词 关键属性 增量数据抽取 全表比对 提取转换加载(ETL)

在线阅读 下载PDF 职称材料

ETL中的数据增量抽取机制研究 被引量：35

6

作者 戴浩 杨波 《计算机工程与设计》 CSCD 北大核心 2009年第23期5552-5555,共4页

为实现数据仓库中数据的高效更新,探讨了在数据仓库的ETL(数据的抽取、转换和装载)子系统中进行数据增量抽取时所采用的常见机制,对这些机制的原理、条件、方法以及运行效率等方面进行了详细的阐述,并从兼容性、完备性、性能和侵入性4... 为实现数据仓库中数据的高效更新,探讨了在数据仓库的ETL(数据的抽取、转换和装载)子系统中进行数据增量抽取时所采用的常见机制,对这些机制的原理、条件、方法以及运行效率等方面进行了详细的阐述,并从兼容性、完备性、性能和侵入性4个方面分析和比较了各种数据增量抽取机制的优劣性。最后,总结了选取数据增量抽取机制所应遵循的主要原则和标准。 展开更多

关键词 数据抽取转换与加载 增量抽取 数据仓库 商业智能

在线阅读 下载PDF 职称材料

数据仓库中ETL技术的研究 被引量：120

7

作者 张宁 贾自艳 史忠植 《计算机工程与应用》 CSCD 北大核心 2002年第24期213-216,共4页

作为数据仓库的关键部件,支持数据抽取、清洗、转换和装载的工具集对任何数据仓库工程都是一个必不可少的成功因素。该文简单介绍了ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位以及现有的研究成果,然后重点介绍了ETL... 作为数据仓库的关键部件,支持数据抽取、清洗、转换和装载的工具集对任何数据仓库工程都是一个必不可少的成功因素。该文简单介绍了ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位以及现有的研究成果,然后重点介绍了ETL的具体设计和实现方法。 展开更多

关键词 数据仓库 ETL 数据库 数据模型 数据抽取 数据转换 数据清洗 数据装载

在线阅读 下载PDF 职称材料

面向数据质量的ETL过程建模与实现 被引量：23

8

作者 贾自艳 黄友平 +3 位作者 罗平 李嘉佑 秦亮曦 史忠植 《系统仿真学报》 CAS CSCD 2004年第5期907-911,914,共6页

为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程... 为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程统一的体系结构设计,包括ETL元数据对象建模、ETL转换函数设计、ETL任务建模以及ETL任务模型的描述语言(XTDL)。基于该体系结构和设计思想开发出一个ETL系统—MSETL,目的是为多策略数据挖掘平台(MSMiner)提供高质量的数据。它提供友好界面并对ETL过程进行统一的元数据管理,包括:ETL转换函数的注册和删除;任务模型的生成、执行和删除等功能。 展开更多

关键词 数据仓库 数据质量 抽取-转换-装载(ETL) 数据挖掘 数据清洗

在线阅读 下载PDF 职称材料

一种可靠的数据仓库中ETL策略与架构设计 被引量：46

9

作者 尤玉林 张宪民 《计算机工程与应用》 CSCD 北大核心 2005年第10期172-174,229,共4页

作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地... 作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地介绍了数据仓库技术和ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位;然后重点介绍了这种ETL的具体策略和架构设计。 展开更多

关键词 数据仓库 ETL 数据抽取 数据转换 数据清洗 数据装载

在线阅读 下载PDF 职称材料

面向数据集成的ETL系统设计与实现 被引量：21

10

作者 钟华 冯文澜 +1 位作者 谭红星 黄涛 《计算机科学》 CSCD 北大核心 2004年第9期87-89,F004,共4页

ETL是一类用于从一个或多个业务数据库中抽取数据,进行清理转换并加截到数据仓库中的工具。这个数据抽取、转换和加载的过程能够很好地应用于数据集成领域中,实现不同机构之间数据的交换与整合。通过分析数据集成的一些特点,我们提出了... ETL是一类用于从一个或多个业务数据库中抽取数据,进行清理转换并加截到数据仓库中的工具。这个数据抽取、转换和加载的过程能够很好地应用于数据集成领域中,实现不同机构之间数据的交换与整合。通过分析数据集成的一些特点,我们提出了一个ETL过程模型,开发了一个面向数据集成的ETL系统DataIntegrator。本文对ETL过程模型、系统总体结构及若干关键技术进行论述。DataIntegrator已经应用于信息系统的建设中,为企业应用集成提供了很好的支持。 展开更多

关键词 ETL 数据集成 过程模型 数据抽取 企业应用集成 数据仓库 转换 系统总体结构 业务数据 信息系统

在线阅读 下载PDF 职称材料

基于元数据的数据整合平台 被引量：8

11

作者 林毅 宁洪 +1 位作者 王挺 刘文杰 《计算机应用》 CSCD 北大核心 2008年第S2期209-212,共4页

针对数据资源整合的共性问题,提出了一种基于元数据、结合Web服务与本体技术的数据资源共享与整合平台的实现框架(MDDI)。重点讨论了基于JavaCC设计与实现的元数据自动抽取与转换工具,该工具把与各平台相关的元数据自动提取并转换为与... 针对数据资源整合的共性问题,提出了一种基于元数据、结合Web服务与本体技术的数据资源共享与整合平台的实现框架(MDDI)。重点讨论了基于JavaCC设计与实现的元数据自动抽取与转换工具,该工具把与各平台相关的元数据自动提取并转换为与平台无关的元数据,实现了基于元模型的元数据集成,为最终实现数据的共享和整合奠定了基础。 展开更多

关键词 元数据 数据整合 抽取 转换

在线阅读 下载PDF 职称材料

面向数据质量的ETL框架的设计与实现 被引量：20

12

作者 李庆阳 彭宏 《计算机工程与设计》 CSCD 北大核心 2010年第9期2057-2060,共4页

针对传统抽取-转换-装载(ETL)架构在数据质量控制方面的不足,提出一种面向数据质量管理的ETL架构。根据ETL过程的特点,设计多数据源接口模块、ETL元数据描述模块、ETL任务描述模块和数据质量控制模块等。该架构以数据质量为核心,通过建... 针对传统抽取-转换-装载(ETL)架构在数据质量控制方面的不足,提出一种面向数据质量管理的ETL架构。根据ETL过程的特点,设计多数据源接口模块、ETL元数据描述模块、ETL任务描述模块和数据质量控制模块等。该架构以数据质量为核心,通过建立数据分析模型,利用规则推导引擎对数据分析结果生成数据清洗方案,从而有效地对数据流进行质量评估和管理。基于该设计思想开发一个ETL工具-DQETL。DQETL采用统一建模语言进行设计,并提供友好界面对ETL过程进行集中管理。最后,结合实例阐述了在该框架下进行数据质量管理的一般步骤。 展开更多

关键词 数据仓库 数据质量 抽取-转换-装载(ETL) 规则推导 数据清洗

在线阅读 下载PDF 职称材料

地学空间数据仓库的构建技术 被引量：15

13

作者 王永志 高光大 +1 位作者 杨毅恒 陈苗 《地质通报》 CAS CSCD 北大核心 2008年第5期713-718,共6页

为了将中国多源、异构、分散的地学数据集中到一起,为资源评价提供有效的数据供应,将地学空间数据仓库作为实现数据集成的解决方案。首次提出了符合中国国情的具有数据源、空间ETL、空间数据存储、基于SOA的应用服务和客户应用的5层地... 为了将中国多源、异构、分散的地学数据集中到一起,为资源评价提供有效的数据供应,将地学空间数据仓库作为实现数据集成的解决方案。首次提出了符合中国国情的具有数据源、空间ETL、空间数据存储、基于SOA的应用服务和客户应用的5层地学空间数据仓库的体系结构。根据中国地质行业行政划分和数据的分布情况,设计了能够实现地学数据集成的国家、大区所、省三级管理的地学空间数据仓库系统的物理部署方案。这是一套符合中国地学实际情况且完整可行的地学数据集成方案。 展开更多

关键词 地学空间数据仓库 数据集市 空间数据抽取 转换和集成 面向服务的体系结构

在线阅读 下载PDF 职称材料

基于规则引擎的数据清洗 被引量：18

14

作者 叶舟 王东 《计算机工程》 EI CAS CSCD 北大核心 2006年第23期52-54,共3页

以往的数据清洗研究存在以下缺陷:检测和修复动作要么使用灵活性差的硬编码,要么依靠灵活却低效的人工判断。该文提出了一个使用规则来描述清洗逻辑,使用规则引擎来执行清洗逻辑,从而能够处理各种数据质量问题的数据清洗架构REBDCA,解... 以往的数据清洗研究存在以下缺陷:检测和修复动作要么使用灵活性差的硬编码,要么依靠灵活却低效的人工判断。该文提出了一个使用规则来描述清洗逻辑,使用规则引擎来执行清洗逻辑,从而能够处理各种数据质量问题的数据清洗架构REBDCA,解决了该问题。展示了REBDCA和一个ETL工具的集成,测试了REBDCA的性能,并和用硬编码完成相同逻辑的方案进行了性能对比。 展开更多

关键词 规则引擎 数据清洗 抽取-转换-装载

在线阅读 下载PDF 职称材料

基于元数据驱动的通用数据迁移工具 被引量：10

15

作者 任庆东 李天阳 +1 位作者 袁满 许翰文 《大庆石油学院学报》 CAS 北大核心 2011年第1期76-80,119-120,共5页

为解决企业数据模型升级需要在数据库间实现数据迁移的问题,创建基于元数据驱动的通用数据迁移工具,分析数据抽取、转换和加载体系结构,采用元数据驱动技术,结合企业数据迁移需求,定义数据迁移通用框架模型体系;处理映射模式的元数据表... 为解决企业数据模型升级需要在数据库间实现数据迁移的问题,创建基于元数据驱动的通用数据迁移工具,分析数据抽取、转换和加载体系结构,采用元数据驱动技术,结合企业数据迁移需求,定义数据迁移通用框架模型体系;处理映射模式的元数据表示,实现用元数据描述与存储映射模式.该方法实现用元数据驱动数据抽取、转换和加载引擎功能,技术与功能在中国石油数据中心大型数据迁移中应用,取得良好效果. 展开更多

关键词 数据迁移 元数据驱动 数据抽取、转换和加载体系 映射模式 元数据映射

在线阅读 下载PDF 职称材料

调度自动化系统增强型数据仓库平台构建及应用 被引量：11

16

作者 何晓峰 王钢 李海锋 《电力系统自动化》 EI CSCD 北大核心 2008年第4期81-84,102,共5页

数据仓库是信息管理和分析型应用的有效平台。文中针对目前数据仓库不能支持实时数据存储处理和短时战术决策的局限性,提出了一种调度自动化系统增强型数据仓库平台体系结构,主要由信息一体化节点、实时数据处理中心、主动数据仓库和系... 数据仓库是信息管理和分析型应用的有效平台。文中针对目前数据仓库不能支持实时数据存储处理和短时战术决策的局限性,提出了一种调度自动化系统增强型数据仓库平台体系结构,主要由信息一体化节点、实时数据处理中心、主动数据仓库和系统管理工具等构成,从而实现了数据抽取和转换能力、实时响应性能以及对突发事件捕获能力的增强。在已投入电网运行的自开发SCUT2008电网调度自动化系统中的应用与测试,证明了其性能的增强。 展开更多

关键词 调度自动化系统 数据仓库 抽取 转换和加载(ETL) 实时数据库 主动规则

在线阅读 下载PDF 职称材料

数据仓库中的数据集成 被引量：4

17

作者 贾旭光 黄厚宽 黄婉秋 《北方交通大学学报》 CSCD 北大核心 2002年第2期34-39,共6页

首先提出了数据仓库中数据集成的一个总体框架 ;然后探讨了数据集成在数据仓库设计方案中的作用、所要解决的问题、工作流程等 ;最后 ,介绍作者依据这一框架所开发的”铁路货票信息综合利用系统数据仓库解决方案”的数据集成工具DWE DI.

关键词 数据仓库 数据集成 抽取 转换 清理 装载

在线阅读 下载PDF 职称材料

基于ETL的金融数据集成过程模型 被引量：5

18

作者 苌程 李善平 《计算机工程与设计》 CSCD 北大核心 2010年第9期2070-2072,2104,共4页

为了将频繁产生的分布在世界各地的金融数据按需地高性能集成,提出了基于ETL(extract-transform-load)的金融数据集成过程模型。对规则引擎原理进行了研究,建立了基于业务转换规则的插件式扩展实现可复用可定制的业务转换过程。利用事... 为了将频繁产生的分布在世界各地的金融数据按需地高性能集成,提出了基于ETL(extract-transform-load)的金融数据集成过程模型。对规则引擎原理进行了研究,建立了基于业务转换规则的插件式扩展实现可复用可定制的业务转换过程。利用事件驱动的交互模型和元数据映射保证非结构化和半结构化数据之间无差异集成,采用增量式数据处理解决数据集成中棘手的性能问题。通过实践项目的验证,对比传统数据集成方法和该过程模型,验证了该过程模型的有效性。 展开更多

关键词 数据抽取转换装载 数据集成 元数据映射 业务规则转换 按需交互

在线阅读 下载PDF 职称材料

数字化车间多源异构质量数据集成方案研究 被引量：7

19

作者 张培 黄智源 +3 位作者 陈琨 范营营 崔冰华 于艳鹏 《现代制造工程》 CSCD 北大核心 2015年第1期59-65,共7页

针对数字化制造中多源异构质量数据信息量大且缺乏统一、规范和标准化数据管理的问题,提出一种基于面向对象技术和基于映像的数据抽取、转换和加载(Extract-Transform-Load,ETL)技术的异构数据集成方案,该方案简单实用,具有很高的通用性... 针对数字化制造中多源异构质量数据信息量大且缺乏统一、规范和标准化数据管理的问题,提出一种基于面向对象技术和基于映像的数据抽取、转换和加载(Extract-Transform-Load,ETL)技术的异构数据集成方案,该方案简单实用,具有很高的通用性,可提高异构数据的提取精度,有效地解决多源异构质量数据集成问题。 展开更多

关键词 数字化制造 多源异构 面向对象技术 映像 数据抽取 转换和加载(ETL) 数据集成

在线阅读 下载PDF 职称材料

公共数据中心的ETL系统设计与实现 被引量：10

20

作者 赵俊 夏小玲 《计算机应用与软件》 CSCD 2011年第10期167-169,190,共4页

ETL过程是构建数据仓库的重要步骤。大多数现有ETL系统在数据量较大时处理效率偏低。根据ETL在公共数据中心的实际应用改进了原有的ETL结构。鉴于公共数据保密性的特点,设计了数据不同的获取方式;在设置数据转换规则的过程中结合相应领... ETL过程是构建数据仓库的重要步骤。大多数现有ETL系统在数据量较大时处理效率偏低。根据ETL在公共数据中心的实际应用改进了原有的ETL结构。鉴于公共数据保密性的特点,设计了数据不同的获取方式;在设置数据转换规则的过程中结合相应领域知识,保证数据质量;前置机之间实行负载均衡,同时把数据转换的不同步骤分配到两台ETL服务器来完成,保证抽取和转换效率。通过实验证明了该ETL系统具有较好的效率。 展开更多

关键词 ETL 数据仓库 数据抽取 数据转换 数据质量

在线阅读 下载PDF 职称材料