数据仓库中ETL技术的研究 被引量：120

1

作者 张宁 贾自艳 史忠植 《计算机工程与应用》 CSCD 北大核心 2002年第24期213-216,共4页

作为数据仓库的关键部件,支持数据抽取、清洗、转换和装载的工具集对任何数据仓库工程都是一个必不可少的成功因素。该文简单介绍了ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位以及现有的研究成果,然后重点介绍了ETL... 作为数据仓库的关键部件,支持数据抽取、清洗、转换和装载的工具集对任何数据仓库工程都是一个必不可少的成功因素。该文简单介绍了ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位以及现有的研究成果,然后重点介绍了ETL的具体设计和实现方法。 展开更多

关键词 数据仓库 etl 数据库 数据模型 数据抽取 数据转换 数据清洗 数据装载

在线阅读 下载PDF 职称材料

面向数据质量的ETL过程建模与实现 被引量：23

2

作者 贾自艳 黄友平 +3 位作者 罗平 李嘉佑 秦亮曦 史忠植 《系统仿真学报》 CAS CSCD 2004年第5期907-911,914,共6页

为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程... 为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程统一的体系结构设计,包括ETL元数据对象建模、ETL转换函数设计、ETL任务建模以及ETL任务模型的描述语言(XTDL)。基于该体系结构和设计思想开发出一个ETL系统—MSETL,目的是为多策略数据挖掘平台(MSMiner)提供高质量的数据。它提供友好界面并对ETL过程进行统一的元数据管理,包括:ETL转换函数的注册和删除;任务模型的生成、执行和删除等功能。 展开更多

关键词 数据仓库 数据质量 抽取-转换-装载(etl) 数据挖掘 数据清洗

在线阅读 下载PDF 职称材料

数据仓库中ETL技术的探讨与实践 被引量：31

3

作者 王克龙 王玲 +1 位作者 王平立 宋斌 《计算机应用与软件》 CSCD 北大核心 2005年第11期30-31,78,共3页

支持数据抽取、转换、清洗和装载的工具集对任何数据仓库工程都是一个必不可少的关键部件。本文重点探讨了ETL技术以及ETL工具的选择原则,并结合具体实例详细介绍了ETL过程的设计和实现方法。

关键词 数据仓库 etl技术 数据抽取 数据挖掘 联机分析 可靠性

在线阅读 下载PDF 职称材料

一种可靠的数据仓库中ETL策略与架构设计 被引量：46

4

作者 尤玉林 张宪民 《计算机工程与应用》 CSCD 北大核心 2005年第10期172-174,229,共4页

作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地... 作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地介绍了数据仓库技术和ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位;然后重点介绍了这种ETL的具体策略和架构设计。 展开更多

关键词 数据仓库 etl 数据抽取 数据转换 数据清洗 数据装载

在线阅读 下载PDF 职称材料

一种标准的ETL的设计思想及其实现 被引量：14

5

作者 程跟上 郑洪源 丁秋林 《计算机应用研究》 CSCD 北大核心 2005年第3期101-103,共3页

元数据在数据仓库系统中占据着十分重要的地位,其中存放着许多重要的信息,尤其是对于数据仓库的ETL过程,可以说是ETL的指挥中心。提出了以CWM元数据模型标准为基础来开发标准的ETL的设计思想,并描述了具体的开发步骤。

关键词 etl CWM 抽取元数据 转换元数据 加载元数据

在线阅读 下载PDF 职称材料

基于电信数据仓库系统的ETL研究与设计 被引量：12

6

作者 李颖 郝克刚 葛玮 《计算机应用与软件》 CSCD 2009年第1期178-180,共3页

电信行业大都建立了自己的数据仓库系统,而建立数据仓库的最重要环节便是数据的抽取、转换和加载ETL(Extracting、Transformation、Loading)。通过对现有ETL系统的分析研究,设计并部分实现了基于某省电信公司数据仓库的ETL系统。采取XM... 电信行业大都建立了自己的数据仓库系统,而建立数据仓库的最重要环节便是数据的抽取、转换和加载ETL(Extracting、Transformation、Loading)。通过对现有ETL系统的分析研究,设计并部分实现了基于某省电信公司数据仓库的ETL系统。采取XML格式编辑整个ETL过程,实现部分图形化交互界面,并针对电信系统大数据量的特点,提出性能优化及改进的方法,提高了ETL效率。 展开更多

关键词 etl 电信 数据仓库 大数据量

在线阅读 下载PDF 职称材料

面向数据质量的ETL框架的设计与实现 被引量：20

7

作者 李庆阳 彭宏 《计算机工程与设计》 CSCD 北大核心 2010年第9期2057-2060,共4页

针对传统抽取-转换-装载(ETL)架构在数据质量控制方面的不足,提出一种面向数据质量管理的ETL架构。根据ETL过程的特点,设计多数据源接口模块、ETL元数据描述模块、ETL任务描述模块和数据质量控制模块等。该架构以数据质量为核心,通过建... 针对传统抽取-转换-装载(ETL)架构在数据质量控制方面的不足,提出一种面向数据质量管理的ETL架构。根据ETL过程的特点,设计多数据源接口模块、ETL元数据描述模块、ETL任务描述模块和数据质量控制模块等。该架构以数据质量为核心,通过建立数据分析模型,利用规则推导引擎对数据分析结果生成数据清洗方案,从而有效地对数据流进行质量评估和管理。基于该设计思想开发一个ETL工具-DQETL。DQETL采用统一建模语言进行设计,并提供友好界面对ETL过程进行集中管理。最后,结合实例阐述了在该框架下进行数据质量管理的一般步骤。 展开更多

关键词 数据仓库 数据质量 抽取-转换-装载(etl) 规则推导 数据清洗

在线阅读 下载PDF 职称材料

基于语义树的非结构化年鉴Excel表格的ETL方法 被引量：3

8

作者 赵乐 赵宏宇 +1 位作者 刘斌 陈彦如 《计算机应用》 CSCD 北大核心 2021年第S02期131-135,共5页

针对计算机程序在对海量Excel表格中的中国城市年鉴数据进行抽取-转换-加载(ETL)时由于表格的非结构化格式导致的准确率和查全率较低的问题,提出了一种基于语义树的ETL方法。首先,通过数据与表格行名、列名的对应关系分别建立两棵语义... 针对计算机程序在对海量Excel表格中的中国城市年鉴数据进行抽取-转换-加载(ETL)时由于表格的非结构化格式导致的准确率和查全率较低的问题,提出了一种基于语义树的ETL方法。首先,通过数据与表格行名、列名的对应关系分别建立两棵语义树模型,利用两棵语义树生成包含数据项以及数据项所属行名、列名的元数据集合;然后,通过正则表达式对每个元数据所属行名、列名进行语义匹配,从该集合中删除不需要的分项或汇总项元数据;接着,通过三种基于字典的过滤策略进一步做数据清洗,将剩余的元数据导入到数据仓库中;最后,从总量30万个统计年鉴表格中随机抽取604个进行程序ETL与人工ETL对比,实验结果表明,所提出的程序ETL可达到人工ETL86.51%的准确率和95.15%的查全率,可以满足考察地方发展现状、编制和发展未来规划的需求。 展开更多

关键词 EXCEL表格 抽取-转换-加载 语义树 正则表达式 数据仓库

在线阅读 下载PDF 职称材料

结构图ETL概念模型的设计方法 被引量：3

9

作者 张忠平 赵瑞珍 《计算机工程与应用》 CSCD 北大核心 2009年第6期161-164,共4页

ETL过程是数据仓库获得高质量数据的重要环节,是任何数据仓库工程不可缺少的成功因素。为了便于ETL过程的设计和维护,降低ETL过程的设计、维护代价,提出一种基于结构图的ETL概念模型设计方法,给出一个用于描述ETL过程的模型,并基于CWM... ETL过程是数据仓库获得高质量数据的重要环节,是任何数据仓库工程不可缺少的成功因素。为了便于ETL过程的设计和维护,降低ETL过程的设计、维护代价,提出一种基于结构图的ETL概念模型设计方法,给出一个用于描述ETL过程的模型,并基于CWM完成用以存储元数据的ETL元模型的设计。通过图形化ETL过程中的元素和关联,该模型清晰直观地反映了各个源数据库与目标数据仓库的内部结构和组成、数据的来源与流向、源数据和目标数据之间的映射和转换关系,辅助设计人员更好地进行ETL过程的设计和编码实现,使整个ETL的设计与维护过程更加方便、灵活、有效。 展开更多

关键词 数据仓库 数据抽取 转换 加载 结构图 概念模型

在线阅读 下载PDF 职称材料

基于模型驱动的ETL模型映射方法 被引量：1

10

作者 姚全珠 白敏 黄蔚 《计算机工程》 CAS CSCD 北大核心 2009年第19期91-93,96,共4页

针对AP模型的特点,给出元模型中对象的形式化定义,优化模型映射算法,提出一种基于模型驱动、从概念模型到逻辑模型的映射方法。改进后的算法能够映射基于数据抽取-加载-转换(ETL)工作流的单源数据或多源数据,并发执行各状态节点,提高了... 针对AP模型的特点,给出元模型中对象的形式化定义,优化模型映射算法,提出一种基于模型驱动、从概念模型到逻辑模型的映射方法。改进后的算法能够映射基于数据抽取-加载-转换(ETL)工作流的单源数据或多源数据,并发执行各状态节点,提高了执行的效率。实验结果表明,该方法为模型驱动式ETL设计及数据集成中快速实现ETL奠定了良好基础。 展开更多

关键词 数据抽取-加载-转换技术 逻辑模型 概念模型 数据集成

在线阅读 下载PDF 职称材料

一种金融系统专用ETL工具的研究与实现 被引量：1

11

作者 屈志毅 张延堂 王戈 《计算机工程》 CAS CSCD 北大核心 2008年第20期80-81,85,共3页

实现了一种基于Spring框架的商业银行专用ETL程序。该程序利用Spring框架的控制反转技术,基于Ibatis的数据访问对象技术和Spring JDBC,以及Spring对Timer的支持,解决了ETL过程中的数据转换、数据载入、生命周期管理、任务调度等关键问... 实现了一种基于Spring框架的商业银行专用ETL程序。该程序利用Spring框架的控制反转技术,基于Ibatis的数据访问对象技术和Spring JDBC,以及Spring对Timer的支持,解决了ETL过程中的数据转换、数据载入、生命周期管理、任务调度等关键问题。该程序在IBM System x3850(8864I02)上运行,载入数据的平均速度达到每秒900条记录。 展开更多

关键词 etl工具 SPRING框架 数据转换 任务调度

在线阅读 下载PDF 职称材料

基于ETL技术的电网运行全景建模 被引量：2

12

作者 梁寿愚 周华锋 李矛 《南方电网技术》 2012年第4期53-56,共4页

在南方电网开展的一体化电网运行智能系统研究和建设中,针对电力二次系统数据的多样性和孤立性现状,提出了利用ETL技术处理信息共享的方案。该方案将多系统模型数据抽取、转换并集成到统一的电网全景模型中为多系统所共用,其正确性和有... 在南方电网开展的一体化电网运行智能系统研究和建设中,针对电力二次系统数据的多样性和孤立性现状,提出了利用ETL技术处理信息共享的方案。该方案将多系统模型数据抽取、转换并集成到统一的电网全景模型中为多系统所共用,其正确性和有效性在实践中得到了验证。 展开更多

关键词 电网运行智能系统 数据集成 全景模型 etl技术

在线阅读 下载PDF 职称材料

基于电信行业的ETL系统的设计与实现 被引量：1

13

作者 刘强 翁惠玉 《计算机工程》 CAS CSCD 北大核心 2004年第B12期30-31,42,共3页

基于电信行业的数据仓库,对其数据抽取、数据转换和数据装载的实现方法进行了探讨,这些方法对其他行业数据仓库的构建具有 借鉴作用。

关键词 数据仓库 etl 数据抽取 数据转换 数据装载

在线阅读 下载PDF 职称材料

面向ETL的数据起源追踪系统 被引量：1

14

作者 戴超凡 王涛 《计算机工程》 CAS CSCD 北大核心 2011年第17期256-258,261,共4页

提出一种面向提取-转换-加载(ETL)过程的数据起源追踪系统,讨论实现的关键技术,包括转换分类、元数据设计、转换序列构建、追踪流程设计以及不同转换的追踪方法。系统将追踪所需的元数据设计在包文件结构中,在逆向追踪时抽取元数据进行... 提出一种面向提取-转换-加载(ETL)过程的数据起源追踪系统,讨论实现的关键技术,包括转换分类、元数据设计、转换序列构建、追踪流程设计以及不同转换的追踪方法。系统将追踪所需的元数据设计在包文件结构中,在逆向追踪时抽取元数据进行相关处理,构建各个层次的转换起源信息图,从而实现数据起源的追踪。 展开更多

关键词 数据起源 起源管理系统 提取-转换-加载 同步/异步转换

在线阅读 下载PDF 职称材料

基于状态空间搜索的ETL执行优化

15

作者 吴远红 徐宏炳 《计算机工程与设计》 CSCD 北大核心 2007年第10期2262-2264,2269,共4页

数据抽取-转换-重载(ETL)是构建和维护数据仓库的基本构件,由于它处理的是海量数据,如何加快响应时间成为值得研究的问题。对ETL过程的逻辑优化进行了研究,把优化问题建模成状态空间搜索问题。把每个ETL工作流看作一种状态,通过一系列... 数据抽取-转换-重载(ETL)是构建和维护数据仓库的基本构件,由于它处理的是海量数据,如何加快响应时间成为值得研究的问题。对ETL过程的逻辑优化进行了研究,把优化问题建模成状态空间搜索问题。把每个ETL工作流看作一种状态,通过一系列正确的状态变换来构造状态空间,并且提出算法来获得最小执行时间的ETL工作流。 展开更多

关键词 数据抽取 转换 重载 工作流 优化

在线阅读 下载PDF 职称材料

基于SOA的国家级油气资源数据库ETL系统设计与实现

16

作者 李颖 凤丽洲 +2 位作者 贾字田 姜悦 公维学 《吉林大学学报（地球科学版）》 EI CAS CSCD 北大核心 2011年第S1期414-418,共5页

针对我国油气资源数据相对多源、异构、分散的现状,根据OLAP的实际需求,采用MVC模式作为系统架构模式,实现了国家油气资源数据库数据提取、转换和加载(ETL)系统。阐述了系统所采用的基于面向对象体系结构(SOA)的5层结构模型,使用ODBC和... 针对我国油气资源数据相对多源、异构、分散的现状,根据OLAP的实际需求,采用MVC模式作为系统架构模式,实现了国家油气资源数据库数据提取、转换和加载(ETL)系统。阐述了系统所采用的基于面向对象体系结构(SOA)的5层结构模型,使用ODBC和XML技术实现数据库连接的动态映射,应用Oracle DB解决了多媒体数据处理等关键问题。 展开更多

关键词 国家级油气资源数据库 面向服务的体系结构 联机分析处理 数据提取、转换和加载

在线阅读 下载PDF 职称材料

基于ESB的实时ETL系统的设计与实现 被引量：5

17

作者 高彬 谷建华 +1 位作者 符宁 张海辉 《计算机应用》 CSCD 北大核心 2008年第4期860-862,共3页

随着数据仓库技术的应用发展,企业对数据的处理要求更短的延迟,具有一定的实时需求,而目前的大部分系统都不具备该特性。提出了一种基于ESB平台的实时ETL解决方案,通过在ESB平台上运行的组件实现ETL功能,利用实时分区加载和更新实时数... 随着数据仓库技术的应用发展,企业对数据的处理要求更短的延迟,具有一定的实时需求,而目前的大部分系统都不具备该特性。提出了一种基于ESB平台的实时ETL解决方案,通过在ESB平台上运行的组件实现ETL功能,利用实时分区加载和更新实时数据。实验表明,该设计方案能够实现实时ETL功能,并具有良好的通用性和可扩展性。 展开更多

关键词 实时etl 企业服务总线 数据仓库

在线阅读 下载PDF 职称材料

元数据驱动ETL的研究 被引量：5

18

作者 宿芳 寿永熙 苏依拉 《计算机工程与应用》 CSCD 2012年第6期114-118,125,共6页

对原始数据的提取、转换、加载(ETL)是数据仓库开发的重要步骤。一个稳定而可靠的ETL系统取决于它的总体设计。在原有ETL基础上,提出了元数据驱动ETL的思想,利用包引擎和SQL引擎以及相关算法,对传统ETL的方法进行改进,目的是提高ETL系... 对原始数据的提取、转换、加载(ETL)是数据仓库开发的重要步骤。一个稳定而可靠的ETL系统取决于它的总体设计。在原有ETL基础上,提出了元数据驱动ETL的思想,利用包引擎和SQL引擎以及相关算法,对传统ETL的方法进行改进,目的是提高ETL系统的稳定性和可靠性,使用户通过对元数据的维护来控制ETL的执行过程。 展开更多

关键词 抽取、转换和加载(etl) 数据仓库 元数据 SQL引擎 包引擎

在线阅读 下载PDF 职称材料

基于MAS的分布式ETL模型 被引量：6

19

作者 徐艳华 郭朝珍 《郑州大学学报（理学版）》 CAS 2007年第4期118-121,共4页

提出了基于MAS的分布式ETL模型,该模型将数据处理分配到多计算服务器,利用Agent的协作性、主动性、反应性和交互性,控制多计算服务器的协同处理来提高系统计算能力.与原有的ETL工具相比,该模型不仅可以提高ETL流程的运行效率,而且充分... 提出了基于MAS的分布式ETL模型,该模型将数据处理分配到多计算服务器,利用Agent的协作性、主动性、反应性和交互性,控制多计算服务器的协同处理来提高系统计算能力.与原有的ETL工具相比,该模型不仅可以提高ETL流程的运行效率,而且充分利用了企业系统中所有的服务器资源,从而降低了运行ETL服务器的硬件成本. 展开更多

关键词 数据仓库 数据抽取 数据转换 数据加载 etl 分布式计算 AGENT MAS

在线阅读 下载PDF 职称材料

JPPF在构建高性能ETL过程中的应用 被引量：4

20

作者 许力 牟晓光 马云存 《计算机应用》 CSCD 北大核心 2008年第S2期223-225,270,共4页

数据仓库中数据规模的不断膨胀和数据实时性需求的提高使得对ETL过程性能要求越来越高。通过对并行处理框架JPPF分析,提出了利用JPPF构建高性能ETL系统架构方案和一种ETL数据处理任务提交算法。经过测试和性能对比证明了该方案在处理包... 数据仓库中数据规模的不断膨胀和数据实时性需求的提高使得对ETL过程性能要求越来越高。通过对并行处理框架JPPF分析,提出了利用JPPF构建高性能ETL系统架构方案和一种ETL数据处理任务提交算法。经过测试和性能对比证明了该方案在处理包含大规模计算任务的ETL过程优势明显。 展开更多

关键词 数据装载工具 数据仓库 并行计算 网格计算

在线阅读 下载PDF 职称材料