期刊文献+
共找到179篇文章
< 1 2 9 >
每页显示 20 50 100
数据ETL工具通用框架设计 被引量:27
1
作者 周宏广 周继承 +1 位作者 彭银桥 龙思锐 《计算机应用》 CSCD 北大核心 2003年第12期96-98,共3页
异构多数据源集成和数据清洗是将操作数据导入数据仓库过程中面临的两大挑战。从实践角度设计了数据ETL工具的整体框架,使用通用数据访问接口来屏蔽各种数据源之间的差异,并以数据清洗为主要目的,为消除多数据源的模式冲突和数据冲突提... 异构多数据源集成和数据清洗是将操作数据导入数据仓库过程中面临的两大挑战。从实践角度设计了数据ETL工具的整体框架,使用通用数据访问接口来屏蔽各种数据源之间的差异,并以数据清洗为主要目的,为消除多数据源的模式冲突和数据冲突提供了通用而有效的解决方案。 展开更多
关键词 数据etl 数据集成 数据清洗
在线阅读 下载PDF
增量ETL过程自动化产生方法的研究 被引量:19
2
作者 张旭峰 孙未未 +2 位作者 汪卫 冯雅慧 施伯乐 《计算机研究与发展》 EI CSCD 北大核心 2006年第6期1097-1103,共7页
ETL过程用于将数据从数据源装载到数据仓库中,它可以被划分为两种类型:全量ETL过程和增量ETL过程·全量ETL过程只能处理全量数据,但易于设计·而增量ETL过程设计起来比较复杂,但适用于处理增量数据·主要对增量ETL过程的自... ETL过程用于将数据从数据源装载到数据仓库中,它可以被划分为两种类型:全量ETL过程和增量ETL过程·全量ETL过程只能处理全量数据,但易于设计·而增量ETL过程设计起来比较复杂,但适用于处理增量数据·主要对增量ETL过程的自动化产生方法进行了研究,根据已有的全量ETL过程,可以自动产生增量ETL过程,从而降低设计增量ETL过程的代价·利用已有的物化视图增量维护的方法,给出了根据全量ETL过程自动产生增量ETL过程的方法·但是已有的研究集中在包含选择、投影、联接和聚合运算情况下物化视图的增量维护,未见对包括差运算情况下的讨论·作为研究工作的基础,还详细讨论了包含差运算情况下物化视图的增量维护问题· 展开更多
关键词 etl 数据仓库 增量维护 物化视图 自维护
在线阅读 下载PDF
面向数据集成的ETL系统设计与实现 被引量:21
3
作者 钟华 冯文澜 +1 位作者 谭红星 黄涛 《计算机科学》 CSCD 北大核心 2004年第9期87-89,F004,共4页
ETL是一类用于从一个或多个业务数据库中抽取数据,进行清理转换并加截到数据仓库中的工具。这个数据抽取、转换和加载的过程能够很好地应用于数据集成领域中,实现不同机构之间数据的交换与整合。通过分析数据集成的一些特点,我们提出了... ETL是一类用于从一个或多个业务数据库中抽取数据,进行清理转换并加截到数据仓库中的工具。这个数据抽取、转换和加载的过程能够很好地应用于数据集成领域中,实现不同机构之间数据的交换与整合。通过分析数据集成的一些特点,我们提出了一个ETL过程模型,开发了一个面向数据集成的ETL系统DataIntegrator。本文对ETL过程模型、系统总体结构及若干关键技术进行论述。DataIntegrator已经应用于信息系统的建设中,为企业应用集成提供了很好的支持。 展开更多
关键词 etl 数据集成 过程模型 数据抽取 企业应用集成 数据仓库 转换 系统总体结构 业务数据 信息系统
在线阅读 下载PDF
数据仓库中ETL技术的研究 被引量:120
4
作者 张宁 贾自艳 史忠植 《计算机工程与应用》 CSCD 北大核心 2002年第24期213-216,共4页
作为数据仓库的关键部件,支持数据抽取、清洗、转换和装载的工具集对任何数据仓库工程都是一个必不可少的成功因素。该文简单介绍了ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位以及现有的研究成果,然后重点介绍了ETL... 作为数据仓库的关键部件,支持数据抽取、清洗、转换和装载的工具集对任何数据仓库工程都是一个必不可少的成功因素。该文简单介绍了ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位以及现有的研究成果,然后重点介绍了ETL的具体设计和实现方法。 展开更多
关键词 数据仓库 etl 数据库 数据模型 数据抽取 数据转换 数据清洗 数据装载
在线阅读 下载PDF
一种元数据驱动的ETL方法的研究 被引量:15
5
作者 宋杰 王大玲 +1 位作者 鲍玉斌 于戈 《小型微型计算机系统》 CSCD 北大核心 2007年第12期2167-2173,共7页
数据仓库研究中最重要的问题之一是对ETL方法的研究.本研究提出ETL工具是元数据驱动的,以提供更好的柔性机制、扩展能力和可操作性.本文给出了一种基于SQL的元数据驱动的ETL方法的设计和实现细节,并且以国家海洋环境数据仓库为例,证明... 数据仓库研究中最重要的问题之一是对ETL方法的研究.本研究提出ETL工具是元数据驱动的,以提供更好的柔性机制、扩展能力和可操作性.本文给出了一种基于SQL的元数据驱动的ETL方法的设计和实现细节,并且以国家海洋环境数据仓库为例,证明了这种方法的高效性. 展开更多
关键词 etl 数据仓库 元数据
在线阅读 下载PDF
数据仓库中ETL技术的探讨与实践 被引量:31
6
作者 王克龙 王玲 +1 位作者 王平立 宋斌 《计算机应用与软件》 CSCD 北大核心 2005年第11期30-31,78,共3页
支持数据抽取、转换、清洗和装载的工具集对任何数据仓库工程都是一个必不可少的关键部件。本文重点探讨了ETL技术以及ETL工具的选择原则,并结合具体实例详细介绍了ETL过程的设计和实现方法。
关键词 数据仓库 etl技术 数据抽取 数据挖掘 联机分析 可靠性
在线阅读 下载PDF
基于MapReduce的分布式ETL体系结构研究 被引量:9
7
作者 宋杰 郝文宁 +2 位作者 陈刚 靳大尉 赵水宁 《计算机科学》 CSCD 北大核心 2013年第6期152-154,共3页
针对传统ETL工具集中式执行方式的不足,提出了一种基于MapReduce的分布式ETL体系结构——MDETL(MapReduce Distributed ETL)。该体系结构采用MapReduce并发处理海量数据的并行编程模型,结合分布式ETL的集群运算方法,实现了集群分布式执... 针对传统ETL工具集中式执行方式的不足,提出了一种基于MapReduce的分布式ETL体系结构——MDETL(MapReduce Distributed ETL)。该体系结构采用MapReduce并发处理海量数据的并行编程模型,结合分布式ETL的集群运算方法,实现了集群分布式执行ETL流程,从而提高了整个ETL系统的灵活性和吞吐率,并具有较好的可扩展性和负载平衡性能,提高了执行效率。 展开更多
关键词 etl MAPREDUCE 分布式
在线阅读 下载PDF
面向数据质量的ETL过程建模与实现 被引量:23
8
作者 贾自艳 黄友平 +3 位作者 罗平 李嘉佑 秦亮曦 史忠植 《系统仿真学报》 CAS CSCD 2004年第5期907-911,914,共6页
为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程... 为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程统一的体系结构设计,包括ETL元数据对象建模、ETL转换函数设计、ETL任务建模以及ETL任务模型的描述语言(XTDL)。基于该体系结构和设计思想开发出一个ETL系统—MSETL,目的是为多策略数据挖掘平台(MSMiner)提供高质量的数据。它提供友好界面并对ETL过程进行统一的元数据管理,包括:ETL转换函数的注册和删除;任务模型的生成、执行和删除等功能。 展开更多
关键词 数据仓库 数据质量 抽取-转换-装载(etl) 数据挖掘 数据清洗
在线阅读 下载PDF
地理编码在空间数据仓库ETL中的应用 被引量:11
9
作者 陈细谦 迟忠先 +1 位作者 昃宗亮 苏立强 《小型微型计算机系统》 CSCD 北大核心 2005年第4期628-630,共3页
空间数据仓库可以有效地管理和利用空间信息以便支持空间分析和决策支持.在空间数据的抽取、转换和加载中如何有效地把非空间信息与空间信息融合起来,是空间数据仓库ETL实现的难点.将地理编码技术引入到空间数据仓库ETL中,给出了融合地... 空间数据仓库可以有效地管理和利用空间信息以便支持空间分析和决策支持.在空间数据的抽取、转换和加载中如何有效地把非空间信息与空间信息融合起来,是空间数据仓库ETL实现的难点.将地理编码技术引入到空间数据仓库ETL中,给出了融合地理编码模块的ETL体系机构.同时为了提高地址匹配能力,将动态规划算法应用到地理编码地址匹配中,并对算法做了改进,给出了完整的应用示例. 展开更多
关键词 地理编码 空间数据仓库 etl 动态规划
在线阅读 下载PDF
数据ETL研究综述 被引量:111
10
作者 徐俊刚 裴莹 《计算机科学》 CSCD 北大核心 2011年第4期15-20,共6页
数据抽取、转换和装载(Extraction,Transformation and Loading,简称ETL)是数据仓库化的关键环节,对数据仓库数据质量有着至关重要的影响。随着信息化的发展,ETL已经成为当前较活跃的研究领域之一,但是ETL理论和技术的发展还不成熟。针... 数据抽取、转换和装载(Extraction,Transformation and Loading,简称ETL)是数据仓库化的关键环节,对数据仓库数据质量有着至关重要的影响。随着信息化的发展,ETL已经成为当前较活跃的研究领域之一,但是ETL理论和技术的发展还不成熟。针对当前ETL研究中存在的一些问题和需要考虑的各种因素,从ETL各个阶段存在的主要问题出发,列举了各种研究方法及研究成果,并进行了分析。最后,总结并提出了ETL的未来研究方向和今后工作的建议。 展开更多
关键词 etl 数据仓库 数据质量 元数据
在线阅读 下载PDF
ETL执行的流水线优化 被引量:15
11
作者 韩京宇 徐立臻 董逸生 《小型微型计算机系统》 CSCD 北大核心 2005年第6期1013-1017,共5页
ETL工具是构建和维护数据仓库的基本构件,由于它处理的是海量数据,如何有效地加快响应时间成为值得研究的问题.本文提出了ETL过程的“主表衍生”模式,并针对这种模式采用流水线算法来提高并行性从而加快ETL过程的响应时间,理论分析和实... ETL工具是构建和维护数据仓库的基本构件,由于它处理的是海量数据,如何有效地加快响应时间成为值得研究的问题.本文提出了ETL过程的“主表衍生”模式,并针对这种模式采用流水线算法来提高并行性从而加快ETL过程的响应时间,理论分析和实验表明具有好的效果. 展开更多
关键词 etl 数据仓库 流水线
在线阅读 下载PDF
数据仓库ETL中相似重复记录的检测方法及应用 被引量:15
12
作者 张永 迟忠先 闫德勤 《计算机应用》 CSCD 北大核心 2006年第4期880-882,共3页
检测和消除数据仓库中的相似重复记录是数据清洗和提高数据质量要解决的主要问题之一。将位置编码技术引入到数据仓库ETL中,提出了一种相似重复记录的检测算法PCM(位置编码方法)。该算法不仅可以应用到西文字符集中,而且也成功的应用到... 检测和消除数据仓库中的相似重复记录是数据清洗和提高数据质量要解决的主要问题之一。将位置编码技术引入到数据仓库ETL中,提出了一种相似重复记录的检测算法PCM(位置编码方法)。该算法不仅可以应用到西文字符集中,而且也成功的应用到了中文字符集中,实例表明该算法具有很好的效果。 展开更多
关键词 位置编码 数据仓库 etl 相似重复记录
在线阅读 下载PDF
基于CEP引擎的配电网运行监控信号大数据ETL方法 被引量:14
13
作者 葛贤军 艾明浩 +2 位作者 李志宏 汪旭 陈乃仕 《电工电能新技术》 CSCD 北大核心 2017年第9期36-42,共7页
电力系统规模在不断扩大,配电网电气设备数量急剧增长且趋于精细化。大量且散乱的运行监控数据使得主动配电网各应用无法快速有效地提取有用信息以形成决策支持。本文利用复杂事件处理(CEP)引擎作为运行监控信号处理核心,通过Apriori机... 电力系统规模在不断扩大,配电网电气设备数量急剧增长且趋于精细化。大量且散乱的运行监控数据使得主动配电网各应用无法快速有效地提取有用信息以形成决策支持。本文利用复杂事件处理(CEP)引擎作为运行监控信号处理核心,通过Apriori机器学习算法定义和完善规则库,通过核心算法库对信号数据流进行规范化处理。整体采用ETL(Extract-Transform-Load)框架,将主动配电网中分散、零乱、标准不统一的信号数据整合、清洗后加载到数据仓库,并以多种数据接口输出至不同介质,供不同应用调用。基于CEP引擎的大数据ETL方法,可对运行监控信号进行快速、精确、有效的规范化处理,实现多数据源集成与输出,为主动配电网设备仿真、故障分析、状态估计等多种重要应用提供数据准备。 展开更多
关键词 CEP引擎 运行监控 大数据 etl 主动配电网 规范化
在线阅读 下载PDF
数据仓库系统中Excel文档数据的ETL方法研究与实现 被引量:7
14
作者 周大海 安云哲 +1 位作者 夏秀峰 于戈 《小型微型计算机系统》 CSCD 北大核心 2007年第10期1813-1816,共4页
数据仓库的数据来源于组织内部的OLTP系统和其它格式的内部、外部数据,它们之中的许多是按照Microsoft Excel格式予以组织的,如何通过ETL程序将该格式的数据转换成数据仓库中有用的信息是目前亟待解决的问题.首先叙述了Excel文件的结构... 数据仓库的数据来源于组织内部的OLTP系统和其它格式的内部、外部数据,它们之中的许多是按照Microsoft Excel格式予以组织的,如何通过ETL程序将该格式的数据转换成数据仓库中有用的信息是目前亟待解决的问题.首先叙述了Excel文件的结构和Java Excel API的使用方法,给出了Java读取Excel文档的操作步骤,结合实例说明了从Excel文件向数据仓库实现抽取及存储的过程和方法. 展开更多
关键词 数据仓库 外部数据 etl EXCEL文档
在线阅读 下载PDF
基于ETL的数据集成优化研究与实现 被引量:10
15
作者 王世水 王元元 高应波 《天津工业大学学报》 CAS 北大核心 2013年第3期78-81,共4页
通过分析数据源的数据量和异构数据库系统环境等情况,提出基于ETL技术的异构数据集成优化方案.对实验验证数据与现有集成方法进行对比和效能评估得出结果:该解决方案对异构数据源的集成效率较高,尤其是针对海量数据效果尤其明显.
关键词 异构数据 etl 数据集成 XML
在线阅读 下载PDF
一种可靠的数据仓库中ETL策略与架构设计 被引量:46
16
作者 尤玉林 张宪民 《计算机工程与应用》 CSCD 北大核心 2005年第10期172-174,229,共4页
作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地... 作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地介绍了数据仓库技术和ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位;然后重点介绍了这种ETL的具体策略和架构设计。 展开更多
关键词 数据仓库 etl 数据抽取 数据转换 数据清洗 数据装载
在线阅读 下载PDF
基于数据仓库的通用ETL工具的设计与实现 被引量:26
17
作者 陈弦 陈松乔 《计算机应用研究》 CSCD 北大核心 2004年第8期214-216,共3页
讨论了一种基于异构数据源通用ETL工具的设计方法和实现过程 ,它能实现异种数据源的数据转换 ,并将数据装载到中心数据库中 ,具有一定易用性、灵活性和扩展性。
关键词 etl 异构数据 索引库
在线阅读 下载PDF
一个专用ETL程序的实现 被引量:5
18
作者 白洪涛 孙吉贵 +1 位作者 莫旭 杨凤杰 《计算机应用》 CSCD 北大核心 2004年第2期101-104,共4页
设计开发了应用于粮食行业数据仓库的ETL(Extract Transform Load)程序,支持关系数据库数据源和文本格式数据源。在对比分析了打时间戳、扫描增量文件、扫描日志、修改应用代码、"前""后"映像文件比较五种数据增量... 设计开发了应用于粮食行业数据仓库的ETL(Extract Transform Load)程序,支持关系数据库数据源和文本格式数据源。在对比分析了打时间戳、扫描增量文件、扫描日志、修改应用代码、"前""后"映像文件比较五种数据增量方法后,用基于主键的记录比较的方法实现了数据的增量更新。ETL支持表的分拆和合并,弥补了数据仓库建模工具的不足,已在粮食行业管理信息与决策支持系统中得到应用。 展开更多
关键词 数据仓库 etl 增量更新
在线阅读 下载PDF
基于电信数据仓库系统的ETL研究与设计 被引量:12
19
作者 李颖 郝克刚 葛玮 《计算机应用与软件》 CSCD 2009年第1期178-180,共3页
电信行业大都建立了自己的数据仓库系统,而建立数据仓库的最重要环节便是数据的抽取、转换和加载ETL(Extracting、Transformation、Loading)。通过对现有ETL系统的分析研究,设计并部分实现了基于某省电信公司数据仓库的ETL系统。采取XM... 电信行业大都建立了自己的数据仓库系统,而建立数据仓库的最重要环节便是数据的抽取、转换和加载ETL(Extracting、Transformation、Loading)。通过对现有ETL系统的分析研究,设计并部分实现了基于某省电信公司数据仓库的ETL系统。采取XML格式编辑整个ETL过程,实现部分图形化交互界面,并针对电信系统大数据量的特点,提出性能优化及改进的方法,提高了ETL效率。 展开更多
关键词 etl 电信 数据仓库 大数据量
在线阅读 下载PDF
一种轻量级电网实时数据ETL系统的设计与实现 被引量:8
20
作者 段成 王增平 吴克河 《电力系统保护与控制》 EI CSCD 北大核心 2010年第18期174-177,182,共5页
以某省电网实时数据监测系统的数据中心建设项目为背景,提出了一种轻量级的,适合于电网实时数据迁移与同步更新的ETL系统解决方案。系统支持多种关系型数据库和数据文件,提供全量、增量、主细表等多种自定义模式数据迁移方案。系统利用J... 以某省电网实时数据监测系统的数据中心建设项目为背景,提出了一种轻量级的,适合于电网实时数据迁移与同步更新的ETL系统解决方案。系统支持多种关系型数据库和数据文件,提供全量、增量、主细表等多种自定义模式数据迁移方案。系统利用JDBC数据库访问技术、JSR-166的Util.Concurrent并发线程包以及SWT技术,结合元数据的管理,解决了异构数据的快速抽取、清洗转换与加载、任务的调度和跨平台运行的问题,并在实际应用中表现出了实用性和稳定性。 展开更多
关键词 etl系统 异构数据 增量 任务调度 跨平台
在线阅读 下载PDF
上一页 1 2 9 下一页 到第
使用帮助 返回顶部