数据仓库数据加载技术 被引量：7

1

作者 熊忠阳 张玉芳 吴中福 《重庆大学学报（自然科学版）》 EI CAS CSCD 北大核心 2002年第2期106-108,共3页

数据仓库中的数据不是传统数据库中数据的简单堆积 ,其数据的组织必须方便基于数据仓库基础之上的数据挖掘和商业智能工作 ,为决策者提供访问、分析及共享信息的能力 ,从而发挥数据仓库的真正功效。成功构造一个数据仓库的关键在于自始... 数据仓库中的数据不是传统数据库中数据的简单堆积 ,其数据的组织必须方便基于数据仓库基础之上的数据挖掘和商业智能工作 ,为决策者提供访问、分析及共享信息的能力 ,从而发挥数据仓库的真正功效。成功构造一个数据仓库的关键在于自始至终理解用户需要 ,紧紧围绕用户目标这一主题进行数据的搜集和存储。首先分析数据仓库的特点以及拥有的数据类别及组成 ,重点介绍如何从现有数据库中有效地将数据引导至数据仓库的方法和策略 ,具体给出了数据仓库中 展开更多

关键词 数据仓库 数据提取 数据加载 数据挖掘 决策支持系统

在线阅读 下载PDF 职称材料

面向ETL的数据起源追踪系统 被引量：1

2

作者 戴超凡 王涛 《计算机工程》 CAS CSCD 北大核心 2011年第17期256-258,261,共4页

提出一种面向提取-转换-加载(ETL)过程的数据起源追踪系统,讨论实现的关键技术,包括转换分类、元数据设计、转换序列构建、追踪流程设计以及不同转换的追踪方法。系统将追踪所需的元数据设计在包文件结构中,在逆向追踪时抽取元数据进行... 提出一种面向提取-转换-加载(ETL)过程的数据起源追踪系统,讨论实现的关键技术,包括转换分类、元数据设计、转换序列构建、追踪流程设计以及不同转换的追踪方法。系统将追踪所需的元数据设计在包文件结构中,在逆向追踪时抽取元数据进行相关处理,构建各个层次的转换起源信息图,从而实现数据起源的追踪。 展开更多

关键词 数据起源 起源管理系统 提取-转换-加载 同步/异步转换

在线阅读 下载PDF 职称材料

基于SOA的国家级油气资源数据库ETL系统设计与实现

3

作者 李颖 凤丽洲 +2 位作者 贾字田 姜悦 公维学 《吉林大学学报（地球科学版）》 EI CAS CSCD 北大核心 2011年第S1期414-418,共5页

针对我国油气资源数据相对多源、异构、分散的现状,根据OLAP的实际需求,采用MVC模式作为系统架构模式,实现了国家油气资源数据库数据提取、转换和加载(ETL)系统。阐述了系统所采用的基于面向对象体系结构(SOA)的5层结构模型,使用ODBC和... 针对我国油气资源数据相对多源、异构、分散的现状,根据OLAP的实际需求,采用MVC模式作为系统架构模式,实现了国家油气资源数据库数据提取、转换和加载(ETL)系统。阐述了系统所采用的基于面向对象体系结构(SOA)的5层结构模型,使用ODBC和XML技术实现数据库连接的动态映射,应用Oracle DB解决了多媒体数据处理等关键问题。 展开更多

关键词 国家级油气资源数据库 面向服务的体系结构 联机分析处理 数据提取、转换和加载

在线阅读 下载PDF 职称材料

基于子模式的关系数据到图数据ETL方法研究 被引量：4

4

作者 丁强龙 王津 张学杰 《计算机工程与应用》 CSCD 北大核心 2017年第12期76-84,共9页

图数据库在解决多层关系查询、社区发现等问题时性能优于关系数据库。然而目前大量的数据以关系数据的形式存储,如何高效完整地进行关系数据到图数据的ETL,即抽取、转换、加载,是图数据库应用领域研究的重要问题。国内外对该问题有了一... 图数据库在解决多层关系查询、社区发现等问题时性能优于关系数据库。然而目前大量的数据以关系数据的形式存储,如何高效完整地进行关系数据到图数据的ETL,即抽取、转换、加载,是图数据库应用领域研究的重要问题。国内外对该问题有了一些研究,但存在转换后的图数据质量不高、转换效率低、转换结果不利于分布式存储等问题。因此,提出基于子模式的关系数据到图数据ETL方法,改进原有ETL方法的流程和算法。该方法将关系数据库模式拆分为若干个子模式,并行进行ETL。不仅提高了ETL的效率,转换结果能满足图数据的分布式存储要求,也可以作为Spark GraphX计算框架的基础数据。最后,使用Java EE和Neo4j开发了原型系统,并进行了实验验证。结果表明,改进后的ETL方法获得了较已有方法更好的转化性能。 展开更多

关键词 图数据库 分布式存储 etl(数据提取、转换和加载) 子模式

在线阅读 下载PDF 职称材料

元数据驱动ETL的研究 被引量：5

5

作者 宿芳 寿永熙 苏依拉 《计算机工程与应用》 CSCD 2012年第6期114-118,125,共6页

对原始数据的提取、转换、加载(ETL)是数据仓库开发的重要步骤。一个稳定而可靠的ETL系统取决于它的总体设计。在原有ETL基础上,提出了元数据驱动ETL的思想,利用包引擎和SQL引擎以及相关算法,对传统ETL的方法进行改进,目的是提高ETL系... 对原始数据的提取、转换、加载(ETL)是数据仓库开发的重要步骤。一个稳定而可靠的ETL系统取决于它的总体设计。在原有ETL基础上,提出了元数据驱动ETL的思想,利用包引擎和SQL引擎以及相关算法,对传统ETL的方法进行改进,目的是提高ETL系统的稳定性和可靠性,使用户通过对元数据的维护来控制ETL的执行过程。 展开更多

关键词 抽取、转换和加载(etl) 数据仓库 元数据 SQL引擎 包引擎

在线阅读 下载PDF 职称材料

ETL中的数据增量抽取机制研究 被引量：35

6

作者 戴浩 杨波 《计算机工程与设计》 CSCD 北大核心 2009年第23期5552-5555,共4页

为实现数据仓库中数据的高效更新,探讨了在数据仓库的ETL(数据的抽取、转换和装载)子系统中进行数据增量抽取时所采用的常见机制,对这些机制的原理、条件、方法以及运行效率等方面进行了详细的阐述,并从兼容性、完备性、性能和侵入性4... 为实现数据仓库中数据的高效更新,探讨了在数据仓库的ETL(数据的抽取、转换和装载)子系统中进行数据增量抽取时所采用的常见机制,对这些机制的原理、条件、方法以及运行效率等方面进行了详细的阐述,并从兼容性、完备性、性能和侵入性4个方面分析和比较了各种数据增量抽取机制的优劣性。最后,总结了选取数据增量抽取机制所应遵循的主要原则和标准。 展开更多

关键词 数据抽取转换与加载 增量抽取 数据仓库 商业智能

在线阅读 下载PDF 职称材料

一种影像快速加载及显示策略 被引量：2

7

作者 师静 《林业调查规划》 2017年第3期1-3,35,共4页

目前普遍采用构建影像金字塔存储模型来解决遥感影像数据的加载及显示时存在的问题,但仅使用构建金字塔模型的策略在效率及系统鲁棒性等方面存在着诸多不足。结合影像动态提取技术和影像金字塔技术提出了一种灵活高效的影像加载及显示策... 目前普遍采用构建影像金字塔存储模型来解决遥感影像数据的加载及显示时存在的问题,但仅使用构建金字塔模型的策略在效率及系统鲁棒性等方面存在着诸多不足。结合影像动态提取技术和影像金字塔技术提出了一种灵活高效的影像加载及显示策略,充分利用系统内存空间,减少不必要的I/O操作,在保证系统性能的前提下大大提升影像加载与显示的用户体验。最后,利用C#语言开发程序Fload实现该策略,并与ESRI公司的ArcMap软件在执行效率、程序性能等方面进行了综合比较。结果表明,该影像加载及显示策略在性能上表现良好。 展开更多

关键词 影像动态提取 影像金字塔结构 影像加载 影像显示 影像数据 ArcMap软件

在线阅读 下载PDF 职称材料

一种标准的ETL的设计思想及其实现 被引量：14

8

作者 程跟上 郑洪源 丁秋林 《计算机应用研究》 CSCD 北大核心 2005年第3期101-103,共3页

元数据在数据仓库系统中占据着十分重要的地位,其中存放着许多重要的信息,尤其是对于数据仓库的ETL过程,可以说是ETL的指挥中心。提出了以CWM元数据模型标准为基础来开发标准的ETL的设计思想,并描述了具体的开发步骤。

关键词 etl CWM 抽取元数据 转换元数据 加载元数据

在线阅读 下载PDF 职称材料

ETL综述 被引量：23

9

作者 缪嘉嘉 邓苏 刘青宝 《计算机工程》 CAS CSCD 北大核心 2004年第3期4-5,21,共3页

阐述了ETL在创建数据仓库过程中的重要地位;分析了整个ETL流程,把它分为数据源验证、数据源改造、一般性变换、装载目标表和数据聚合5个阶段。最后分析了ETL产品现状、现有ETL产品的功能特点,以及今后ETL产品的发展趋势。

关键词 抽取转换和加载 数据仓库 数据集成 元数据

在线阅读 下载PDF 职称材料

调度自动化系统增强型数据仓库平台构建及应用 被引量：11

10

作者 何晓峰 王钢 李海锋 《电力系统自动化》 EI CSCD 北大核心 2008年第4期81-84,102,共5页

数据仓库是信息管理和分析型应用的有效平台。文中针对目前数据仓库不能支持实时数据存储处理和短时战术决策的局限性,提出了一种调度自动化系统增强型数据仓库平台体系结构,主要由信息一体化节点、实时数据处理中心、主动数据仓库和系... 数据仓库是信息管理和分析型应用的有效平台。文中针对目前数据仓库不能支持实时数据存储处理和短时战术决策的局限性,提出了一种调度自动化系统增强型数据仓库平台体系结构,主要由信息一体化节点、实时数据处理中心、主动数据仓库和系统管理工具等构成,从而实现了数据抽取和转换能力、实时响应性能以及对突发事件捕获能力的增强。在已投入电网运行的自开发SCUT2008电网调度自动化系统中的应用与测试,证明了其性能的增强。 展开更多

关键词 调度自动化系统 数据仓库 抽取 转换和加载(etl) 实时数据库 主动规则

在线阅读 下载PDF 职称材料

基于关键属性比对的增量数据抽取方法 被引量：4

11

作者 刘胜 杨岳湘 +1 位作者 邓劲生 李阳 《计算机工程与应用》 CSCD 2012年第4期115-117,共3页

概述了ETL目前常用的增量数据抽取方法,在全表比对方法基础上,提出了基于关键属性比对的增量数据提取方法,描述了关键属性提取算法,并建立其模型,用实验验证了基于关键属性比对的方法优于全表比对方法和全表删除插入方法。

关键词 关键属性 增量数据抽取 全表比对 提取转换加载(etl)

在线阅读 下载PDF 职称材料

一种通用的多数据库间数据抽取方法及应用 被引量：16

12

作者 刘如九 张振山 柴天佑 《北京交通大学学报》 EI CAS CSCD 北大核心 2008年第4期14-18,共5页

为方便从多个异构的数据源中抽取转换数据、并加载到目标数据库,提出一种较为通用的抽取方法,并开发了工具软件.该方法基于客户端的方案,使用数据库驱动程序屏蔽异构数据库间的差异;数据的抽取、转换和加载由数据抽取软件执行;数据的抽... 为方便从多个异构的数据源中抽取转换数据、并加载到目标数据库,提出一种较为通用的抽取方法,并开发了工具软件.该方法基于客户端的方案,使用数据库驱动程序屏蔽异构数据库间的差异;数据的抽取、转换和加载由数据抽取软件执行;数据的抽取转换基于抽取规则,抽取规则采用可视化方法编辑生成;抽取规则存储于规则库,供多次调用修改;多个抽取任务组成抽取任务队列.开发的抽取工具软件DbBridge,支持从Oracle,SQL Server,SAS,Access,Excel等数据源抽取数据.软件成功应用于某数据仓库的建立及数据迁移工作. 展开更多

关键词 数据仓库 数据的抽取转换加载 数据迁移 关系型数据库

在线阅读 下载PDF 职称材料

数字化车间多源异构质量数据集成方案研究 被引量：7

13

作者 张培 黄智源 +3 位作者 陈琨 范营营 崔冰华 于艳鹏 《现代制造工程》 CSCD 北大核心 2015年第1期59-65,共7页

针对数字化制造中多源异构质量数据信息量大且缺乏统一、规范和标准化数据管理的问题,提出一种基于面向对象技术和基于映像的数据抽取、转换和加载(Extract-Transform-Load,ETL)技术的异构数据集成方案,该方案简单实用,具有很高的通用性... 针对数字化制造中多源异构质量数据信息量大且缺乏统一、规范和标准化数据管理的问题,提出一种基于面向对象技术和基于映像的数据抽取、转换和加载(Extract-Transform-Load,ETL)技术的异构数据集成方案,该方案简单实用,具有很高的通用性,可提高异构数据的提取精度,有效地解决多源异构质量数据集成问题。 展开更多

关键词 数字化制造 多源异构 面向对象技术 映像 数据抽取 转换和加载(etl) 数据集成

在线阅读 下载PDF 职称材料

基于元数据驱动的通用数据迁移工具 被引量：10

14

作者 任庆东 李天阳 +1 位作者 袁满 许翰文 《大庆石油学院学报》 CAS 北大核心 2011年第1期76-80,119-120,共5页

为解决企业数据模型升级需要在数据库间实现数据迁移的问题,创建基于元数据驱动的通用数据迁移工具,分析数据抽取、转换和加载体系结构,采用元数据驱动技术,结合企业数据迁移需求,定义数据迁移通用框架模型体系;处理映射模式的元数据表... 为解决企业数据模型升级需要在数据库间实现数据迁移的问题,创建基于元数据驱动的通用数据迁移工具,分析数据抽取、转换和加载体系结构,采用元数据驱动技术,结合企业数据迁移需求,定义数据迁移通用框架模型体系;处理映射模式的元数据表示,实现用元数据描述与存储映射模式.该方法实现用元数据驱动数据抽取、转换和加载引擎功能,技术与功能在中国石油数据中心大型数据迁移中应用,取得良好效果. 展开更多

关键词 数据迁移 元数据驱动 数据抽取、转换和加载体系 映射模式 元数据映射

在线阅读 下载PDF 职称材料

通用ETL工具的研究与实现 被引量：10

15

作者 孙安健 王星 闫晓瑜 《计算机应用与软件》 CSCD 北大核心 2012年第12期175-178,210,共5页

ETL(Extraction-Transformation-Loading)是建立数据仓库的重要一环。通用应用ETL工具应能够适应不同领域不同需求的业务,无论是针对多样化异构的数据源,还是针对复杂变化的转换逻辑,都能够给予很好的支持。研究ETL工具的技术难点,提出... ETL(Extraction-Transformation-Loading)是建立数据仓库的重要一环。通用应用ETL工具应能够适应不同领域不同需求的业务,无论是针对多样化异构的数据源,还是针对复杂变化的转换逻辑,都能够给予很好的支持。研究ETL工具的技术难点,提出一种通用ETL工具的设计框架,并对每个模块做了详细分析,在所承担项目中给出了具体实现。 展开更多

关键词 数据仓库 数据抽取 数据转换 数据加载

在线阅读 下载PDF 职称材料

基于数据仓库的刑事案件决策支持系统设计 被引量：3

16

作者 王春雨 王延章 +2 位作者 叶鑫 王雪华 王娜 《计算机工程与设计》 CSCD 北大核心 2010年第4期767-771,775,共6页

为了更有效地促进情报主导警务模式的推进,对刑事案件决策支持系统进行了研究与设计。首先分析了公安刑事案件决策支持系统的总体需求,并基于数据仓库技术设计了层次化的系统体系结构;然后提出了刑事案件数据仓库模型,并基于本体-规则... 为了更有效地促进情报主导警务模式的推进,对刑事案件决策支持系统进行了研究与设计。首先分析了公安刑事案件决策支持系统的总体需求,并基于数据仓库技术设计了层次化的系统体系结构;然后提出了刑事案件数据仓库模型,并基于本体-规则、元数据-功能提出了多源、异构数据的抽取、转换与加载的整合方法,设计了系统的功能体系;最后介绍了相关成果在大连市公安局的应用示例。实践结果表明,基于数据仓库的刑事案件决策支持系统可以为领导和一线干警提供有效的决策支持。 展开更多

关键词 刑事案件 数据仓库 决策支持系统 数据抽取、转换与加载 元数据

在线阅读 下载PDF 职称材料

基于Spark的并行ETL 被引量：7

17

作者 丁祥武 解书亮 李继云 《计算机工程与设计》 北大核心 2017年第9期2580-2585,共6页

针对大数据中的"海量"特征,基于Spark研究并行ETL技术的相关内容,提出并设计一种分布式ETL方案,对不同的转换处理分别采用对应的并行方法。针对一般的非聚集处理,如常见的数据清洗、数据格式标准化处理,采用基于分区的并行管... 针对大数据中的"海量"特征,基于Spark研究并行ETL技术的相关内容,提出并设计一种分布式ETL方案,对不同的转换处理分别采用对应的并行方法。针对一般的非聚集处理,如常见的数据清洗、数据格式标准化处理,采用基于分区的并行管道处理算法,使数据处理在分区单元中快速完成,提高数据转换的效率;对于相应的聚集处理,如数据仓库中常见的数值数据的聚合处理,使用分区预聚合方式,最大限度降低数据传输的频次。相关实验结果表明,两种并行处理方法能够有效提高分布式ETL的处理效率和性能,加速大数据量的转换过程。 展开更多

关键词 大数据 数据仓库 抽取、转换、加载 转换处理 分布式 火花大数据平台

在线阅读 下载PDF 职称材料

基于语义树的非结构化年鉴Excel表格的ETL方法 被引量：3

18

作者 赵乐 赵宏宇 +1 位作者 刘斌 陈彦如 《计算机应用》 CSCD 北大核心 2021年第S02期131-135,共5页

针对计算机程序在对海量Excel表格中的中国城市年鉴数据进行抽取-转换-加载(ETL)时由于表格的非结构化格式导致的准确率和查全率较低的问题,提出了一种基于语义树的ETL方法。首先,通过数据与表格行名、列名的对应关系分别建立两棵语义... 针对计算机程序在对海量Excel表格中的中国城市年鉴数据进行抽取-转换-加载(ETL)时由于表格的非结构化格式导致的准确率和查全率较低的问题,提出了一种基于语义树的ETL方法。首先,通过数据与表格行名、列名的对应关系分别建立两棵语义树模型,利用两棵语义树生成包含数据项以及数据项所属行名、列名的元数据集合;然后,通过正则表达式对每个元数据所属行名、列名进行语义匹配,从该集合中删除不需要的分项或汇总项元数据;接着,通过三种基于字典的过滤策略进一步做数据清洗,将剩余的元数据导入到数据仓库中;最后,从总量30万个统计年鉴表格中随机抽取604个进行程序ETL与人工ETL对比,实验结果表明,所提出的程序ETL可达到人工ETL86.51%的准确率和95.15%的查全率,可以满足考察地方发展现状、编制和发展未来规划的需求。 展开更多

关键词 EXCEL表格 抽取-转换-加载 语义树 正则表达式 数据仓库

在线阅读 下载PDF 职称材料

基于结构图的ETL过程建模方法 被引量：5

19

作者 张忠平 赵瑞珍 《计算机应用研究》 CSCD 北大核心 2008年第11期3354-3356,共3页

ETL是数据仓库获得高质量数据的重要环节,在数据仓库建设过程中占有极其重要的地位。为了便于ETL过程的设计、维护和修改,提出一种基于结构图的ETL过程建模方法,并依据该方法完成了ETL概念模型的设计。通过图形化ETL过程中的元素和关联... ETL是数据仓库获得高质量数据的重要环节,在数据仓库建设过程中占有极其重要的地位。为了便于ETL过程的设计、维护和修改,提出一种基于结构图的ETL过程建模方法,并依据该方法完成了ETL概念模型的设计。通过图形化ETL过程中的元素和关联,该模型清晰直观地反映了数据的来源和流向、源数据与目标数据之间的映射和转换关系,辅助设计人员更好地进行ETL过程的设计和ETL过程的编码实现,使整个ETL设计过程更加方便、灵活。 展开更多

关键词 数据仓库 抽取转换加载 结构图 模型

在线阅读 下载PDF 职称材料

基于Java和Oracle数据库的航空飞行电报数据处理 被引量：2

20

作者 吴淑宁 崔德光 王丹妮 《计算机应用》 CSCD 北大核心 2003年第3期118-120,共3页

航空飞行电报是空中交通管制指挥监测的重要数据源 ,电报中包含了航空飞行的关键数据信息。介绍了一种基于Java和Oracle数据库的航空飞行电报数据提取和数据加载的方法 ,并对其性能优化、避免数据冗余的特点作了重点描述。

关键词 Java ORACLE 数据库 航空飞行电报 数据处理 空中交通管制 数据提取 数据加载

在线阅读 下载PDF 职称材料