一种标准的ETL的设计思想及其实现 被引量：14

1

作者 程跟上 郑洪源 丁秋林 《计算机应用研究》 CSCD 北大核心 2005年第3期101-103,共3页

元数据在数据仓库系统中占据着十分重要的地位,其中存放着许多重要的信息,尤其是对于数据仓库的ETL过程,可以说是ETL的指挥中心。提出了以CWM元数据模型标准为基础来开发标准的ETL的设计思想,并描述了具体的开发步骤。

关键词 etl CWM 抽取元数据 转换元数据 加载元数据

在线阅读 下载PDF 职称材料

面向ETL的数据起源追踪系统 被引量：1

2

作者 戴超凡 王涛 《计算机工程》 CAS CSCD 北大核心 2011年第17期256-258,261,共4页

提出一种面向提取-转换-加载(ETL)过程的数据起源追踪系统,讨论实现的关键技术,包括转换分类、元数据设计、转换序列构建、追踪流程设计以及不同转换的追踪方法。系统将追踪所需的元数据设计在包文件结构中,在逆向追踪时抽取元数据进行... 提出一种面向提取-转换-加载(ETL)过程的数据起源追踪系统,讨论实现的关键技术,包括转换分类、元数据设计、转换序列构建、追踪流程设计以及不同转换的追踪方法。系统将追踪所需的元数据设计在包文件结构中,在逆向追踪时抽取元数据进行相关处理,构建各个层次的转换起源信息图,从而实现数据起源的追踪。 展开更多

关键词 数据起源 起源管理系统 提取-转换-加载 同步/异步转换

在线阅读 下载PDF 职称材料

基于SOA的国家级油气资源数据库ETL系统设计与实现

3

作者 李颖 凤丽洲 +2 位作者 贾字田 姜悦 公维学 《吉林大学学报（地球科学版）》 EI CAS CSCD 北大核心 2011年第S1期414-418,共5页

针对我国油气资源数据相对多源、异构、分散的现状,根据OLAP的实际需求,采用MVC模式作为系统架构模式,实现了国家油气资源数据库数据提取、转换和加载(ETL)系统。阐述了系统所采用的基于面向对象体系结构(SOA)的5层结构模型,使用ODBC和... 针对我国油气资源数据相对多源、异构、分散的现状,根据OLAP的实际需求,采用MVC模式作为系统架构模式,实现了国家油气资源数据库数据提取、转换和加载(ETL)系统。阐述了系统所采用的基于面向对象体系结构(SOA)的5层结构模型,使用ODBC和XML技术实现数据库连接的动态映射,应用Oracle DB解决了多媒体数据处理等关键问题。 展开更多

关键词 国家级油气资源数据库 面向服务的体系结构 联机分析处理 数据提取、转换和加载

在线阅读 下载PDF 职称材料

元数据驱动ETL的研究 被引量：5

4

作者 宿芳 寿永熙 苏依拉 《计算机工程与应用》 CSCD 2012年第6期114-118,125,共6页

对原始数据的提取、转换、加载(ETL)是数据仓库开发的重要步骤。一个稳定而可靠的ETL系统取决于它的总体设计。在原有ETL基础上,提出了元数据驱动ETL的思想,利用包引擎和SQL引擎以及相关算法,对传统ETL的方法进行改进,目的是提高ETL系... 对原始数据的提取、转换、加载(ETL)是数据仓库开发的重要步骤。一个稳定而可靠的ETL系统取决于它的总体设计。在原有ETL基础上,提出了元数据驱动ETL的思想,利用包引擎和SQL引擎以及相关算法,对传统ETL的方法进行改进,目的是提高ETL系统的稳定性和可靠性,使用户通过对元数据的维护来控制ETL的执行过程。 展开更多

关键词 抽取、转换和加载(etl) 数据仓库 元数据 SQL引擎 包引擎

在线阅读 下载PDF 职称材料

基于MAS的分布式ETL模型 被引量：6

5

作者 徐艳华 郭朝珍 《郑州大学学报（理学版）》 CAS 2007年第4期118-121,共4页

提出了基于MAS的分布式ETL模型,该模型将数据处理分配到多计算服务器,利用Agent的协作性、主动性、反应性和交互性,控制多计算服务器的协同处理来提高系统计算能力.与原有的ETL工具相比,该模型不仅可以提高ETL流程的运行效率,而且充分... 提出了基于MAS的分布式ETL模型,该模型将数据处理分配到多计算服务器,利用Agent的协作性、主动性、反应性和交互性,控制多计算服务器的协同处理来提高系统计算能力.与原有的ETL工具相比,该模型不仅可以提高ETL流程的运行效率,而且充分利用了企业系统中所有的服务器资源,从而降低了运行ETL服务器的硬件成本. 展开更多

关键词 数据仓库 数据抽取 数据转换 数据加载 etl 分布式计算 AGENT MAS

在线阅读 下载PDF 职称材料

基于子模式的关系数据到图数据ETL方法研究 被引量：4

6

作者 丁强龙 王津 张学杰 《计算机工程与应用》 CSCD 北大核心 2017年第12期76-84,共9页

图数据库在解决多层关系查询、社区发现等问题时性能优于关系数据库。然而目前大量的数据以关系数据的形式存储,如何高效完整地进行关系数据到图数据的ETL,即抽取、转换、加载,是图数据库应用领域研究的重要问题。国内外对该问题有了一... 图数据库在解决多层关系查询、社区发现等问题时性能优于关系数据库。然而目前大量的数据以关系数据的形式存储,如何高效完整地进行关系数据到图数据的ETL,即抽取、转换、加载,是图数据库应用领域研究的重要问题。国内外对该问题有了一些研究,但存在转换后的图数据质量不高、转换效率低、转换结果不利于分布式存储等问题。因此,提出基于子模式的关系数据到图数据ETL方法,改进原有ETL方法的流程和算法。该方法将关系数据库模式拆分为若干个子模式,并行进行ETL。不仅提高了ETL的效率,转换结果能满足图数据的分布式存储要求,也可以作为Spark GraphX计算框架的基础数据。最后,使用Java EE和Neo4j开发了原型系统,并进行了实验验证。结果表明,改进后的ETL方法获得了较已有方法更好的转化性能。 展开更多

关键词 图数据库 分布式存储 etl(数据提取、转换和加载) 子模式

在线阅读 下载PDF 职称材料

粒子群算法在分布式ETL任务调度中的应用 被引量：3

7

作者 王春阳 赵书良 王长宾 《计算机工程与应用》 CSCD 2013年第9期150-155,共6页

随着分布式数据环境越来越复杂,ETL工具要面临数据源多、分布地域广和海量数据等因素带来的挑战。原有的集中式ETL工作流优化理论不能满足现在复杂数据环境的要求。介绍了如何将基于置换的离散型粒子群算法应用到分布式ETL任务优化调度... 随着分布式数据环境越来越复杂,ETL工具要面临数据源多、分布地域广和海量数据等因素带来的挑战。原有的集中式ETL工作流优化理论不能满足现在复杂数据环境的要求。介绍了如何将基于置换的离散型粒子群算法应用到分布式ETL任务优化调度问题上,主要工作围绕ETL工作调度模型、算法编码设计、目标函数选择等内容来展开,给出了分布式ETL工作调度策略的实现过程和伪代码。理论分析和实验证明了实际应用的有效可行性。 展开更多

关键词 分布式抽取-转换-加载(etl) 任务调度 基于置换的离散型粒子群算法

在线阅读 下载PDF 职称材料

ETL在水路客运行业项目中的应用

8

作者 刘娜嘉 朱力 《计算机工程》 CAS CSCD 北大核心 2007年第19期283-284,F0003,共3页

通过讨论数据提取、转换、加载(ETL)技术在上海水路客运票务系统项目中的实践应用,说明了ETL技术的特点、本质及其重要性。其中,ETL的具体应用包括数据查找、变更以及维护。采用ETL技术可以使数据库系统完全分离,大大减轻了数据汇总查... 通过讨论数据提取、转换、加载(ETL)技术在上海水路客运票务系统项目中的实践应用,说明了ETL技术的特点、本质及其重要性。其中,ETL的具体应用包括数据查找、变更以及维护。采用ETL技术可以使数据库系统完全分离,大大减轻了数据汇总查询对实时票务系统的负荷,提高了查询分析速度。 展开更多

关键词 数据提取、转换、加载 水路客运 数据转换

在线阅读 下载PDF 职称材料

基于关键属性比对的增量数据抽取方法 被引量：4

9

作者 刘胜 杨岳湘 +1 位作者 邓劲生 李阳 《计算机工程与应用》 CSCD 2012年第4期115-117,共3页

概述了ETL目前常用的增量数据抽取方法,在全表比对方法基础上,提出了基于关键属性比对的增量数据提取方法,描述了关键属性提取算法,并建立其模型,用实验验证了基于关键属性比对的方法优于全表比对方法和全表删除插入方法。

关键词 关键属性 增量数据抽取 全表比对 提取转换加载(etl)

在线阅读 下载PDF 职称材料

基于CIM/E文件的电网全景建模技术研究 被引量：6

10

作者 邓大为 李可 陆俊 《广东电力》 2013年第11期49-53,共5页

针对电网进行全景建模需求不断增长的问题,对多个电力自动化专业系统和数据集成技术展开研究,提出一种创建电网全景模型的解决方案。通过电力自动化专业系统提供的模型描述规范语言(common information model,CIM/E)文件中获取子模型数... 针对电网进行全景建模需求不断增长的问题,对多个电力自动化专业系统和数据集成技术展开研究,提出一种创建电网全景模型的解决方案。通过电力自动化专业系统提供的模型描述规范语言(common information model,CIM/E)文件中获取子模型数据,利用数据提取、转换和加载(extraction-transformation-loading,ETL)技术将子模型数据抽取、转换并集成到统一的电网全景模型中,解决了直接访问各应用系统数据库会暴露数据库设计及对数据库性能产生影响的问题。 展开更多

关键词 模型描述规范语言(CIM E) 全景建模 数据集成 提取、转换和加载(etl) 电网

在线阅读 下载PDF 职称材料

调度自动化系统增强型数据仓库平台构建及应用 被引量：11

11

作者 何晓峰 王钢 李海锋 《电力系统自动化》 EI CSCD 北大核心 2008年第4期81-84,102,共5页

数据仓库是信息管理和分析型应用的有效平台。文中针对目前数据仓库不能支持实时数据存储处理和短时战术决策的局限性,提出了一种调度自动化系统增强型数据仓库平台体系结构,主要由信息一体化节点、实时数据处理中心、主动数据仓库和系... 数据仓库是信息管理和分析型应用的有效平台。文中针对目前数据仓库不能支持实时数据存储处理和短时战术决策的局限性,提出了一种调度自动化系统增强型数据仓库平台体系结构,主要由信息一体化节点、实时数据处理中心、主动数据仓库和系统管理工具等构成,从而实现了数据抽取和转换能力、实时响应性能以及对突发事件捕获能力的增强。在已投入电网运行的自开发SCUT2008电网调度自动化系统中的应用与测试,证明了其性能的增强。 展开更多

关键词 调度自动化系统 数据仓库 抽取 转换和加载(etl) 实时数据库 主动规则

在线阅读 下载PDF 职称材料

数字化车间多源异构质量数据集成方案研究 被引量：7

12

作者 张培 黄智源 +3 位作者 陈琨 范营营 崔冰华 于艳鹏 《现代制造工程》 CSCD 北大核心 2015年第1期59-65,共7页

针对数字化制造中多源异构质量数据信息量大且缺乏统一、规范和标准化数据管理的问题,提出一种基于面向对象技术和基于映像的数据抽取、转换和加载(Extract-Transform-Load,ETL)技术的异构数据集成方案,该方案简单实用,具有很高的通用性... 针对数字化制造中多源异构质量数据信息量大且缺乏统一、规范和标准化数据管理的问题,提出一种基于面向对象技术和基于映像的数据抽取、转换和加载(Extract-Transform-Load,ETL)技术的异构数据集成方案,该方案简单实用,具有很高的通用性,可提高异构数据的提取精度,有效地解决多源异构质量数据集成问题。 展开更多

关键词 数字化制造 多源异构 面向对象技术 映像 数据抽取 转换和加载(etl) 数据集成

在线阅读 下载PDF 职称材料