增量ETL过程自动化产生方法的研究 被引量：19

1

作者 张旭峰 孙未未 +2 位作者 汪卫 冯雅慧 施伯乐 《计算机研究与发展》 EI CSCD 北大核心 2006年第6期1097-1103,共7页

ETL过程用于将数据从数据源装载到数据仓库中,它可以被划分为两种类型:全量ETL过程和增量ETL过程·全量ETL过程只能处理全量数据,但易于设计·而增量ETL过程设计起来比较复杂,但适用于处理增量数据·主要对增量ETL过程的自... ETL过程用于将数据从数据源装载到数据仓库中,它可以被划分为两种类型:全量ETL过程和增量ETL过程·全量ETL过程只能处理全量数据,但易于设计·而增量ETL过程设计起来比较复杂,但适用于处理增量数据·主要对增量ETL过程的自动化产生方法进行了研究,根据已有的全量ETL过程,可以自动产生增量ETL过程,从而降低设计增量ETL过程的代价·利用已有的物化视图增量维护的方法,给出了根据全量ETL过程自动产生增量ETL过程的方法·但是已有的研究集中在包含选择、投影、联接和聚合运算情况下物化视图的增量维护,未见对包括差运算情况下的讨论·作为研究工作的基础,还详细讨论了包含差运算情况下物化视图的增量维护问题· 展开更多

关键词 ETL 数据仓库 增量维护 物化视图 自维护

在线阅读 下载PDF 职称材料

数据仓库的联机维护与下查 被引量：21

2

作者 李子木 李磊 +1 位作者 徐明 周兴铭 《计算机学报》 EI CSCD 北大核心 1999年第9期988-992,共5页

提出了一种三层数据仓库体系结构，引入了“数据仓库基库”概念，不仅使得传统数据库能够更容易地融入数据仓库系统，而且增强了整个系统的伸缩性．在此基础上，提出了３ＶＷＱ（Ｔｈｒｅｅ－Ｖｅｒｓｉｏｎ ＷｉｔｈｏｕｔＱｕｉｅｓ... 提出了一种三层数据仓库体系结构，引入了“数据仓库基库”概念，不仅使得传统数据库能够更容易地融入数据仓库系统，而且增强了整个系统的伸缩性．在此基础上，提出了３ＶＷＱ（Ｔｈｒｅｅ－Ｖｅｒｓｉｏｎ ＷｉｔｈｏｕｔＱｕｉｅｓｃｉｎｇ）算法来解决数据仓库的联机维护问题及其对下查的支持．该算法采用版本控制和补偿思想来协调数据库和数据仓库之间的数据更新。 展开更多

关键词 数据仓库 联机维护 数据仓库基库

在线阅读 下载PDF 职称材料

国产数据仓库管理系统DM_DW的设计 被引量：10

3

作者 陈长清 冯玉才 袁磊 《小型微型计算机系统》 CSCD 北大核心 2002年第5期596-599,共4页

数据仓库能集成多个异构数据源上的信息 ,以支持决策分析 .本文介绍了在国产数据库管理系统 DM3基础上设计的数据仓库管理系统 DM_ DW的三层体系结构、元数据的管理、抽取引擎的主要功能和采用的关键技术 :实化视图的内部表示、实化视... 数据仓库能集成多个异构数据源上的信息 ,以支持决策分析 .本文介绍了在国产数据库管理系统 DM3基础上设计的数据仓库管理系统 DM_ DW的三层体系结构、元数据的管理、抽取引擎的主要功能和采用的关键技术 :实化视图的内部表示、实化视图增量维护及优化。 展开更多

关键词 数据库 数据仓库管理系统 DM-DW 设计

在线阅读 下载PDF 职称材料

数据仓库中基于实体化辅助视图的视图增量维护 被引量：5

4

作者 胡孔法 董逸生 赵庆建 《小型微型计算机系统》 CSCD 北大核心 2003年第2期251-254,共4页

为了加快对大量数据的查询处理速度 ,通常在数据仓库以实视图方式存储数据 .当基础数据发生变化时 ,这些实视图也必须随着更新 .因而视图自维护和一致性维护成为数据仓库的重要问题 .本文提出利用视图计算的中间结果创建辅助视图 ,在数... 为了加快对大量数据的查询处理速度 ,通常在数据仓库以实视图方式存储数据 .当基础数据发生变化时 ,这些实视图也必须随着更新 .因而视图自维护和一致性维护成为数据仓库的重要问题 .本文提出利用视图计算的中间结果创建辅助视图 ,在数据仓库中进行实体化 ,采用有效的增量维护算法计算实视图和辅助视图的精确变化 。 展开更多

关键词 数据仓库 实体化辅助视图 视图增量维护 增量维护算法 数据源 数据库

在线阅读 下载PDF 职称材料

一种数据仓库联机维护的集合刷新算法(英文) 被引量：6

5

作者 李子木 李磊 +1 位作者 周兴铭 吴建平 《软件学报》 EI CSCD 北大核心 2000年第12期1594-1597,共4页

提出了一种版本控制集合刷新算法 ( V SR A) .它采用增量维护、版本控制和批处理机制保证数据仓库的联机维护和数据一致性 .V SRA不仅减少了数据库和数据仓库之间的通信流量 ,而且提高了实体化视图的刷新效率 .用户可以随时使用 V SRA... 提出了一种版本控制集合刷新算法 ( V SR A) .它采用增量维护、版本控制和批处理机制保证数据仓库的联机维护和数据一致性 .V SRA不仅减少了数据库和数据仓库之间的通信流量 ,而且提高了实体化视图的刷新效率 .用户可以随时使用 V SRA进行联机分析处理 。 展开更多

关键词 数据仓库 联机维护 版本控制 集合刷新算法

在线阅读 下载PDF 职称材料

数据仓库中多视图环境下的联机维护 被引量：3

6

作者 李子木 莫倩 +1 位作者 徐明 周兴铭 《计算机研究与发展》 EI CSCD 北大核心 1999年第8期966-972,共7页

数据仓库的视图联机维护是指数据仓库中的实体化视图实时地与信息源中的数据变化保持一致，同时不影响前端用户对数据仓库的正常使用．为了解决多视图环境中视图联机维护与下钻查询的一致性问题，文中在数据仓库体系结构中引入了“基库... 数据仓库的视图联机维护是指数据仓库中的实体化视图实时地与信息源中的数据变化保持一致，同时不影响前端用户对数据仓库的正常使用．为了解决多视图环境中视图联机维护与下钻查询的一致性问题，文中在数据仓库体系结构中引入了“基库”模型，并提出了相应的视图维护算法３ＶＰＡ（ｔｈｒｅｅ－ｖｅｒｓｉｏｎｐａｉｎｔｉｎｇａｌｇｏｒｉｔｈｍ）．“基库”不仅增强了整个数据仓库系统的伸缩性，而且为下钻查询提供了更好的支持．３ＶＰＡ采用补偿思想、同步等待机制和版本控制方法，通过与“基库”的联合控制，不但保证了数据仓库中多视图之间的数据一致性，而且还保证了下钻查询能够得到一致的结果． 展开更多

关键词 数据仓库 视图 联机维护 数据处理 数据库

在线阅读 下载PDF 职称材料

多数据源数据仓库的一致性维护算法——Strobe算法的改进 被引量：6

7

作者 王元珍 熊己兴 《计算机工程与应用》 CSCD 北大核心 2002年第1期211-213,共3页

数据仓库是一个集成了多个分布式、自治或异构数据源上的信息的数据储藏室,以支持用户的查询和分析。该文介绍了DM3数据仓库实现多数据源实化视图一致性维护的策略,分析了产生视图不一致性的原因和解决办法,以及改进后的一致性维护算法:... 数据仓库是一个集成了多个分布式、自治或异构数据源上的信息的数据储藏室,以支持用户的查询和分析。该文介绍了DM3数据仓库实现多数据源实化视图一致性维护的策略,分析了产生视图不一致性的原因和解决办法,以及改进后的一致性维护算法:Strobe算法和T-Strobe算法。 展开更多

关键词 数据仓库 数据一致性 视图维护 实化视图

在线阅读 下载PDF 职称材料

多物化视图并行增量保持三阶段模式 被引量：2

8

作者 王腾蛟 王海洋 +1 位作者 洪晓光 董继润 《软件学报》 EI CSCD 北大核心 1999年第11期1138-1141,共4页

文章提出了一种基于并行流水线处理方式的多物化视图（materializedviews）增量保持方法，即在先进行筛选的条件下，利用归类拓扑排序，将所有物化视图进行分类，使每一类中的视图之间没有嵌套定义关系．最后对每一类中的所有视图利用... 文章提出了一种基于并行流水线处理方式的多物化视图（materializedviews）增量保持方法，即在先进行筛选的条件下，利用归类拓扑排序，将所有物化视图进行分类，使每一类中的视图之间没有嵌套定义关系．最后对每一类中的所有视图利用基于信号量控制机制的流水线模式并行处理，以达到对多物化视图实现增量保特的目的． 展开更多

关键词 多物化视图 流水线 分布式数据库 数据仓库

在线阅读 下载PDF 职称材料

基于源视图增量的在线实化视图自维护 被引量：2

9

作者 刘海 汤庸 陈启买 《计算机应用》 CSCD 北大核心 2007年第6期1397-1399,共3页

借鉴传统的基于基表变化的数据仓库维护方法Strobe,提出一种基于源视图增量的在线实化视图自维护方法,使实化视图的状态保持与底层数据源的一致性。这种方法不仅保持数据仓库数据的一致性,而且还能够加快实化视图维护的速度,减少底层信... 借鉴传统的基于基表变化的数据仓库维护方法Strobe,提出一种基于源视图增量的在线实化视图自维护方法,使实化视图的状态保持与底层数据源的一致性。这种方法不仅保持数据仓库数据的一致性,而且还能够加快实化视图维护的速度,减少底层信息源与数据仓库之间的网络通信负担。 展开更多

关键词 源视图 视图自维护 数据仓库

在线阅读 下载PDF 职称材料

数据仓库中实体化视图的一致性维护问题的研究 被引量：3

10

作者 谷岩 郭庆 《计算机应用与软件》 CSCD 北大核心 2005年第5期43-45,56,共4页

实现实体化视图是提高系统响应时间的一个关键技术和有效的解决方案,但在具体的实现过程中面临着实体化视图的一致性维护问题。由于源数据的不稳定性,其结构和数据的变化必须及时传播到实体化视图中,以保持实体化视图与源数据的变化一致... 实现实体化视图是提高系统响应时间的一个关键技术和有效的解决方案,但在具体的实现过程中面临着实体化视图的一致性维护问题。由于源数据的不稳定性,其结构和数据的变化必须及时传播到实体化视图中,以保持实体化视图与源数据的变化一致性,否则会降低实体化视图中数据的新鲜度,并影响OLAP查询结果的真实性和有效性。为此本文针对视图的一致性维护问题,介绍了视图中数据的维护方法,同时还就实体化视图结构的维护,提出了使视图重计算代价最小化的解决方案和基本算法。 展开更多

关键词 实体化视图 一致性维护 数据仓库 OLAP查询 解决方案 关键技术 响应时间 实现过程 不稳定性 维护方法 视图结构 计算代价 源数据 新鲜度 真实性 最小化 算法

在线阅读 下载PDF 职称材料

数据仓库联机维护技术的研究与实现 被引量：4

11

作者 李子木 李磊 周兴铭 《计算机工程与设计》 CSCD 2001年第6期24-27,共4页

针对数据仓库联机维护技术提出了一种三层维护体系结构ＴＭＡ，在其中引进了“数据仓库基库”概念，利用版本控制思想提出了对单视图和多视图的联机维护算法，并实现了一个原型验证系统。

关键词 数据仓库 联机维护 体系结构 数据库

在线阅读 下载PDF 职称材料

数据仓库集合刷新联机维护算法 被引量：1

12

作者 李子木 周兴铭 吴建平 《广西师范大学学报（自然科学版）》 CAS 2003年第A01期119-126,共8页

随着数据仓库应用的不断扩展和深入,它的联机维护技术也显得越来越重要。提出一种版本控制集合刷新算法VSRA(Version-controlSetRefreshingAlgorithm),它采用增量维护和批处理思想,首先根据原始数据的变化集合,计算出实体化视图的刷新集... 随着数据仓库应用的不断扩展和深入,它的联机维护技术也显得越来越重要。提出一种版本控制集合刷新算法VSRA(Version-controlSetRefreshingAlgorithm),它采用增量维护和批处理思想,首先根据原始数据的变化集合,计算出实体化视图的刷新集合,然后据此集合刷新实体化视图,同时利用版本控制保持数据仓库与当前数据库状态的一致性,达到对数据仓库联机维护的目的。VSRA算法采用集合方式一次处理一批数据,不但减少了数据仓库与数据库之间的通信开销,而且提高了数据仓库的刷新效率.严格的版本控制使用户可以随时使用数据仓库进行联机分析处理(OLAP),并得到正确一致的结果.在文后,通过一个典型示例说明了算法的具体应用. 展开更多

关键词 数据仓库 联机维护 实体化视图 集合刷新

在线阅读 下载PDF 职称材料

分布式数据源的实视图维护算法研究 被引量：1

13

作者 谢民主 伍祥生 《计算机工程与应用》 CSCD 北大核心 2005年第28期170-173,共4页

数据仓库作为决策支持系统的集成化数据中心,其数据可以认为是定义在多个不同数据源的实视图集。近年来数据仓库中实视图维护算法的研究激起很多学者的重视。当多个独立的数据源出现并发更新时传统的实视图维护算法可能导致视图维护异常... 数据仓库作为决策支持系统的集成化数据中心,其数据可以认为是定义在多个不同数据源的实视图集。近年来数据仓库中实视图维护算法的研究激起很多学者的重视。当多个独立的数据源出现并发更新时传统的实视图维护算法可能导致视图维护异常,本文提出了一个双向扫描并行处理实视图维护(BSP)算法,能确保实视图与数据源的完全一致性,并通过实验与其它类似的算法进行了比较,说明本算法具有较高的效率。 展开更多

关键词 分布式数据源 数据仓库 实视图维护

在线阅读 下载PDF 职称材料

关于实视图维护问题的研究 被引量：1

14

作者 张柏礼 朱文 《现代电子技术》 2007年第1期71-73,84,共4页

随着数据仓库技术的迅速发展,实视图作为其中一项可以提供数据存储方式和提高查询响应性能的关键技术得到了充分的重视。但是如何对实视图集进行及时更新,以充分发挥其加快决策查询速度的作用,并满足用户对数据一致性和时新性的要求,却... 随着数据仓库技术的迅速发展,实视图作为其中一项可以提供数据存储方式和提高查询响应性能的关键技术得到了充分的重视。但是如何对实视图集进行及时更新,以充分发挥其加快决策查询速度的作用,并满足用户对数据一致性和时新性的要求,却是一个迫切需要解决的关键性技术问题。本文在对实视图维护问题进行了深入研究的基础上,就目前的研究现状作详细的分析和总结。 展开更多

关键词 数据仓库 实视图维护 增量更新 在线维护

在线阅读 下载PDF 职称材料

数据仓库中实体化视图的一种维护算法 被引量：1

15

作者 郭庆 《暨南大学学报（自然科学与医学版）》 CAS CSCD 北大核心 2007年第3期259-262,271,共5页

实现实体化视图是提高系统响应时间的一个关键技术和有效的解决方案,在具体的实现过程中面临着实体化视图的维护问题.由于源数据的不稳定性,其数据的变化必须及时传播到实体化视图中,以保持实体化视图与源数据的变化一致性,否则会降低... 实现实体化视图是提高系统响应时间的一个关键技术和有效的解决方案,在具体的实现过程中面临着实体化视图的维护问题.由于源数据的不稳定性,其数据的变化必须及时传播到实体化视图中,以保持实体化视图与源数据的变化一致性,否则会降低实体化视图中数据的新鲜度,并影响联机分析处理(OLAP)查询结果的真实性和有效性.针对视图的维护问题,提出了实体化视图的一种维护算法,它将使视图重计算代价最小化. 展开更多

关键词 数据仓库 实体化视图 维护算法 视图计算

在线阅读 下载PDF 职称材料

一种基于中间结果集的有效视图维护算法

16

作者 张忠平 张艳 +1 位作者 金晓丹 何丽荣 《计算机应用研究》 CSCD 北大核心 2008年第10期2998-3001,共4页

物化视图的引入大大提高了决策支持和查询的响应效率,如何进行有效的视图维护成为研究的重点。对现有物化视图维护方法进行了分析,提出了利用多个物化视图的中间结果进行视图维护的思想。首先,结合单位空间增益、空间限制等因素,选择多... 物化视图的引入大大提高了决策支持和查询的响应效率,如何进行有效的视图维护成为研究的重点。对现有物化视图维护方法进行了分析,提出了利用多个物化视图的中间结果进行视图维护的思想。首先,结合单位空间增益、空间限制等因素,选择多个物化视图的公共表达式作为中间结果,并提出了确定中间结果集的具体算法;其次,利用已计算出的中间结果集进行多个视图的维护,给出了具体的维护算法;最后,通过分析和实验证明了该算法正确且效率有显著提高。 展开更多

关键词 数据仓库 物化视图 视图维护 中间结果集

在线阅读 下载PDF 职称材料

数据仓库中实化视图的联机维护分析

17

作者 于守健 刘建伟 乐嘉锦 《计算机应用与软件》 CSCD 北大核心 2005年第2期7-8,30,共3页

数据仓库中的信息是由各个独立分布的数据源的数据汇集而成 ,数据仓库中实化视图的联机维护是数据仓库系统维护的一项关键技术。本文通过例子说明了视图维护中会产生的数据不一致性问题 ,并详细分析了基于补偿、基于维护库和基于版本控... 数据仓库中的信息是由各个独立分布的数据源的数据汇集而成 ,数据仓库中实化视图的联机维护是数据仓库系统维护的一项关键技术。本文通过例子说明了视图维护中会产生的数据不一致性问题 ,并详细分析了基于补偿、基于维护库和基于版本控制的三种视图维护方法。 展开更多

关键词 数据仓库 数据库 实化视图 联机维护 数据查询 数据源

在线阅读 下载PDF 职称材料

数据仓库中实体化视图的重计算代价最小化问题的研究

18

作者 谷岩 郭庆 《计算机科学》 CSCD 北大核心 2005年第6期82-84,共3页

数据仓库中实体化视图的重计算问题实际上就是由视图的结构发生变化而引起的。对基本关系的每个可能的Schema模式变化,必须对视图重计算而得到新视图,这种重计算过程是需要付出代价的,为了使视图的重计算代价最小化,不应该对新视图中的... 数据仓库中实体化视图的重计算问题实际上就是由视图的结构发生变化而引起的。对基本关系的每个可能的Schema模式变化,必须对视图重计算而得到新视图,这种重计算过程是需要付出代价的,为了使视图的重计算代价最小化,不应该对新视图中的所有数据都重新计算一遍,而应该通过一定的算法保留旧视图中的数据,只通过重计算而获取新数据,这样就可以使视图的重计算代价最小化。 展开更多

关键词 实体化视图 计算代价 数据仓库 最小化问题 SCHEMA 发生变化 计算问题 模式变化 基本关系 计算过程 算法

在线阅读 下载PDF 职称材料

数据仓库的集合刷新维护算法

19

作者 李子木 徐明 周兴铭 《计算机工程与科学》 CSCD 2000年第5期81-83,87,共4页

本文提出了一种版本控制集合刷新算法 VSRA,它采用增量维护和批处理思想 ,首先根据原始数据的变化集合 ,计算出实体化视图的刷新集合 ,然后据此集合刷新实体化视图 ,同时利用版本控制保持数据仓库与当前数据库状态的一致性 ,达到对数据... 本文提出了一种版本控制集合刷新算法 VSRA,它采用增量维护和批处理思想 ,首先根据原始数据的变化集合 ,计算出实体化视图的刷新集合 ,然后据此集合刷新实体化视图 ,同时利用版本控制保持数据仓库与当前数据库状态的一致性 ,达到对数据仓库联机维护的目的。 VSRA不但减少了数据仓库与数据库之间的通信开销 ,而且提高了实体化视图的刷新效率。严格的版本控制使用户可以随时使用数据仓库进行联机分析处理 (OLAP) 。 展开更多

关键词 数据仓库 联机维护 实体化视图 数据库

在线阅读 下载PDF 职称材料

数据仓库中实体化视图联机维护一致性研究

20

作者 李会 胡笑梅 《水电能源科学》 2008年第3期150-152,共3页

在分析传统实体化视图连接算法的基础上,对EVM算法进行了改进,提出了分布连接算法,加入了选择性批处理思想并在限定时间内实现当DB中源数据发生变化时实体化视图得到相应的更新,确保DW能及时反映DB的现状及OLAP查询的一致性,达到对DW联... 在分析传统实体化视图连接算法的基础上,对EVM算法进行了改进,提出了分布连接算法,加入了选择性批处理思想并在限定时间内实现当DB中源数据发生变化时实体化视图得到相应的更新,确保DW能及时反映DB的现状及OLAP查询的一致性,达到对DW联机维护的目的。 展开更多

关键词 数据仓库 联机维护 实体化视图 批处理

在线阅读 下载PDF 职称材料