期刊文献+
共找到100篇文章
< 1 2 5 >
每页显示 20 50 100
数据仓库的联机维护与下查 被引量:21
1
作者 李子木 李磊 +1 位作者 徐明 周兴铭 《计算机学报》 EI CSCD 北大核心 1999年第9期988-992,共5页
提出了一种三层数据仓库体系结构,引入了“数据仓库基库”概念,不仅使得传统数据库能够更容易地融入数据仓库系统,而且增强了整个系统的伸缩性.在此基础上,提出了3VWQ(Three-Version WithoutQuies... 提出了一种三层数据仓库体系结构,引入了“数据仓库基库”概念,不仅使得传统数据库能够更容易地融入数据仓库系统,而且增强了整个系统的伸缩性.在此基础上,提出了3VWQ(Three-Version WithoutQuiescing)算法来解决数据仓库的联机维护问题及其对下查的支持.该算法采用版本控制和补偿思想来协调数据库和数据仓库之间的数据更新。 展开更多
关键词 数据仓库 联机维护 数据仓库基库
在线阅读 下载PDF
基于OLAP查询的数据仓库视图的水平分割 被引量:6
2
作者 胡孔法 董逸生 +1 位作者 徐立臻 赵庆建 《应用科学学报》 CAS CSCD 2003年第4期362-366,共5页
选择数据仓库视图进行有效的水平分割,使OLAP查询通过访问较少的分割裂片以及较少的元组就可以完成,从而加快查询响应时间,削减维护费用.提出根据OLAP查询中的选择谓词构造其最小项谓词,选择数据仓库立方体视图,进行水平分割和实体化,... 选择数据仓库视图进行有效的水平分割,使OLAP查询通过访问较少的分割裂片以及较少的元组就可以完成,从而加快查询响应时间,削减维护费用.提出根据OLAP查询中的选择谓词构造其最小项谓词,选择数据仓库立方体视图,进行水平分割和实体化,来提高OLAP查询效率. 展开更多
关键词 OLAP查询 数据仓库 视图分割 实视图 元数据 数据库
在线阅读 下载PDF
增量ETL过程自动化产生方法的研究 被引量:19
3
作者 张旭峰 孙未未 +2 位作者 汪卫 冯雅慧 施伯乐 《计算机研究与发展》 EI CSCD 北大核心 2006年第6期1097-1103,共7页
ETL过程用于将数据从数据源装载到数据仓库中,它可以被划分为两种类型:全量ETL过程和增量ETL过程·全量ETL过程只能处理全量数据,但易于设计·而增量ETL过程设计起来比较复杂,但适用于处理增量数据·主要对增量ETL过程的自... ETL过程用于将数据从数据源装载到数据仓库中,它可以被划分为两种类型:全量ETL过程和增量ETL过程·全量ETL过程只能处理全量数据,但易于设计·而增量ETL过程设计起来比较复杂,但适用于处理增量数据·主要对增量ETL过程的自动化产生方法进行了研究,根据已有的全量ETL过程,可以自动产生增量ETL过程,从而降低设计增量ETL过程的代价·利用已有的物化视图增量维护的方法,给出了根据全量ETL过程自动产生增量ETL过程的方法·但是已有的研究集中在包含选择、投影、联接和聚合运算情况下物化视图的增量维护,未见对包括差运算情况下的讨论·作为研究工作的基础,还详细讨论了包含差运算情况下物化视图的增量维护问题· 展开更多
关键词 ETL 数据仓库 增量维护 物化视图 自维护
在线阅读 下载PDF
数据仓库技术的研究现状及未来方向 被引量:36
4
作者 李子木 莫倩 周兴铭 《计算机科学》 CSCD 北大核心 1998年第4期57-59,共3页
数据仓库和联机分析处理是决策支持系统的重要组成部分,与传统的联机事务处理不同,是对现有数据进行归纳、分析和推理,从而为决策提供支持。数据仓库是“面向主题的、集成的、稳定的和随时间变化的数据集合,主要用于决策制定”」。数据... 数据仓库和联机分析处理是决策支持系统的重要组成部分,与传统的联机事务处理不同,是对现有数据进行归纳、分析和推理,从而为决策提供支持。数据仓库是“面向主题的、集成的、稳定的和随时间变化的数据集合,主要用于决策制定”」。数据仓库的这些特点决定了它与传统的面向事务处理的数据库有着本质不同。 展开更多
关键词 数据仓库 体系结构 数据集合 决策支持系统
在线阅读 下载PDF
实时主动数据仓库中多维数据实视图的选择 被引量:12
5
作者 林子雨 杨冬青 +2 位作者 宋国杰 王腾蛟 唐世渭 《软件学报》 EI CSCD 北大核心 2008年第2期301-313,共13页
通过基于主动决策引擎日志的数据挖掘来找到分析规则的CUBE使用模式,从而为多维数据实视图选择算法提供重要依据;在此基础上设计了3A概率模型,并给出考虑CUBE受访概率分布的视图选择贪婪算法PGreedy(probability greedy),以及结合视图... 通过基于主动决策引擎日志的数据挖掘来找到分析规则的CUBE使用模式,从而为多维数据实视图选择算法提供重要依据;在此基础上设计了3A概率模型,并给出考虑CUBE受访概率分布的视图选择贪婪算法PGreedy(probability greedy),以及结合视图挽留原则的视图动态调整算法.实验结果表明,在实时主动数据仓库环境下,PGreedy算法比BPUS(benefit per unit space)算法具有更好的性能. 展开更多
关键词 视图选择 实视图 数据仓库 主动决策引擎 分析规则 联机分析处理
在线阅读 下载PDF
数据仓库中多数据源物化视图的一种有效更新算法 被引量:10
6
作者 王新军 洪晓光 +1 位作者 王海洋 马绍汉 《计算机研究与发展》 EI CSCD 北大核心 2004年第5期874-879,共6页
数据仓库中存储着大量的汇总数据以支持查询和相关决策的制定 ,这些汇总数据常常是定义在若干数据源上的物化视图 当数据源发生变化时 ,物化视图也需要相应的更新 ,这必然给数据仓库带来庞大的开销 ,因而如何有效地对物化视图进行更新... 数据仓库中存储着大量的汇总数据以支持查询和相关决策的制定 ,这些汇总数据常常是定义在若干数据源上的物化视图 当数据源发生变化时 ,物化视图也需要相应的更新 ,这必然给数据仓库带来庞大的开销 ,因而如何有效地对物化视图进行更新成为一个非常重要的问题 利用BinPartition算法可以使计算费用达到最低 。 展开更多
关键词 数据仓库 物化视图 基本关系 划分
在线阅读 下载PDF
基于MapReduce的关系型数据仓库并行查询 被引量:9
7
作者 师金钢 鲍玉斌 +1 位作者 冷芳玲 于戈 《东北大学学报(自然科学版)》 EI CAS CSCD 北大核心 2011年第5期626-629,共4页
针对MapReduce框架与传统关系型数据库兼容性不好的问题,提出了一种基于分块结构的分布式关系数据库ChunkDB.并对MapReduce架构进行了扩展设计,使ChunkDB与MapReduce有效结合,将MapReduce的扩展性、易操作性、高并行性与关系数据库的索... 针对MapReduce框架与传统关系型数据库兼容性不好的问题,提出了一种基于分块结构的分布式关系数据库ChunkDB.并对MapReduce架构进行了扩展设计,使ChunkDB与MapReduce有效结合,将MapReduce的扩展性、易操作性、高并行性与关系数据库的索引等查询优化优势相结合.实验证明基于MapReduce的ChunkDB数据库能够为数据仓库应用提供快速高效的并行查询. 展开更多
关键词 MAPREDUCE 数据仓库 并行计算 分布式数据库 查询优化
在线阅读 下载PDF
国产数据仓库管理系统DM_DW的设计 被引量:10
8
作者 陈长清 冯玉才 袁磊 《小型微型计算机系统》 CSCD 北大核心 2002年第5期596-599,共4页
数据仓库能集成多个异构数据源上的信息 ,以支持决策分析 .本文介绍了在国产数据库管理系统 DM3基础上设计的数据仓库管理系统 DM_ DW的三层体系结构、元数据的管理、抽取引擎的主要功能和采用的关键技术 :实化视图的内部表示、实化视... 数据仓库能集成多个异构数据源上的信息 ,以支持决策分析 .本文介绍了在国产数据库管理系统 DM3基础上设计的数据仓库管理系统 DM_ DW的三层体系结构、元数据的管理、抽取引擎的主要功能和采用的关键技术 :实化视图的内部表示、实化视图增量维护及优化。 展开更多
关键词 数据库 数据仓库管理系统 DM-DW 设计
在线阅读 下载PDF
实视图选择研究 被引量:6
9
作者 林子雨 杨冬青 +1 位作者 王腾蛟 宋国杰 《软件学报》 EI CSCD 北大核心 2009年第2期193-213,共21页
定义了数据仓库领域的视图选择问题,并讨论了与该问题相关的代价模型、收益函数、代价计算、约束条件和视图索引等内容;介绍了3大类视图选择方法,即静态方法、动态方法和混合方法,以及各类方法的代表性研究成果;最后展望未来的研究方向.
关键词 实视图 视图选择 数据仓库
在线阅读 下载PDF
数据仓库视图一致性维护与下查研究 被引量:6
10
作者 陈金玉 曹长修 张邦礼 《计算机工程与应用》 CSCD 北大核心 2003年第26期12-17,共6页
数据仓库是存储供查询和决策分析用的集成化信息仓库。实体化视图作为数据仓库中存储的主要信息实体,是由对上一级或外部数据源进行抽取、转化、传输和上载的数据构成的。当源数据发生变化时,如何进行数据仓库实体化视图的一致性维护以... 数据仓库是存储供查询和决策分析用的集成化信息仓库。实体化视图作为数据仓库中存储的主要信息实体,是由对上一级或外部数据源进行抽取、转化、传输和上载的数据构成的。当源数据发生变化时,如何进行数据仓库实体化视图的一致性维护以及OLAP查询,是一个有着实际意义的研究课题。论文提出的算法Glide采用版本控制、补偿思想和应答机制来协调源数据库与数据仓库间的数据更新,保证了数据仓库视图维护与下查的一致性,提高了算法的健壮程度和对源数据库端CPU的利用率,是以往同类算法的一个本质改进。论文指出算法Glide是完全一致的,并给出了严格的数学证明。文章还通过一个示例说明了该算法在实际中的具体运用。 展开更多
关键词 算法Glide 数据仓库 视图维护 补偿技术 版本 OLAP查询
在线阅读 下载PDF
动态更新实物化视图以提高OLAP查询效率 被引量:4
11
作者 武彤 赵雪 赵洵 《计算机科学》 CSCD 北大核心 2012年第B06期315-317,共3页
在数据仓库系统中,OLAP查询一般都涉及多表连接和分组聚集两部分操作,提高这些查询的性能成为提高OLAP响应速度的关键。利用实物化视图,可以准确地计算并保存表连接或聚集等耗时较多的操作的结果。研究基于查询频率的实物化视图的更新算... 在数据仓库系统中,OLAP查询一般都涉及多表连接和分组聚集两部分操作,提高这些查询的性能成为提高OLAP响应速度的关键。利用实物化视图,可以准确地计算并保存表连接或聚集等耗时较多的操作的结果。研究基于查询频率的实物化视图的更新算法,可以使实物化视图得到最大效率的使用,明显地缩短查询的响应时间,从而提高OLAP的查询效率。 展开更多
关键词 数据仓库 实物化视图 OLAP 多维数据查询 查询优化
在线阅读 下载PDF
基于统计方法的Hive数据仓库查询优化实现 被引量:16
12
作者 王有为 王伟平 孟丹 《计算机研究与发展》 EI CSCD 北大核心 2015年第6期1452-1462,共11页
Map/Reduce是海量离线数据分析中广泛应用的并行编程模型。Hive数据仓库基于Map/Reduce实现了查询处理引擎,然而Map/Reduce框架在处理偏斜数据时会出现工作负载分布不均的问题。均衡计算模型(computation balanced model,CBM),其核心... Map/Reduce是海量离线数据分析中广泛应用的并行编程模型。Hive数据仓库基于Map/Reduce实现了查询处理引擎,然而Map/Reduce框架在处理偏斜数据时会出现工作负载分布不均的问题。均衡计算模型(computation balanced model,CBM),其核心思想是通过数据分布特征指导查询计划优化。相应研究贡献包括2部分,首先针对应用极广的GroupBy查询和Join查询建立了运行估价模型,确定了不同场景下查询计划的优化选择分支;其次基于Hive ETL机制设计了一种统计信息收集方法,解决了统计海量数据分布特征的问题。实验数据表明,通过CBM优化的GroupBy查询耗时节省了8%~45%,Join查询耗时节省了12%~46%;集群CPU负载均衡指标优化了60%~80%,I/O负载均衡指标优化了60%~90%。实验结果证实了基于CBM模型优化的查询计划生成器能显著均衡化Hive查询运行时的集群负载,并优化了查询处理效率。 展开更多
关键词 海量数据离线处理 分布式数据仓库 负载均衡 统计信息收集 查询优化
在线阅读 下载PDF
数据仓库中物化视图的选择 被引量:11
13
作者 杨少军 范金存 李庆忠 《计算机应用》 CSCD 北大核心 2003年第9期58-60,共3页
物化视图是数据仓库中提高查询效率的有力方法,物化视图的选择一直是数据仓库领域的研究热点。通过对星型模型的研究,根据对数据仓库的常用查询及其执行概率,设计出一个候选视图的算法,并详细介绍了线性代价模型,在该模型和候选视图算... 物化视图是数据仓库中提高查询效率的有力方法,物化视图的选择一直是数据仓库领域的研究热点。通过对星型模型的研究,根据对数据仓库的常用查询及其执行概率,设计出一个候选视图的算法,并详细介绍了线性代价模型,在该模型和候选视图算法基础上,参照文献[4]提出一个改进的物化视图选择贪心算法。 展开更多
关键词 数据仓库 物化视图 选择算法
在线阅读 下载PDF
铁路货运数据仓库多维视图的组织及其物化策略 被引量:6
14
作者 林友芳 黄厚宽 田盛丰 《铁道学报》 EI CAS CSCD 北大核心 2001年第2期8-12,共5页
合理地组织数据仓库的多维视图 ,并将部分视图物化 ,是提高数据仓库查询性能的一个有效途径。本文结合铁路货运数据仓库模型的研究 ,探讨了数据仓库数据立方体多维视图的依赖格组织法及其物化策略 ,介绍了物化视图选择的贪心法和空间边... 合理地组织数据仓库的多维视图 ,并将部分视图物化 ,是提高数据仓库查询性能的一个有效途径。本文结合铁路货运数据仓库模型的研究 ,探讨了数据仓库数据立方体多维视图的依赖格组织法及其物化策略 ,介绍了物化视图选择的贪心法和空间边界法。并结合空间边界法提出了一种新的价值模型。 展开更多
关键词 数据仓库 数据立方体 物化策略 依赖格 查询代价 铁路货运 多维视图
在线阅读 下载PDF
超市决策支持系统的数据仓库的设计与实现 被引量:5
15
作者 徐忠健 袁捷 +1 位作者 陆菊康 陈毛狗 《计算机工程与应用》 CSCD 北大核心 2003年第18期226-229,共4页
近年来,数据仓库理论和技术迅速发展,但国内,至少在商业销售行业,运用数据仓库理论和方法真正意义上建造面向决策支持系统(DSS)的数据仓库尚不多见。论文以某大型超市销售决策支持系统为背景,介绍了独立开发的面向超市销售决策支持系统... 近年来,数据仓库理论和技术迅速发展,但国内,至少在商业销售行业,运用数据仓库理论和方法真正意义上建造面向决策支持系统(DSS)的数据仓库尚不多见。论文以某大型超市销售决策支持系统为背景,介绍了独立开发的面向超市销售决策支持系统的数据仓库的设计与实现方法,详述了数据仓库构建的几个关键技术。 展开更多
关键词 数据仓库 决策支持系统 联机分析处理 实视图 超市
在线阅读 下载PDF
静态物化视图的动态Cache优化算法 被引量:4
16
作者 张柏礼 孙志挥 +2 位作者 周晓云 杨宜东 朱玉全 《软件学报》 EI CSCD 北大核心 2006年第5期1213-1221,共9页
针对静态物化视图集动态适应能力的不足,提出一种动态cache优化算法DCO(dynamiccacheoptimization).它在保持静态算法获取最优物化集能力的基础上,将cache机制直观、快速的动态特性结合进来,以提高数据仓库的动态自适应性能.在cache机... 针对静态物化视图集动态适应能力的不足,提出一种动态cache优化算法DCO(dynamiccacheoptimization).它在保持静态算法获取最优物化集能力的基础上,将cache机制直观、快速的动态特性结合进来,以提高数据仓库的动态自适应性能.在cache机制具体实现中提出了一种新颖的空间申请方法,可以充分利用系统剩余空间提高查询响应性能.实验结果在表明算法有效、可行的同时,也显示出该算法可以在一定程度上克服静态物化集存在的空间-性能饱和效应(space-performancesaturationeffect,简称SPSE),使通过增加物化空间进一步提高数据仓库对查询的响应速度成为可能. 展开更多
关键词 数据仓库 物化视图 动态cache
在线阅读 下载PDF
物化视图选择的预处理算法 被引量:8
17
作者 张柏礼 孙志挥 孙翔 《计算机研究与发展》 EI CSCD 北大核心 2004年第10期1645-1651,共7页
现有的静态物化视图选择算法的视图搜索代价较大 ,而导致算法的时间复杂度偏高 ,不能用于对物化视图进行在线动态调整 提出了一种物化视图选择的预处理算法———PMVS ,其中包括用户查询集动态调整算法QSDM、候选视图格构造算法CVLC和... 现有的静态物化视图选择算法的视图搜索代价较大 ,而导致算法的时间复杂度偏高 ,不能用于对物化视图进行在线动态调整 提出了一种物化视图选择的预处理算法———PMVS ,其中包括用户查询集动态调整算法QSDM、候选视图格构造算法CVLC和候选视图筛选算法CVF ,该算法可用做预处理过程对视图数量进行在线压缩 ,从而降低了静态算法的视图空间搜索代价和时间复杂度 展开更多
关键词 物化视图 预处理算法 多维数据集 数据仓库
在线阅读 下载PDF
数据仓库的实现技术 被引量:13
18
作者 张宜红 樊惠娟 王能斌 《计算机科学》 CSCD 北大核心 1998年第2期67-69,共3页
70年代起,为满足现代管理的需要,人们在管理信息系统的基础上发展了以数据分析和建模定量分析为基础的决策支持系统,向决策者提供决策所需的信息,其核心部分是大量被良好管理着的数据。传统的数据库技术在数据共享。
关键词 数据仓库 数据源 数据处理
在线阅读 下载PDF
大型数据仓库实现技术的研究 被引量:7
19
作者 陈慧萍 陈岚峰 王建东 《计算机工程与设计》 CSCD 北大核心 2006年第21期3956-3958,3961,共4页
大型数据仓库是实现海量数据存储的有效途径,但在大型数据仓库的实现中存在很多问题。在分析问题的基础上,对大型数据仓库的实现问题提出了一定的解决策略,对其中的几个关键技术即数据立方体的有效计算、增量式更新维护、索引优化、故... 大型数据仓库是实现海量数据存储的有效途径,但在大型数据仓库的实现中存在很多问题。在分析问题的基础上,对大型数据仓库的实现问题提出了一定的解决策略,对其中的几个关键技术即数据立方体的有效计算、增量式更新维护、索引优化、故障恢复、模式设计和查询优化的代价模型及元数据的定义和管理等作了研究。 展开更多
关键词 数据仓库 联机分析处理 物化视图 数据立方体 索引
在线阅读 下载PDF
数据仓库中基于实体化辅助视图的视图增量维护 被引量:5
20
作者 胡孔法 董逸生 赵庆建 《小型微型计算机系统》 CSCD 北大核心 2003年第2期251-254,共4页
为了加快对大量数据的查询处理速度 ,通常在数据仓库以实视图方式存储数据 .当基础数据发生变化时 ,这些实视图也必须随着更新 .因而视图自维护和一致性维护成为数据仓库的重要问题 .本文提出利用视图计算的中间结果创建辅助视图 ,在数... 为了加快对大量数据的查询处理速度 ,通常在数据仓库以实视图方式存储数据 .当基础数据发生变化时 ,这些实视图也必须随着更新 .因而视图自维护和一致性维护成为数据仓库的重要问题 .本文提出利用视图计算的中间结果创建辅助视图 ,在数据仓库中进行实体化 ,采用有效的增量维护算法计算实视图和辅助视图的精确变化 。 展开更多
关键词 数据仓库 实体化辅助视图 视图增量维护 增量维护算法 数据源 数据库
在线阅读 下载PDF
上一页 1 2 5 下一页 到第
使用帮助 返回顶部