Star Cube——一种高效的数据立方体实现方法 被引量：5

1

作者 李盛恩 王珊 《计算机研究与发展》 EI CSCD 北大核心 2004年第4期587-593,共7页

一个具有n个维的数据立方体有 2 n 个视图 ,视图越多 ,用于维护数据立方体的时间也就越长 通过将维分成划分维和非划分维 ,数据立方体可以转换成starcube starcube由一个综合表和那些仅包含划分维的视图组成 starcube使用前缀共享和元... 一个具有n个维的数据立方体有 2 n 个视图 ,视图越多 ,用于维护数据立方体的时间也就越长 通过将维分成划分维和非划分维 ,数据立方体可以转换成starcube starcube由一个综合表和那些仅包含划分维的视图组成 starcube使用前缀共享和元组共享技术不仅减少了所需的存储空间 ,还大大减少了计算和维护时间 在把一个分片限制在一个I/O单位的条件下 ,starcube的查询响应时间与数据立方体基本相同 实验结果也表明 。 展开更多

关键词 数据仓库 联机分析 数据立方体

在线阅读 下载PDF 职称材料

支持What-if分析的OLAP系统研究 被引量：4

2

作者 王珊 肖艳芹 +1 位作者 张延松 陈红 《计算机学报》 EI CSCD 北大核心 2008年第9期1573-1587,共15页

数据仓库和OLAP是决策支持系统的重要组成部分.What-if分析是基于历史数据,对假设场景进行分析的重要手段,它可以为决策者提供重要的预测信息,是一种非常重要的决策支持分析过程.文中分析了what-if分析的研究现状,从不同的角度对what-i... 数据仓库和OLAP是决策支持系统的重要组成部分.What-if分析是基于历史数据,对假设场景进行分析的重要手段,它可以为决策者提供重要的预测信息,是一种非常重要的决策支持分析过程.文中分析了what-if分析的研究现状,从不同的角度对what-if分析进行了分类.将其分为基于规则的what-if分析、基于delta表的差分数据存储与合并机制的what-if分析和基于CUBE增量维护方法的what-if分析三类,分析了各种实现方法的优点以及适用范围.给出了基于内存数据库的delta表模式的what-if分析算法和一种新的CUBE维护算法.最后对基于what-if分析的OLAP系统的未来研究方向进行了展望. 展开更多

关键词 数据仓库 olap WHAT-IF分析 cube delta表

在线阅读 下载PDF 职称材料

海量数据分析的One-size-fits-all OLAP技术 被引量：32

3

作者 张延松 焦敏 +2 位作者 王占伟 王珊 周烜 《计算机学报》 EI CSCD 北大核心 2011年第10期1936-1946,共11页

传统的OLAP被迅速膨胀的海量数据推动进入了大规模数据分析时代,其主要特点是存储密度大,计算强度大,需要大规模并行存储和处理能力.无论是传统的并行数据库技术还是热点的MapReduce技术都不得不面对海量数据在大规模并行处理环境下的... 传统的OLAP被迅速膨胀的海量数据推动进入了大规模数据分析时代,其主要特点是存储密度大,计算强度大,需要大规模并行存储和处理能力.无论是传统的并行数据库技术还是热点的MapReduce技术都不得不面对海量数据在大规模并行处理环境下的性能和并行处理效率的问题.以星型模型上复杂多表连接为基础的OLAP算法的复杂度和并行处理过程中的数据网络传输代价都成为制约性能的重要因素.通过深入分析OLAP存储模型和查询负载特征,提出了对OLAP查询中最基础的SPJGA-OLAP子集在存储、查询处理、数据分布、网络传输和分布式缓存等方面面向海量数据大规模并行处理框架的优化策略和实现技术.通过对TPC-H和SSB两个工业界和学术界公认的测试标准的分析,评估了技术的可行性.提出了以内存predicate-vector DDTA-JOIN算法为核心的并行内存OLAP架构,以维表上规范化的谓词向量操作替代了多样的连接执行计划,实现以一种查询处理模型同时满足集中式处理和大规模并行OLAP处理的需求,充分利用现代计算机的硬件优势,最小化网络传输和OLAP查询处理代价.实验中分析了在1TB和100TB数据集中数据分布策略的存储代价和传输代价,通过并行OLAP代价模型和实际数据的实验测试验证了技术的可行性和并行处理效率. 展开更多

关键词 olap 海量数据分析处理 谓词向量 星型模型

在线阅读 下载PDF 职称材料

OLAP数据仓库在电网调度决策中的研究与应用 被引量：9

4

作者 柳进 胡政 唐降龙 《计算机工程与设计》 CSCD 北大核心 2005年第2期296-298,311,共4页

以某电力系统为研究背景,在对原有的数据源进行分析和重新组织的基础上,构建电网调度数据仓库,并建立多维雪花模式的数据立方体。运用OLAP和数据挖掘技术,从多角度、多层次快速地分析和查询数据仓库的数据,实现负荷预估和调度的科学化,... 以某电力系统为研究背景,在对原有的数据源进行分析和重新组织的基础上,构建电网调度数据仓库,并建立多维雪花模式的数据立方体。运用OLAP和数据挖掘技术,从多角度、多层次快速地分析和查询数据仓库的数据,实现负荷预估和调度的科学化,并说明OLAP数据仓库能够为电网调度管理人员提供有效的决策信息。 展开更多

关键词 数据仓库 olap 数据立方体 数据源 查询 数据挖掘技术 调度 决策信息 多层次 人员

在线阅读 下载PDF 职称材料

基于星型模式的OLAP工具的研究和设计 被引量：5

5

作者 张定会 沈国华 黄志球 《计算机工程与设计》 CSCD 2002年第11期31-35,共5页

介绍了OLAP技术并着重分析了关系OLAP,给出了多维分析的概念模型-多维模型,以及基于星型模式的数据仑库OLAP设计方法,最后提出了一套详细的三层结构的OLAP工具的设计方案并举例说明。

关键词 星型模式 olap工具 设计 联机分析处理 多维模型 数据仓库 数据库

在线阅读 下载PDF 职称材料

OLAP数据挖掘引擎算法的设计与实现 被引量：4

6

作者 田海东 李静 陆菊康 《计算机工程与设计》 CSCD 2004年第12期2321-2323,共3页

基于OLAP的数据挖掘,是数据挖掘的一个新的发展方向。对于如何把OLAP(联机分析处理技术)和DM(数据挖掘)统一起来,从而在数据库或数据仓库的不同层次进行挖掘,提出了OLAP数据挖掘系统的结构。通过研究数据挖掘方法和OLAP操作的特点,以及... 基于OLAP的数据挖掘,是数据挖掘的一个新的发展方向。对于如何把OLAP(联机分析处理技术)和DM(数据挖掘)统一起来,从而在数据库或数据仓库的不同层次进行挖掘,提出了OLAP数据挖掘系统的结构。通过研究数据挖掘方法和OLAP操作的特点,以及数据立方的构建和物化,对传统的DM算法进行了改进,设计并实现了更能适应OLAP数据挖掘引擎的算法。 展开更多

关键词 数据挖掘系统 olap 算法 数据立方 引擎 数据仓库 数据库 联机分析处理技术 发展方向 构建

在线阅读 下载PDF 职称材料

采用多服务器提高小型OLAP系统综合性能的研究 被引量：9

7

作者 叶德谦 《小型微型计算机系统》 CSCD 北大核心 2002年第4期486-488,共3页

本文介绍了采用三个服务器并行处理方式的小型 OL AP系统 .此系统占用最小的存储空间、具有最短的处理时间和最快查询速度、除有效地解决了传统系统中请求叶子数据聚合的查询速度慢的问题外 ,同时还满足了系统的可靠性和不间断运行数据... 本文介绍了采用三个服务器并行处理方式的小型 OL AP系统 .此系统占用最小的存储空间、具有最短的处理时间和最快查询速度、除有效地解决了传统系统中请求叶子数据聚合的查询速度慢的问题外 ,同时还满足了系统的可靠性和不间断运行数据更新的要求 .文中详细地描述了系统的结构、原理、性能。 展开更多

关键词 联机分析处理 数据仓库 服务器 小型olap系统 综合性能 数据库

在线阅读 下载PDF 职称材料

有效支持空间OLAP的空间数据仓库模型研究 被引量：1

8

作者 陈细谦 迟忠先 徐世宏 《大连理工大学学报》 EI CAS CSCD 北大核心 2004年第6期901-905,共5页

为了实现各类空间联机分析,提供更加全面灵活的空间决策支持,提出了一个空间数据立方体与空间索引结构相互协作的空间数据仓库模型,并同时构建了一个与之协作的空间索引结构aR*Btree.aR*Btree基于R*tree和Btree实现,存储了空间维及时间... 为了实现各类空间联机分析,提供更加全面灵活的空间决策支持,提出了一个空间数据立方体与空间索引结构相互协作的空间数据仓库模型,并同时构建了一个与之协作的空间索引结构aR*Btree.aR*Btree基于R*tree和Btree实现,存储了空间维及时间维的聚集信息和层次关系,可以有效支持区域聚集查询.对各种空间联机分析操作进行了分类,分析表明该模型充分利用了传统数据仓库成熟的建模和联机分析技术,结合了空间索引结构在空间层次结构上的灵活特性,可以有效地支持各类空间联机分析.最后比较了aR*Btree与其他索引结构在区域聚集查询方面的性能.实验结果证明,在区域聚集查询中aR*Btree的节点访问次数和查询执行时间均小于现有索引结构. 展开更多

关键词 聚集查询 空间索引结构 联机分析 olap 空间数据仓库 协作 层次关系 区域 支持 模型研究

在线阅读 下载PDF 职称材料

数据仓库上的Gcube操作 被引量：1

9

作者 高宏 李建中 《计算机科学》 CSCD 北大核心 1999年第4期22-25,45,共5页

1 问题的提出商业和企业界认为,数据仓库上的联机分析处理(OLAP)应用是决策分析的关键。支持OLAP应用的多维数据模型正在得到人们的普遍接受。在多维数据模型中,数据记录中的某些域或属性被选作度量属性,其它域或属性被称为维属性或函... 1 问题的提出商业和企业界认为,数据仓库上的联机分析处理(OLAP)应用是决策分析的关键。支持OLAP应用的多维数据模型正在得到人们的普遍接受。在多维数据模型中,数据记录中的某些域或属性被选作度量属性,其它域或属性被称为维属性或函数属性。在多维数据库中,具有相同函数属性值的数据记录的度量属性值集合组合为一个聚集值(通过聚集函数)。多维数据库可以视为由维属性值索引的多维数组,每个数组单元存储相应的维属性值组合所对应的度量属性值集合的聚集值。以后,在不引起混淆的情况下,我们把多维数据库简单地称为关系。多维数据库通常也称为Cube。 展开更多

关键词 数据仓库 Gcube操作 数据收集 数据处理

在线阅读 下载PDF 职称材料

ROLAP环境下数据立方体的计算框架

10

作者 李盛恩 张绍兰 巩建国 《计算机科学》 CSCD 北大核心 2004年第10期93-95,共3页

数据立方体计算是联机分析中一项重要的技术。研完工作者提出了多种具有不同存储空间和查询相应时间的数据立方体,每种数据立方体有独自的生成算法。本文分析了使用关系系统作为存储结构的一般数据立方体、部分数据立方体和浓缩数据立... 数据立方体计算是联机分析中一项重要的技术。研完工作者提出了多种具有不同存储空间和查询相应时间的数据立方体,每种数据立方体有独自的生成算法。本文分析了使用关系系统作为存储结构的一般数据立方体、部分数据立方体和浓缩数据立方体的原理,提出用合作伙伴的概念统一这三类数据立方体的思想,并设计了一个算法TCUBE用于生成这些数据立方体。我们使用了一个实际数据集测试了TCUBE的性能,结果表明它生成浓缩数据立方体的速度要快于原有的算法。 展开更多

关键词 数据立方体 Rolap 存储结构 生成算法 联机分析 数据集 查询 分数 实际 工作者

在线阅读 下载PDF 职称材料

基于抽样的Cube占用空间预测算法

11

作者 张季 周立柱 +1 位作者 蒋旭东 冯建华 《计算机工程与应用》 CSCD 北大核心 2001年第24期104-107,共4页

在数据仓库的设计中实物化视图的选择有赖于对cube占用存储空间大小的预测,然而传统的基于数据均匀分布的抽样预测算法不能准确地估计cube的大小。文章介绍了一种利用抽样原理预测cube大小的算法,这种算法能够自适应不同程度的数据倾斜... 在数据仓库的设计中实物化视图的选择有赖于对cube占用存储空间大小的预测,然而传统的基于数据均匀分布的抽样预测算法不能准确地估计cube的大小。文章介绍了一种利用抽样原理预测cube大小的算法,这种算法能够自适应不同程度的数据倾斜,特别适用于数据倾斜程度较大的情况。实验数据表明,该算法对传统的抽样预测算法有明显的改进效果。 展开更多

关键词 cube 数据倾斜 数据仓库 联机分析处理 数据库 空间预测算法

在线阅读 下载PDF 职称材料

OLAP技术在电信领域中的应用 被引量：4

12

作者 张中平 徐佑军 《计算机工程与设计》 CSCD 北大核心 2005年第7期1950-1952,共3页

OLAP(联机分析处理)是一种数据分析技术,它和数据仓库有着密切的联系,详细阐述了OLAP技术在电信领域的应用,以及OALP技术和数据仓库的一些关系。以移动电话业务收入总量为分析主题,确定了分析方法,定义了维度,并构造分析了立方体和星型... OLAP(联机分析处理)是一种数据分析技术,它和数据仓库有着密切的联系,详细阐述了OLAP技术在电信领域的应用,以及OALP技术和数据仓库的一些关系。以移动电话业务收入总量为分析主题,确定了分析方法,定义了维度,并构造分析了立方体和星型结构,最后对结果进行了分析。 展开更多

关键词 olap 数据仓库 维度 立方体 计量指标

在线阅读 下载PDF 职称材料

语义OLAP缓存技术研究 被引量：3

13

作者 游进国 董朋志 +3 位作者 胡宝丽 王洋 丁家满 贾连印 《小型微型计算机系统》 CSCD 北大核心 2015年第7期1470-1475,共6页

针对页面缓存,元组缓存,语义缓存等查询缓存技术不能充分利用OLAP较一般SQL查询所具有更强的语义和上下文相关性的特性,提出一种新的OLAP查询缓存技术语义OLAP缓存.该缓存模型只存储等价类所代表的集合信息,而不是大量单个数据单元或数... 针对页面缓存,元组缓存,语义缓存等查询缓存技术不能充分利用OLAP较一般SQL查询所具有更强的语义和上下文相关性的特性,提出一种新的OLAP查询缓存技术语义OLAP缓存.该缓存模型只存储等价类所代表的集合信息,而不是大量单个数据单元或数据元组信息.随着查询过程的深入,缓存项的等价类范围动态更新,可在保持缓存大小不变的情况下,扩展等价类范围,从而回答更多查询并提高命中率.此外还提出根据缓存项间的上卷、下钻关系将缓存项连接在一起形成代数格结构,以方便剪枝,从而进一步缩小查找范围.实验结果充分证明了该缓存模型和算法的有效性. 展开更多

关键词 数据仓库 联机分析处理 查询缓存 商立方体 查询

在线阅读 下载PDF 职称材料

OLAP性能测试方法研究与实现 被引量：10

14

作者 赵博 叶晓俊 《计算机研究与发展》 EI CSCD 北大核心 2011年第10期1951-1959,共9页

随着商业智能市场的逐步扩大,联机分析处理(OLAP)系统的使用质量评估已经成为数据库应用的研究热点.作为效用特性的OLAP系统性能评估需要一个性能基准.以OLAP委员会推出的APB-1性能基准为基础,首先设计了面向多维数据库的立方体(Cube)... 随着商业智能市场的逐步扩大,联机分析处理(OLAP)系统的使用质量评估已经成为数据库应用的研究热点.作为效用特性的OLAP系统性能评估需要一个性能基准.以OLAP委员会推出的APB-1性能基准为基础,首先设计了面向多维数据库的立方体(Cube)模型以及相应的多维表达式(MDX)查询模板,在Cube模型设计的过程中修改了APB-1基准ROLAP星型模型的不足之处;接着在测试数据一致和测试参数一致的前提下,通过对设计的MOLAP模型查询结果与ROLAP模型查询结果进行对比分析,证明了MOLAP模型及MDX查询模板设计的正确性;然后给出了OLAP性能测试流程,描述了支持ROLAP和MOLAP性能测试的工具框架及其主要模块.最后使用该测试框架在商业数据库管理系统上对ROLAP和MOLAP进行并发查询实践,验证了框架的有效性.提出的方法及技术实现为未来OLAP产品性能的测试和评价提供多维数据模型、业务模型和工具的支持. 展开更多

关键词 数据仓库 联机分析处理 APB-1基准 立方体模型 多维表达式

在线阅读 下载PDF 职称材料

基于聚集区域的强关联OLAP查询解决方案设计

15

作者 钱琼 雷霖 +1 位作者 脱建勇 刘文煌 《计算机工程与应用》 CSCD 北大核心 2003年第36期193-196,226,共5页

聚集区域的OLAP查询解决方案是基于对数据仓库中数据立方体聚集区域认识的基础上提出的。它结合MO-LAP和ROLAP的特点,能够有效地识别出数据立方体中的聚集区域和稀疏点,通过不同的存储方式提高查询效率。基于上述思想,该文还提出了聚集... 聚集区域的OLAP查询解决方案是基于对数据仓库中数据立方体聚集区域认识的基础上提出的。它结合MO-LAP和ROLAP的特点,能够有效地识别出数据立方体中的聚集区域和稀疏点,通过不同的存储方式提高查询效率。基于上述思想,该文还提出了聚集区域查询(DSR)算法和严格约束的聚集区域查询(SDSR)算法,并对两种算法进行了仿真比较。 展开更多

关键词 olap 数据仓库 数据立方体 数据查询 数据库 设计 聚集区域查询算法

在线阅读 下载PDF 职称材料

空间OLAP技术研究 被引量：2

16

作者 李一军 樊博 《管理科学学报》 CSSCI 2003年第4期9-16,共8页

针对决策支持系统中空间数据可视化应用趋势,研究基于空间数据仓库的一种决策分析工具———在线分析处理,通过改进空间数据立方体的物化视图选择方法,并进行了实例分析,验证该方法的有效性和优越性,更好地解决空间OLAP响应时间延迟问题... 针对决策支持系统中空间数据可视化应用趋势,研究基于空间数据仓库的一种决策分析工具———在线分析处理,通过改进空间数据立方体的物化视图选择方法,并进行了实例分析,验证该方法的有效性和优越性,更好地解决空间OLAP响应时间延迟问题.进而扩展空间OLAP应用模型和模式,实现更加完备、灵活的空间OLAP操作功能. 展开更多

关键词 在线分析处理 空间数据立方体 空间数据仓库 物化视图选择 空间在线分析处理

在线阅读 下载PDF 职称材料

OLAP在银行数据仓库中的设计和实现 被引量：4

17

作者 江键 陈福生 《计算机工程与设计》 CSCD 北大核心 2006年第20期3884-3886,共3页

如何对海量数据进行科学的分析处理以便为决策者提供决策支持已经成为银行面临的新课题。对此,通过对数据仓库在银行业务应用的研究,围绕银行领域的数据仓库和联机分析处理的部分设计开发过程进行了广泛的论述。主要综述了实体关系模型... 如何对海量数据进行科学的分析处理以便为决策者提供决策支持已经成为银行面临的新课题。对此,通过对数据仓库在银行业务应用的研究,围绕银行领域的数据仓库和联机分析处理的部分设计开发过程进行了广泛的论述。主要综述了实体关系模型、星型模型、立方体(CUBE)、汇总表的设计以及在开发中所要注意的问题,并且特别对目前使用比较多的立方体设计进行深入有效的讨论,提出了一种高效的建立数据仓库和实现联机分析处理的设计方案和实现思想。 展开更多

关键词 数据仓库 联机分析处理 实体关系模型 星型模型 立方体

在线阅读 下载PDF 职称材料

基于切片的OLAP动态推理控制研究 被引量：1

18

作者 周彩霞 陈启买 《计算机科学》 CSCD 北大核心 2013年第06A期149-152,共4页

针对OLAP系统存在的数据仓库敏感信息泄漏的问题,及已有的推理研究都是以数据立方体为粒度,细粒度的切片推理仍然存在的问题,提出了以切片为推理单元的推理控制方法。该方法将推理粒度细化到切片,使每次查询生成对应的切片格,根据格的... 针对OLAP系统存在的数据仓库敏感信息泄漏的问题,及已有的推理研究都是以数据立方体为粒度,细粒度的切片推理仍然存在的问题,提出了以切片为推理单元的推理控制方法。该方法将推理粒度细化到切片,使每次查询生成对应的切片格,根据格的依赖关系判定是否存在推理通道,实现动态地防止单切片的推理,提高了敏感信息的保护力度。 展开更多

关键词 数据仓库 在线分析处理系统 数据立方体 切片 推理控制

在线阅读 下载PDF 职称材料

数据仓库查询处理中的一种多表连接算法 被引量：30

19

作者 蒋旭东 周立柱 《软件学报》 EI CSCD 北大核心 2001年第2期190-195,共6页

在进行数据仓库的 OLAP( online analytical processing,联机分析处理 )查询处理时 ,经常会涉及到多表连接操作 ,因此 ,提高多表连接的性能就成了数据仓库领域的关键性问题 .基于数据仓库的星型模式 ,给出了一种新的多表连接算法 ( M- J... 在进行数据仓库的 OLAP( online analytical processing,联机分析处理 )查询处理时 ,经常会涉及到多表连接操作 ,因此 ,提高多表连接的性能就成了数据仓库领域的关键性问题 .基于数据仓库的星型模式 ,给出了一种新的多表连接算法 ( M- Join) .与传统关系数据库管理系统的多表连接查询处理相比 ,该算法充分考虑了数据仓库中的数据本身和多表连接的特点 ,采用对多个表进行一次性连接的方法 ,使得查询的性能有明显的改善 .同时 ,还给出了算法的实验结果和分析 . 展开更多

关键词 数据仓库 olap 多表连接算法 数据库 数据查询处理

在线阅读 下载PDF 职称材料

空间数据立方体的建模方法研究 被引量：9

20

作者 樊博 李海刚 孟庆国 《计算机工程》 CAS CSCD 北大核心 2007年第8期1-2,9,共3页

研究了基于空间数据仓库的一种决策分析工具——空间在线分析处理(OLAP)的支撑技术。将普通数据立方体与空间数据立方体进行比较,提出空间数据立方体的维和度量的建模方法,解决了空间维与非空间维、空间度量与数值度量的集成建模问题。

关键词 空间数据仓库 空间olap 空间数据立方体

在线阅读 下载PDF 职称材料