-
题名基于MapReduce的封闭数据立方
被引量：4
- 1
-
-
作者
冷芳玲
鲍玉斌
于戈
高伟
-
机构
东北大学信息科学与工程学院
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2011年第S3期232-238,共7页
-
基金
国家自然科学基金项目(61033007)
中央高校基本科研业务费专项资金资助项目(N100304005)
-
文摘
为提高海量级数据仓库分析过程中的数据查询效率,研究基于MapReduce并行处理技术的数据立方构建技术,提出了全局封闭数据立方体的生成算法以及其上的查询处理算法.实验和分析结果表明该算法充分发挥了集群系统的并行处理能力,可以高效地生成全局封闭数据立方体,并且该立方体的存储空间减少了将近40%.其上查询算法的复杂度和网络代价均非常小.
-
关键词
数据仓库
封闭数据立方
MAPREDUCE
-
Keywords
data warehouse
closed data cube
MapReduce
-
分类号
TP3
[自动化与计算机技术—计算机科学与技术]
-
-
题名PHCC:一种处理稀疏变化的封闭数据立方体算法
被引量：2
- 2
-
-
作者
牟雁超
李红燕
王腾蛟
-
机构
北京大学信息科学技术学院
机器感知与智能教育部重点实验室(北京大学)
高可信软件技术教育部重点实验室(北京大学)
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2013年第S2期85-93,共9页
-
基金
国家自然科学基金项目(60973002
61170003)
+2 种基金
国家"八六三"高技术研究发展计划基金项目(2012AA011002)
"核高基"国家科技重大专项基金项目(2010ZX01042-002-002-02
2010ZX01042-001-003-05)
-
文摘
完全数据立方体是一种需要在数据集上对属性列进行上卷聚集运算的复杂模型,而封闭数据立方体是一种对应的高效压缩模型.近年来海量数据管理系统的发展使得在大数据上进行数据立方体的计算成为可能,但是大数据环境中的数据可能稀疏也可能密集,因此,要求在不同的数据稀疏程度下算法都要有稳定的表现.面对这样的要求,提出了一种基于大数据环境的封闭数据立方体并行化方法,首先通过构造2种树结构进行本地封闭数据子立方体的构造,然后利用位运算的方式在遍历树结构的同时进行封闭数据立方体的判断和聚集运算,最后经过合并得到查询的最终结果.并且通过在大数据中进行对比实验证明混合并行封闭数据立方体(parallel hybrid closed cubing,PHCC)算法能够满足在稀疏数据变化的数据中进行稳定聚集运算的条件.
-
关键词
封闭数据立方体
大数据
树结构
MAPREDUCE
并行化计算
-
Keywords
closed data cube
big data
tree-structure
MapReduce
parallel computation
-
分类号
TP301.6
[自动化与计算机技术—计算机系统结构]
-
-
题名一种生成封闭数据立方体的新算法
被引量：1
- 3
-
-
作者
张亮
白振兴
周军
白云
-
机构
空军工程大学工程学院
-
出处
《弹箭与制导学报》
CSCD
北大核心
2010年第3期247-250,共4页
-
文摘
以武器装备故障维修数据为基础,研究了武器装备故障维修数据立方体,重点分析了封闭数据立方体与基本元组集之间的关系,提出一种建立武器装备故障维修封闭数据立方体模型的新算法,并针对冰山封闭数据立方体进行算法改进。最后利用近十年武器装备故障维修数据对算法进行验证,结果表明文中算法较之基本的封闭数据立方体算法具有更好的时空效率,为分析武器装备故障原因提供了一种更有效的手段。
-
关键词
数据仓库
数据立方体
封闭数据立方体
APRIORI
-
Keywords
data warehouse
data cube
closed data cube
Apriori
-
分类号
E920
[兵器科学与技术—武器系统与运用工程]
-
-
题名基于Hadoop的封闭直方图立方
- 4
-
-
作者
冷芳玲
鲍玉斌
于戈
李炳梁
-
机构
东北大学信息科学与工程学院
-
出处
《小型微型计算机系统》
CSCD
北大核心
2012年第10期2127-2132,共6页
-
基金
国家自然科学基金项目(61173028
61033007)资助
中央高校基本科研业务费专项资金项目(N100304005)资助
-
文摘
封闭数据立方是一种有效的无损压缩技术,它去掉了数据立方中的冗余信息,从而有效降低了数据立方的存储空间、加快了计算速度,而且几乎不影响查询性能.Hadoop的MapReduce并行计算模型为数据立方的计算提供了技术支持,Hadoop的分布式文件系统HDFS为数据立方的存储提供了保障.为了节省存储空间、加快查询速度,在传统数据立方的基础上提出封闭直方图立方,它在封闭数据立方的基础上通过编码技术进一步节省了存储空间,通过建立索引加快了查询速度.Hadoop并行计算平台不论从扩展性还是均衡性都为封闭直方图立方提供了保证.实验证明:封闭直方图立方对数据立方进行了有效压缩,具有较高的查询性能,根据Hadoop的特点通过增加节点个数明显加快了计算速度.
-
关键词
封闭数据立方
直方图数据立方
HADOOP
MAPREDUCE
-
Keywords
closed data cube
histogram data cube
Hadoop
MapReduce
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
