-
题名基于统计方法的Hive数据仓库查询优化实现
被引量：16
- 1
-
-
作者
王有为
王伟平
孟丹
-
机构
中国科学院计算技术研究所集成应用中心
中国科学院信息工程研究所
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2015年第6期1452-1462,共11页
-
基金
国家"八六三"高技术研究发展计划基金项目(2013AA013204)
"核高基"国家科技重大专项基金项目(2013ZX01039-002-001-001)
中国科学院战略性先导科技专项项目(XDA06030200)
-
文摘
Map/Reduce是海量离线数据分析中广泛应用的并行编程模型。Hive数据仓库基于Map/Reduce实现了查询处理引擎,然而Map/Reduce框架在处理偏斜数据时会出现工作负载分布不均的问题。均衡计算模型（computation balanced model,CBM）,其核心思想是通过数据分布特征指导查询计划优化。相应研究贡献包括2部分,首先针对应用极广的GroupBy查询和Join查询建立了运行估价模型,确定了不同场景下查询计划的优化选择分支;其次基于Hive ETL机制设计了一种统计信息收集方法,解决了统计海量数据分布特征的问题。实验数据表明,通过CBM优化的GroupBy查询耗时节省了8%～45%,Join查询耗时节省了12%～46%;集群CPU负载均衡指标优化了60%～80%,I/O负载均衡指标优化了60%～90%。实验结果证实了基于CBM模型优化的查询计划生成器能显著均衡化Hive查询运行时的集群负载,并优化了查询处理效率。
-
关键词
海量数据离线处理
分布式数据仓库
负载均衡
统计信息收集
查询优化
-
Keywords
offline processing of massive data
distributed data warehouse
payload balance
statisticsinformation collection
query optimization
-
分类号
TP311.133.1
[自动化与计算机技术—计算机软件与理论]
-
