-
题名混合MapReduce环境下大数据划分的查询优化
被引量：1
- 1
-
-
作者
李伏
朱青
-
机构
中国人民大学信息学院计算机系
-
出处
《计算机科学与探索》
CSCD
2012年第10期877-887,共11页
-
基金
国家自然科学基金 No.61070053
上海市高可信计算重点实验室开放课题 No.07dz22304~~
-
文摘
在MapReduce与数据库的混合架构中,数据划分是影响查询性能的重要因素。对于开销最大的连接和聚集操作,采用混合MapReduce的方式实现,需要大规模数据的跨结点传输,网络传输和I/O开销巨大。为了减少传输的数据量,并提高连接操作的查询效率,提出了划分建议器模型。实现了MapReduce和数据库混合架构上的划分建议器,并计算划分代价,生成最优的数据划分方案,提高了系统效率。为了减少查询时间,依据划分建议器模型,提出了基于代价优先的生成策略和空间搜索算法,减少了划分建议器生成最优方案的时间。通过实验验证了划分建议器的有效性,使系统的整体查询代价最小,显著提高了系统性能。
-
关键词
混合架构
查询优化
划分建议器
-
Keywords
hybrid architecture
query optimization
partition recommender
-
分类号
TP392
[自动化与计算机技术—计算机应用技术]
-
