-
题名一种基于Hadoop的多表链接策略
被引量：2
- 1
-
-
作者
徐剑
陈群
王卓
李战怀
-
机构
西北工业大学计算机学院
-
出处
《现代电子技术》
2014年第6期90-94,共5页
-
基金
国家自然科学基金重点项目(61033007)
国家"973"重点基础发展规划基金资助项目(2012CB316203)
-
文摘
Hadoop系统在处理多表链接问题时,每轮都会将大量的中间结果写入本地磁盘,从而严重降低了系统的处理效率。为解决该问题,提出一种"替换-查询"方法,该方法通过对链接表建立索引,将预输出的元组集替换为索引信息输出到中间结果,以索引的形式参与多表链接,以此减少中间结果的I/O代价。运用缓冲池、二次排序和多线程技术对索引信息进行优化管理,加快索引查询速度。最后在TPC-H数据集上,设计了与原Hadoop的对比实验,结果表明该方法可减少35.5%的存储空间,提高12.9%的运行效率。
-
关键词
多表链接
替换-查询
索引
缓冲池
二次排序
-
Keywords
multi-table connection
replace-query
index
buffer pool
secondary sorting
-
分类号
TN911-34
[电子电信—通信与信息系统]
TP311
[自动化与计算机技术—计算机软件与理论]
-
