-
题名分布式流数据加载和查询技术优化
被引量：7
- 1
-
-
作者
易佳
薛晨
王树鹏
-
机构
中国科学院信息工程研究所
国家计算机网络与信息安全管理中心
-
出处
《计算机科学》
CSCD
北大核心
2017年第5期172-177,共6页
-
基金
国家自然科学基金(61271275
61202067)资助
-
文摘
分布式流查询是一种基于数据流的实时查询计算方法,近年来得到了广泛的关注和快速发展。综述了分布式流处理框架在实时关系型查询上取得的研究成果;对涉及分布式数据加载、分布式流计算框架、分布式流查询的产品进行了分析和比较;提出了基于Spark Streaming和Apache Kafka构建的分布式流查询模型,以并发加载多个文件源的形式,设计内存文件系统实现数据的快速加载,相较于基于Apache Flume的加载技术提速1倍以上。在Spark Streaming的基础上,实现了基于Spark SQL的分布式流查询接口,并提出了自行编码解析SQL语句的方法,实现了分布式查询。测试结果表明,在查询语句复杂的情况下,自行编码解析SQL的查询效率具有明显的优势。
-
关键词
大数据
流处理系统
分布式流查询
查询优化
kafka快速加载
-
Keywords
Big data, Stream processing system,Distributed stream query, Query optimization,kafka fast loading
-
分类号
TP274
[自动化与计算机技术—检测技术与自动化装置]
-
