-
题名基于MapReduce的大数据流程处理方法
被引量：1
- 1
-
-
作者
王东雷
孙忠林
-
机构
山东科技大学信息科学与工程学院
-
出处
《计算机应用》
CSCD
北大核心
2013年第A02期57-59,127,共4页
-
基金
山东省自然科学基金资助项目(ZR2011FQ028)
山东省统计科研重点课题一般项目(KT12067)
-
文摘
处理效率是数据流程处理的重要指标,简单的单服务器结构已经难以适应海量数据的处理任务。为了能够完成海量数据的流程处理任务,简要介绍了Google的MapReduce的结构,Fegaras等剔除的MapReduce查询语言(MRQL),并基于MapReduce编程模型和MRQL提出了一种分布式数据汇聚方法。该方法借助MapReduce完成数据处理流程的执行,借助MRQL控制MapReduce。在XBus数据汇聚平台基础上,结合MapReduce和MRQL实现了MRXBus分布式数据汇聚平台,验证了该方法的可行性。实验表明,该方法可以减少大数据量的处理时间,提高处理效率。
-
关键词
数据流程处理
数据汇聚
mapreduce
HADOOP
mapreduce查询语言
-
Keywords
data flow processing
data aggregation
mapreduce
Hadoop
mapreduce query language （mrql）
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名基于MapReduce的OCL的并行查询方法
被引量：2
- 2
-
-
作者
金仙力
马凯旋
-
机构
南京邮电大学计算机软件学院
-
出处
《计算机应用与软件》
北大核心
2018年第7期21-26,56,共7页
-
基金
国家自然科学基金项目(61373139)
-
文摘
在单机环境下,基于单节点的OCL(Object Constraint Language)查询方法已经无法高效地完成大规模的查询任务。为了应对大量数据带来的挑战,提高OCL查询的速度,提出一种基于MapReduce的OCL并行查询方法 OPQM(OCL Parallel Query Method)。这种方法通过提取OCL对象属性集合,实现从OCL规则库查询到OCL对象属性查询的转化,并利用MapReduce实现对象属性并行查询,缩短了OCL查询时间。
-
关键词
对象约束语言
对象约束语言查询
mapreduce
并行查询
-
Keywords
OCL（Object Constraint language）
OCL query
mapreduce
Parallel query
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
