MapReduce并行编程模型研究综述 被引量：189

1

作者 李建江 崔健 +2 位作者 王聃 严林 黄义双 《电子学报》 EI CAS CSCD 北大核心 2011年第11期2635-2642,共8页

MapReduce并行编程模型通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度.本文对MapReduce的国内外相关研究现状进行了综述,阐述和分析了当前国内外与MapReduce相关的典型研究成... MapReduce并行编程模型通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度.本文对MapReduce的国内外相关研究现状进行了综述,阐述和分析了当前国内外与MapReduce相关的典型研究成果的特点和不足,重点对MapReduce涉及的关键技术(包括:模型改进、模型针对不同平台的实现、任务调度、负载均衡和容错)的研究现状进行了深入的分析.本文最后还对MapReduce未来的发展趋势进行了展望. 展开更多

关键词 MAPREDUCE 并行编程模型 运行时支持库 海量数据处理

在线阅读 下载PDF 职称材料

基于MapReduce模型的并行科学计算 被引量：39

2

作者 郑启龙 房明 +3 位作者 汪胜 王向前 吴晓伟 王昊 《微电子学与计算机》 CSCD 北大核心 2009年第8期13-17,共5页

随着多核处理器日渐普及,开发高效易用的并行编程模型成为新的挑战.MapReduce是Google开发的一种并行分布式计算模型,在其搜索业务中获得了巨大的成功.将MapReduce模型引入科学计算领域,并结合实例阐述了如何使用面向高性能计算的HPMR/H... 随着多核处理器日渐普及,开发高效易用的并行编程模型成为新的挑战.MapReduce是Google开发的一种并行分布式计算模型,在其搜索业务中获得了巨大的成功.将MapReduce模型引入科学计算领域,并结合实例阐述了如何使用面向高性能计算的HPMR/HPMR-s系统在分布式或共享存储系统中采用统一的方式描述并实现并行科学计算. 展开更多

关键词 并行编程模型 科学计算 MAPREDUCE

在线阅读 下载PDF 职称材料

神威平台上AceMesh编程模型的构图优化 被引量：1

3

作者 叶雨曦 傅游 +3 位作者 梁建国 孟现粉 刘颖 花嵘 《山东科技大学学报（自然科学版）》 CAS 北大核心 2021年第4期76-85,共10页

面向高性能计算领域的多核、众核处理器飞速发展,为了降低并行编程的难度,提高并行计算效率,数据驱动的并行编程模型成为高性能计算领域的研究热点。AceMesh是数据流驱动的、支持多核和众核异构平台的任务并行编程模型,能自动发掘结构... 面向高性能计算领域的多核、众核处理器飞速发展,为了降低并行编程的难度,提高并行计算效率,数据驱动的并行编程模型成为高性能计算领域的研究热点。AceMesh是数据流驱动的、支持多核和众核异构平台的任务并行编程模型,能自动发掘结构化网格应用中存在的数据驱动的任务图并行性。但如果任务粒度划分较细,其构图过程会造成很大开销。本研究结合“申威26010”异构众核处理器的结构特点,从主、从核通信优化、内存池、无后继任务收集等方面对AceMesh构图过程进行优化,并采用航天飞行器应用中的7个热点子程序对优化效果进行测试。测试数据表明以上优化取得5倍的加速。为验证构图优化对AceMesh整体性能的提升,对航天飞行器应用分别在Acemesh和神威OpenACC的加速效果进行了测试,优化后的AceMesh加速效果约为神威OpenACC的1.5倍。 展开更多

关键词 DAG构图优化 任务并行编程模型 神威·太湖之光 申威处理器 性能

在线阅读 下载PDF 职称材料

层次化架构嵌入式多核处理器原型设计及其编程研究 被引量：1

4

作者 侯宁 赵红梅 +1 位作者 张多利 高明伦 《合肥工业大学学报（自然科学版）》 CAS CSCD 北大核心 2014年第11期1322-1327,共6页

VLSI技术进步和应用驱动使多核技术成为主流的微处理器设计技术。多核处理器作为一种时空域器件,应把超级计算机作为多核处理器的设计参考系,其主流架构将最终收敛到"小核、大阵列、层次化"上。文章利用Xilinx Virtex5-330TF... VLSI技术进步和应用驱动使多核技术成为主流的微处理器设计技术。多核处理器作为一种时空域器件,应把超级计算机作为多核处理器的设计参考系,其主流架构将最终收敛到"小核、大阵列、层次化"上。文章利用Xilinx Virtex5-330TFPGA器件,设计实现了一款集成16个处理核的具备层次化架构特征的嵌入式多核处理器原型芯片,工作频率为90 MHz。多核处理器利用层次化的体系架构、灵活的片上互连、多种同步机制以及合理的并行程序模型,成功加载了实时视频淡入淡出(fade-in-fade-out)混叠应用(320×240,30帧/s)。基于该多核处理器架构,研究比较了粗粒度和细粒度2种并行编程模型。细粒度模型的多核同步操作稍复杂,但很好地掩盖了应用的串行操作时间,对视频淡入淡出混叠应用的加速比可达6.97。 展开更多

关键词 层次化 多核处理器 FPGA器件 并行编程模型 视频混叠

在线阅读 下载PDF 职称材料

基于并行计算的水下目标回波模拟器仿真软件框架研究 被引量：3

5

作者 徐道磊 《电子设计工程》 2017年第2期67-70,共4页

针对提高水下目标回波模拟器的仿真效率和计算机资源使用效率的目的。通过分析水下目标回波模拟器的仿真可并行性,详细叙述仿真任务并行分割方法,基于并行计算,形成并行仿真软件框架。搭建小型仿真系统,并行和串行仿真试验结果显示并行... 针对提高水下目标回波模拟器的仿真效率和计算机资源使用效率的目的。通过分析水下目标回波模拟器的仿真可并行性,详细叙述仿真任务并行分割方法,基于并行计算,形成并行仿真软件框架。搭建小型仿真系统,并行和串行仿真试验结果显示并行的CPU总利用率达到40%,串行达到12.9%,空闲状态仅达到4%。试验表明该方法可有效提高仿真效率和计算机资源使用效率。 展开更多

关键词 水下目标回波模拟器 并行计算 并行编程模型 消息传递接口 进程

在线阅读 下载PDF 职称材料

一种可扩展异构并行核外高阶矩量法 被引量：3

6

作者 左胜 陈岩 +2 位作者 张玉 赵勋旺 林中朝 《西安电子科技大学学报》 EI CAS CSCD 北大核心 2017年第1期146-151,共6页

为了实现异构并行矩量法可跨节点,研究了CPU/GPU与CPU/MIC分布式异构平台上矩量法并行编程模型.利用图形处理器通用编程标准CUDA中提供的CONTEXT技术及集成众核中环境变量的概念,提出了一种适用于CPU/GPU与CPU/MIC的通用异构并行编程模... 为了实现异构并行矩量法可跨节点,研究了CPU/GPU与CPU/MIC分布式异构平台上矩量法并行编程模型.利用图形处理器通用编程标准CUDA中提供的CONTEXT技术及集成众核中环境变量的概念,提出了一种适用于CPU/GPU与CPU/MIC的通用异构并行编程模型,满足了异构并行矩量法可跨节点对静态负载均衡的要求.数值结果表明,基于该并行编程模型设计的异构并行矩量法程序,可获得理想的加速比并具有良好的可扩展性. 展开更多

关键词 矩量法 异构平台 并行编程模型 可扩展性

在线阅读 下载PDF 职称材料

水质预报系统的MPI+OpenMP并行优化研究 被引量：2

7

作者 李春 《河北工程大学学报（自然科学版）》 CAS 2015年第2期77-81,共5页

OpenMP(Open Multi-Processing)能够在共享存储环境中获得理想的并行性能,MPI+OpenMP混合并行编程模型更贴近于多核心集群的体系结构。在多核心集群上进行实验,混合模型相对串行程序可缩短95%的运算时间,加速比超过20。实验结果表明,该... OpenMP(Open Multi-Processing)能够在共享存储环境中获得理想的并行性能,MPI+OpenMP混合并行编程模型更贴近于多核心集群的体系结构。在多核心集群上进行实验,混合模型相对串行程序可缩短95%的运算时间,加速比超过20。实验结果表明,该混合模型比纯MPI并行的系统具有更优的加速比和扩展性,是对纯MPI并行系统的一种改进。 展开更多

关键词 多核心集群 水质预报系统 消息传递接口 开放式多处理 混合并行编程模型

在线阅读 下载PDF 职称材料

基于Map/Reduce的朴素贝叶斯数据分类算法研究 被引量：12

8

作者 崔良中 郭福亮 宋建新 《海军工程大学学报》 CAS 北大核心 2019年第4期7-10,共4页

针对目前机器学习研究领域中的数据分类问题,选择朴素贝叶斯算法作为研究对象。首先,通过对样本数据特征属性的权重进行加权调整,提高算法处理的准确率;然后,改进朴素贝叶斯算法分类器模型,使其能够利用Map/Reduce并行编程模型,采用多... 针对目前机器学习研究领域中的数据分类问题,选择朴素贝叶斯算法作为研究对象。首先,通过对样本数据特征属性的权重进行加权调整,提高算法处理的准确率;然后,改进朴素贝叶斯算法分类器模型,使其能够利用Map/Reduce并行编程模型,采用多计算资源节点并行处理,进一步提高处理速度。最后,对UCI dataset数据库进行实验验证,结果表明:改进后的算法在海量数据分类处理中具有更好的性能表现。 展开更多

关键词 Map/Reduce并行编程模型 数据分类算法 贝叶斯算法 海量数据处理

在线阅读 下载PDF 职称材料

采用数据驱动机制的多核处理器 被引量：2

9

作者 毕卓 徐云川 王镇 《上海交通大学学报》 EI CAS CSCD 北大核心 2013年第1期81-85,共5页

针对当前工艺条件下多核处理器存在程序并行性不足的问题,设计了一种采用数据驱动机制、支持函数语言风格编程的多核处理器,包括通用处理器核、数据驱动模块和片内路由器.其中:通用处理器核用于执行常规程序;数据驱动模块用于检测数据... 针对当前工艺条件下多核处理器存在程序并行性不足的问题,设计了一种采用数据驱动机制、支持函数语言风格编程的多核处理器,包括通用处理器核、数据驱动模块和片内路由器.其中:通用处理器核用于执行常规程序;数据驱动模块用于检测数据的完备性;片内路由器则可提供处理器核之间及簇之间的通信.实验结果表明,所设计的多核处理器能够支持C语言"函数式语言"风格的编程模板.每个C代码段执行纯函数的操作,消除了函数间的共享变量,使得并行编程的复杂度有所降低.同时,所采用的数据驱动机制没有执行顺序的严格限制,充分挖掘了算法潜在的并行性.经测试,数据驱动多核处理器的加速比随着计算资源的增加而增大,从而验证了数据流计算机的加速倍数随处理器数目增加而线性增长的结论. 展开更多

关键词 数据驱动 并行编程模型 数据流机 多核处理器

在线阅读 下载PDF 职称材料

云计算下MapReduce多组容错机制架构的分析与研究 被引量：6

10

作者 张治斌 李燕歌 《微电子学与计算机》 CSCD 北大核心 2014年第1期52-55,59,共5页

提出了MapReduce多组容错机制,在传统的Hadoop MapReduce架构上进行改进,即在同机柜中的TaskTracker节点之间增加了多组关系,这样可以缩短发现失效节点的时间,同时减轻JobTracker节点的负荷,减低了带宽使用率,减少网络拥塞.通过实验证明... 提出了MapReduce多组容错机制,在传统的Hadoop MapReduce架构上进行改进,即在同机柜中的TaskTracker节点之间增加了多组关系,这样可以缩短发现失效节点的时间,同时减轻JobTracker节点的负荷,减低了带宽使用率,减少网络拥塞.通过实验证明,MapReduce多组容错机制提高了MapReduce的工作效率. 展开更多

关键词 云计算 MapReduce并行编程模型 多组容错机制

在线阅读 下载PDF 职称材料

计算密集型海量数据查询处理关键技术分析 被引量：5

11

作者 李俭 郭川军 姜微 《交通科技与经济》 2015年第4期110-113,共4页

随着大数据时代的到来,计算密集型的海量数据查询的应用范围越来越广,在大数据环境下,从数据结构的特点出发实现分布式存储架构,并以高效查询为目的实现非结构化数据的索引机制,同时处理和优化聚集查询操作,分析与平台无关的并行编程模型。

关键词 计算密集型 存储技术 索引机制 查询技术 并行编程模型

在线阅读 下载PDF 职称材料

基于改进PSO算法的物流网点选址研究 被引量：4

12

作者 邵玉华 贾玉卫 陈帝霖 《铁道运输与经济》 北大核心 2015年第12期22-25,30,共5页

在阐述目前设施选址模型和快递网点布局研究的基础上,针对物流网点整体偏少并且布局不合理的问题,以建立物流网点所需满足时效性及经济成本最小化要求为目标构建模型,采用改进后P-中值选址模型对物流网点在某区域的选址问题进行研究,在... 在阐述目前设施选址模型和快递网点布局研究的基础上,针对物流网点整体偏少并且布局不合理的问题,以建立物流网点所需满足时效性及经济成本最小化要求为目标构建模型,采用改进后P-中值选址模型对物流网点在某区域的选址问题进行研究,在标准粒子群算法的基础上采用CUDA并行编程模型求解以提高计算速度,最后通过某区域物流网点的选址实例验证算法的可行性。 展开更多

关键词 物流网点 P-中值模型 粒子群算法 CUDA并行编程模型

在线阅读 下载PDF 职称材料

云计算环境下船舶无线通信网络入侵检测方法 被引量：4

13

作者 李青 《舰船科学技术》 北大核心 2022年第21期140-143,共4页

以提升船舶无线通信网络安全性为目的,设计云计算环境下船舶无线通信网络入侵检测方法,提升入侵检测效果。利用云计算环境内Hadoop框架的分布式文件存储系统,存储船舶无线通信网络数据;通过云计算环境内Hadoop框架的MapReduce并行编程模... 以提升船舶无线通信网络安全性为目的,设计云计算环境下船舶无线通信网络入侵检测方法,提升入侵检测效果。利用云计算环境内Hadoop框架的分布式文件存储系统,存储船舶无线通信网络数据;通过云计算环境内Hadoop框架的MapReduce并行编程模型,对信息熵与长短期记忆网络进行分布式设计,设计并行信息熵-长短期记忆网络的入侵检测方法。该方法利用分布式信息熵选择船舶无线通信网络数据特征;以选择的特征为样本,输入至分布式长短期记忆网络内,输出无线通信网络入侵检测结果。实验证明:该方法可有效选择船舶无线通信网络数据特征,完成网络入侵检测,且入侵检测精度较高。在不同攻击类型时,该方法均具备较优的入侵检测效果。 展开更多

关键词 云计算环境 船舶无线通信 网络入侵检测 Hadoop框架 并行编程模型 信息熵

在线阅读 下载PDF 职称材料

基于高性能计算的雷达信号处理研究综述 被引量：14

14

作者 耿昭谦 朱虎明 +2 位作者 李旭明 陈梅青 杨贵鹏 《电子科技》 2021年第9期1-6,共6页

随着软件定义雷达技术的发展和信号处理算法日趋复杂,以多核处理器和图形处理器等为代表的高性能计算技术在雷达系统中得到了更多的应用。文中重点介绍了高性能计算硬件系统最新的技术进展,对比分析了并行计算软件框架CUDA、OpenCL、Ope... 随着软件定义雷达技术的发展和信号处理算法日趋复杂,以多核处理器和图形处理器等为代表的高性能计算技术在雷达系统中得到了更多的应用。文中重点介绍了高性能计算硬件系统最新的技术进展,对比分析了并行计算软件框架CUDA、OpenCL、OpenMP、MPI和Pthread的技术特点,并利用多线程流水线技术设计了基于CPU的并行雷达信号处理算法,探讨了高性能计算在雷达信号处理中的应用技术发展趋势。 展开更多

关键词 雷达信号处理 高性能计算 并行计算 图形处理器 加速器 并行编程模型 开放计算语言 流水线

在线阅读 下载PDF 职称材料