异构BSP模型及其通信协议 被引量：8

1

作者 黄伟民 陆鑫达 曾国荪 《电子学报》 EI CAS CSCD 北大核心 2000年第8期72-75,共4页

异构并行计算由于其较高性能价格比而在高性能科学计算和通用应用领域受到广泛研究 .但由于异构并行程序设计与性能分析仍处于经验阶段 ,开发实用程序较为困难 .本文提出异构环境中的HBSP模型 ,并导出相应的开销预测方法 ,能有效指导异... 异构并行计算由于其较高性能价格比而在高性能科学计算和通用应用领域受到广泛研究 .但由于异构并行程序设计与性能分析仍处于经验阶段 ,开发实用程序较为困难 .本文提出异构环境中的HBSP模型 ,并导出相应的开销预测方法 ,能有效指导异构并行程序的设计与分析 .所设计并实现的HBSP模型的通信协议能运行于所有支持MPICH软件包的计算平台 .最后以并行FFT算法为例 ,给出相应的算法设计和实际测试结果 . 展开更多

关键词 bsp模型 计算机网络 通信协议

在线阅读 下载PDF 职称材料

并行BSP模型在实时集群系统中的应用 被引量：3

2

作者 薛弘晔 李言俊 杜鸿 《计算机工程》 CAS CSCD 北大核心 2008年第4期71-72,共2页

分析BSP并行计算模型在多源数据处理中的应用特点。构建实时集群计算机系统的并行计算BSP模型。对多源任务数据处理的粒度进行了分析设计。给出了实时集群计算机系统中BSP模型的实现算法。实际应用验证了算法的有效性。

关键词 并行计算模型 实时集群计算机系统 bsp模型

在线阅读 下载PDF 职称材料

基于BSP的并行对象-关系型数据库的分析和设计 被引量：2

3

作者 陈昌生 孙永强 《上海交通大学学报》 EI CAS CSCD 北大核心 1999年第9期1167-1169,1185,共4页

以含幺半群演算（Ｍｏｎｏｉｄ ｃａｌｃｕｌｕｓ）为基础，构造了统一的数据模型．该模型形式简单，表达能力强，容易扩充，几乎能表示所有ＳＱＬ３ 和对象查询语言（ＯＱＬ）查询．以块同步并行（ＢＳＰ）模型为通用并行环境，设计、... 以含幺半群演算（Ｍｏｎｏｉｄ ｃａｌｃｕｌｕｓ）为基础，构造了统一的数据模型．该模型形式简单，表达能力强，容易扩充，几乎能表示所有ＳＱＬ３ 和对象查询语言（ＯＱＬ）查询．以块同步并行（ＢＳＰ）模型为通用并行环境，设计、分析了多种一维数据分布方法，采用较适合ＢＳＰ的（ａ，ｂ）树作为存储结构，并对查询优化、事务处理及主要数据库操作（如Ｊｏｉｎ 算法、外部排序算法）等进行了分析．结果表明，结合Ｍｏｎｏｉｄ 展开更多

关键词 并行数据库 关系型数据库 并行计算 bsp模型

在线阅读 下载PDF 职称材料

异构环境HBSP模型及其在FFT算法中的应用 被引量：1

4

作者 黄伟民 陆鑫达 《上海交通大学学报》 EI CAS CSCD 北大核心 2000年第6期796-799,共4页

提出了异构块同步并行 ( HBSP)模型和程序开销计算方法 ,依据通信开销线性模型和处理机利用率来研究异构环境中算法的设计和分析 .以快速傅立叶变换 ( FFT)为例 ,给出了相应的算法设计和分析结果 .当构成块同步并行 ( BSP)计算机的各处... 提出了异构块同步并行 ( HBSP)模型和程序开销计算方法 ,依据通信开销线性模型和处理机利用率来研究异构环境中算法的设计和分析 .以快速傅立叶变换 ( FFT)为例 ,给出了相应的算法设计和分析结果 .当构成块同步并行 ( BSP)计算机的各处理机速度相同 ,且原有 BSP算法达到最优 (即各处理机上所分配的计算量与通信量完全均衡 )时 。 展开更多

关键词 并行计算模型 异构环境 Hbsp模型 FFT算法

在线阅读 下载PDF 职称材料

BHP:面向BSP模型的负载均衡Hash图数据划分 被引量：5

5

作者 周爽 鲍玉斌 +4 位作者 王志刚 冷芳玲 于戈 邓超 郭磊涛 《计算机科学与探索》 CSCD 2014年第1期40-50,共11页

图数据划分是基于BSP(bulk synchronous parallel)编程模型的大规模图处理系统中一个关键技术问题。传统的图划分技术需要多次迭代,时间复杂度过高,且划分结果不具有图顶点到分区的映射信息,因此这些算法并不适用于BSP模型下的数据划分... 图数据划分是基于BSP(bulk synchronous parallel)编程模型的大规模图处理系统中一个关键技术问题。传统的图划分技术需要多次迭代,时间复杂度过高,且划分结果不具有图顶点到分区的映射信息,因此这些算法并不适用于BSP模型下的数据划分。提出了一种新的面向BSP模型的负载均衡Hash数据划分算法(balanced Hash partition,BHP)。为了实现各个分区的出边数尽可能均衡,该算法引入了虚拟桶的概念,通过贪婪算法将虚拟桶重组为实际分区,保证了每个实际分区负载均衡,同时数据本地化策略使本分片上的数据尽可能地保留在本节点上,从而减小在数据加载时的数据迁移开销。从三个方面对比了BHP算法和经典Hash算法的性能,结果表明BHP算法能够提高作业的执行效率,减少消息发送的数量,有效解决了经典Hash算法的负载不均衡和分区间交互边过多的问题,当数据量变大时,效果尤为明显。 展开更多

关键词 bsp模型 图划分 分布式系统 负载均衡 虚拟桶

在线阅读 下载PDF 职称材料

基于BSP的SPARQL基本图模式查询算法 被引量：2

6

作者 李国鼎 冯志勇 +1 位作者 饶国政 王鑫 《计算机工程》 CAS CSCD 2014年第9期37-41,共5页

随着语义网的不断发展,发布在互联网上的资源描述框架(RDF)数据达到百亿级三元组规模,并且呈现几何增长趋势,针对RDF数据的单机SPARQL查询方法已经不再适用。为此,提出一种基于整体同步并行(BSP)模型的SPARQL基本图模式查询算法。根据RD... 随着语义网的不断发展,发布在互联网上的资源描述框架(RDF)数据达到百亿级三元组规模,并且呈现几何增长趋势,针对RDF数据的单机SPARQL查询方法已经不再适用。为此,提出一种基于整体同步并行(BSP)模型的SPARQL基本图模式查询算法。根据RDF有向图数据特性及基本图模式定义,将整个查询过程分成匹配和迭代2个阶段,在匹配出所需查询的三元组模式后,通过迭代使部分解逐步逼近完全解,得到最终查询结果。利用HAMA分布式计算框架进行算法实现,实验结果表明,与基于MapReduce的SPARQL查询算法相比,该算法具有较高的查询效率,能为大规模RDF数据的快速SPARQL查询提供支持。 展开更多

关键词 语义网 资源描述框架 SPARQL查询 基本图模式 整体同步并行模型 HAMA框架

在线阅读 下载PDF 职称材料

StepMatch:一种基于BSP计算模型的SPARQL基本图模式匹配算法

7

作者 吕雪栋 冯志勇 +2 位作者 王鑫 饶国政 付宇新 《计算机研究与发展》 EI CSCD 北大核心 2013年第S2期94-102,共9页

随着语义网的发展,越来越多的数据通过资源描述框架(resource description framework,RDF)格式发布出来.目前有很多研究使用MapReduce计算模型处理大规模RDF数据,将SPARQL查询拆分成多步迭代.对于更适合使用消息传递模型来解决的图计算... 随着语义网的发展,越来越多的数据通过资源描述框架(resource description framework,RDF)格式发布出来.目前有很多研究使用MapReduce计算模型处理大规模RDF数据,将SPARQL查询拆分成多步迭代.对于更适合使用消息传递模型来解决的图计算问题,MapReduce并非是最佳的选择.StepMatch算法基于整体同步并行(bulk synchronous parallel,BSP)计算模型,能有效解决SPARQL的基本图模式匹配查询.StepMatch是一个面向顶点的算法,RDF图中每一个顶点都被视为一个计算单元,顶点可以执行计算并向其他顶点发送消息.对于一个给定的SPARQL查询,StepMatch算法的超步数量与SPARQL查询包含的子句数目相等.最后,实现了StepMatch算法,并在合成的LUBM(Lehigh University Benchmark)数据集和真实的DBpedia数据集上进行了性能实验. 展开更多

关键词 整体同步并行模型 消息传递 子图匹配 资源描述框架 SPARQL

在线阅读 下载PDF 职称材料

一个块同步并行(BSP)的改进I/O代价模型

8

作者 徐淑頲 孙永强 《上海交通大学学报》 EI CAS CSCD 北大核心 2001年第9期1280-1284,共5页

提出了一个改进的 BSP的 I/ O代价模型 ,不但易于实现 ,而且利用该模型能减少 I/ O、通信及同步时间 ,显著地提高 BSP程序的运行效率 .给出了在这两种模型下实现并行排序算法的时间代价比较 .

关键词 快同步并行模型 I/O性能模型 并行排序算法 I/O代价模型 并行体系结构 并行程序设计

在线阅读 下载PDF 职称材料

新一代神威处理器上高效任务流并行系统 被引量：1

9

作者 傅游 杜雷明 +1 位作者 高希然 陈莉 《计算机科学》 CSCD 北大核心 2024年第12期137-146,共10页

我国自主研制的新一代神威超级计算机相比前一代的神威太湖之光,具有更强大的内存系统和更高的计算密度,其主力编程模型仍然是块同步(Bulk Synchronous Parallelism,BSP)模型。顺序任务流(Sequential Task Flow,STF)模型基于数据流信息... 我国自主研制的新一代神威超级计算机相比前一代的神威太湖之光,具有更强大的内存系统和更高的计算密度,其主力编程模型仍然是块同步(Bulk Synchronous Parallelism,BSP)模型。顺序任务流(Sequential Task Flow,STF)模型基于数据流信息实现对串行程序的自动任务并行,并通过任务间的细粒度同步实现异步并行,相比于BSP模型的全局同步,并行度更高,负载更均衡。STF模型为用户高效使用神威平台提供了一种新选择。但在众核系统上,STF模型的运行时开销会直接影响并行程序性能。首先,分析新一代神威处理器影响STF模型高效实现的两个特征;然后,利用处理器架构的独有特性,提出一种基于代理的数据流构图机制以实现模型的构图需求,以及一种无锁的集中式任务调度机制以优化调度开销。最后,基于以上技术,为AceMesh模型实现了高效的任务流并行系统。实验表明,实现的任务流并行系统相比传统运行时支持优势显著,在细粒度任务场景下最高加速2.37倍;AceMesh性能高于神威平台的OpenACC模型,对典型应用的加速最高达到2.07倍。 展开更多

关键词 顺序任务流模型 异构众核并行 任务调度 数据流并行 块同步模型

在线阅读 下载PDF 职称材料

云平台下图数据处理技术 被引量：4

10

作者 刘超 唐郑望 +2 位作者 姚宏 胡成玉 梁庆中 《计算机应用》 CSCD 北大核心 2015年第1期43-47,共5页

针对Hadoop云平台下MapReduce计算模型在处理图数据时效率低下的问题,提出了一种类似谷歌Pregel的图数据处理计算框架——My BSP。首先,分析了MapReduce的运行机制及不足之处;其次,阐述了My BSP框架的结构、工作流程及主要接口;最后,在... 针对Hadoop云平台下MapReduce计算模型在处理图数据时效率低下的问题,提出了一种类似谷歌Pregel的图数据处理计算框架——My BSP。首先,分析了MapReduce的运行机制及不足之处;其次,阐述了My BSP框架的结构、工作流程及主要接口;最后,在分析PageRank图处理算法原理的基础上,设计并实现了基于My BSP框架的PageRank算法。实验结果表明,基于My BSP框架的图数据处理算法与基于MapReduce的算法相比,迭代处理的性能提升了1.9~3倍。My BSP算法的执行时间减少了67%,能够满足图数据高效处理的应用前景。 展开更多

关键词 图数据处理 云计算 MapReduce计算模型 批量同步并行模型 PAGERANK算法

在线阅读 下载PDF 职称材料

一个可预测并行程序效率的评价模型 被引量：5

11

作者 陈昌生 孙永强 何积丰 《软件学报》 EI CSCD 北大核心 2000年第11期1485-1491,共7页

并行程序的性能分析 ,特别是效率分析往往需要程序在实际运行后 ,根据实验结果再对并行算法进行优化 ,或改变数据的分配策略 ,甚至重新选择并行算法 .结合通用并行计算模型 BSP( bulk- synchronousparallel) ,提出一种有效的并行程序效... 并行程序的性能分析 ,特别是效率分析往往需要程序在实际运行后 ,根据实验结果再对并行算法进行优化 ,或改变数据的分配策略 ,甚至重新选择并行算法 .结合通用并行计算模型 BSP( bulk- synchronousparallel) ,提出一种有效的并行程序效率评测模型 ,使得程序员在设计、分析阶段即可对程序效率进行分析和评估 ,并据此进一步优化程序 .实验结果表明 ,该模型的预测是精确的 . 展开更多

关键词 并行程序设计 bsp(bulk-synchronousparallel)模型 效率评价准则

在线阅读 下载PDF 职称材料

更实际的异构并行计算模型 被引量：5

12

作者 黄伟民 陆鑫达 钟嵘 《计算机工程》 CAS CSCD 北大核心 1999年第9期5-7,共3页

通过结合多种代表性并行计算模型，给出异构环境中的HBSP模型和程序开销计算方法。采用基于消息长度的线性模型具有通信开销的计算更精确、程序和算法在异构环境中的设计灵活、且可解除原有BSP模型对h-relation的限制等优点。当构成BSP... 通过结合多种代表性并行计算模型，给出异构环境中的HBSP模型和程序开销计算方法。采用基于消息长度的线性模型具有通信开销的计算更精确、程序和算法在异构环境中的设计灵活、且可解除原有BSP模型对h-relation的限制等优点。当构成BSP计算机的各处理机速度相同且原有BSP算法达到最优（即各处理机上所分配的计算量与通信量完全均衡）时，HBSP模型等同于原有模型。 展开更多

关键词 异构计算 bsp模型 并行计算模型 并行计算机

在线阅读 下载PDF 职称材料

并行计算模型在异构计算环境中的研究 被引量：1

13

作者 陆鑫达 黄伟民 《计算机应用与软件》 CSCD 北大核心 2002年第1期1-3,44,共4页

近年来异构并行计算在高性能科学计算和通用应用领域受到广泛研究。本文结合多种代表性并行计算模型,给出异构环境中的HBSP模型和程序开销计算方法。采用基于消息长度的线性模型使通信开销的计算更精确,解除原有BSP模型对h-rela-tion的... 近年来异构并行计算在高性能科学计算和通用应用领域受到广泛研究。本文结合多种代表性并行计算模型,给出异构环境中的HBSP模型和程序开销计算方法。采用基于消息长度的线性模型使通信开销的计算更精确,解除原有BSP模型对h-rela-tion的限制,使程序和算法在异构环境中的设计更加灵活。当构成BSP计算机的各处理机速度相同且原有BSP算法达到最优(即各处理机上所分配的计算量与通信量完全均衡)时,HBSP模型等同于原有模型。 展开更多

关键词 异构计算 bsp模型 并行计算模型 算法 计算机

在线阅读 下载PDF 职称材料

大规模图数据划分算法综述 被引量：7

14

作者 许金凤 董一鸿 +2 位作者 王诗懿 何贤芒 陈华辉 《电信科学》 北大核心 2014年第7期100-106,共7页

对大规模图数据划分算法进行了总结,介绍了并行环境下图计算模型,详述了大规模静态图划分算法和动态图划分算法,归纳了这些算法的优缺点以及适应性。最后,指出了关于大图划分尚未探索的有意义的研究课题。

关键词 大数据 大图 分布式图划分 负载均衡 bsp MAPREDUCE 动态图

在线阅读 下载PDF 职称材料

面向大数据应用的多层次混合式并行方法 被引量：1

15

作者 黄磊 支小莉 郑圣安 《上海大学学报（自然科学版）》 CAS CSCD 北大核心 2016年第1期69-80,共12页

基于很多大数据应用存在对数据进行多种并行处理的需求,提出两层混合式并行方法,即执行单元的混合并行和计算模型的混合并行.通过在同一个计算节点上执行单元的混合并行,充分挖掘基础设施的计算能力,从而提高数据处理性能;采用在同一个... 基于很多大数据应用存在对数据进行多种并行处理的需求,提出两层混合式并行方法,即执行单元的混合并行和计算模型的混合并行.通过在同一个计算节点上执行单元的混合并行,充分挖掘基础设施的计算能力,从而提高数据处理性能;采用在同一个执行引擎中集成多个计算模型的并行方法,以适合应用多样异质处理模式.不同的混合并行方法可以契合不同的数据和计算特点,以满足不同的并行目标.介绍了混合式并行方法的基本思想,并以前期开发的并行编程模型BSPCloud为基础,阐述了进程和线程混合并行、BSP和Map Reduce混合并行的主要实现机制. 展开更多

关键词 混合并行 编程模型 整体同步并行(bulk synchronous parallel bsp) MAPREDUCE

在线阅读 下载PDF 职称材料