期刊文献+
共找到6篇文章
< 1 >
每页显示 20 50 100
应用并行计算框架提升地震数据处理效率分析 被引量:6
1
作者 祝树云 朱旭光 +1 位作者 颉冬莲 张丽梅 《石油地球物理勘探》 EI CSCD 北大核心 2011年第3期493-499,332,共7页
并行计算框架系统将地震数据可分割处理的特点与现代计算机群多节点、多线程的并行运算能力巧妙结合,在提升常规地震处理运算效率、缩短地震资料处理周期方面发挥了显著作用。本文通过大量数据的测试,对影响并行计算框架运算效率的各种... 并行计算框架系统将地震数据可分割处理的特点与现代计算机群多节点、多线程的并行运算能力巧妙结合,在提升常规地震处理运算效率、缩短地震资料处理周期方面发挥了显著作用。本文通过大量数据的测试,对影响并行计算框架运算效率的各种因素进行了分析。并行计算框架对地震数据处理运行效率的提高并不是随着并行任务数线性增长,与机群I/O效率及并行处理作业的计算量有关。随着并行任务数的增加,效率提高速度会逐步放缓,当达到最佳并行度时会出现拐点。另外,并行计算框架效率的提高与数据分割粒度有关,粗粒度分割更有利。因此应用并行框架系统时,应根据机群I/O效率与并行处理作业的计算量,选择合理的并行处理任务数。 展开更多
关键词 并行计算框架 并行效率 并行加速比 处理周期
在线阅读 下载PDF
适用于任意网格的大规模并行CFD计算框架PHengLEI 被引量:32
2
作者 赵钟 张来平 +3 位作者 何磊 何先耀 郭永恒 徐庆新 《计算机学报》 EI CSCD 北大核心 2019年第11期2368-2383,共16页
针对计算流体力学(Computational Fluid Dynamics,CFD)大规模并行计算的需要,我们设计了适用于任意网格类型的并行计算框架风雷(PHengLEI)软件,同时支持结构网格、非结构网格和重叠网格.为了实现并行通信与网格类型无关且与物理求解器... 针对计算流体力学(Computational Fluid Dynamics,CFD)大规模并行计算的需要,我们设计了适用于任意网格类型的并行计算框架风雷(PHengLEI)软件,同时支持结构网格、非结构网格和重叠网格.为了实现并行通信与网格类型无关且与物理求解器开发者隔离,我们设计了通用的通信模式和一种基于网格块的“三合一”的数据交换模式,即将多块结构网格块、并行分区网格块和结构/非结构网格块间的交界面数据完全标准化为数据底层后,在数据底层统一进行交换,使得数据交换不依赖于网格类型和数据类型,从而实现任意网格类型并行通信模式的统一.作为气动数据生产的“数值风洞”,要求代码将并行隔离至底层,为此针对主流计算机系统的特点,设计了粗粒度MPI/OpenMP混合并行模式,领域专家只需关注求解器开发而无需关注并行通信,在提高可移植性、可扩展性的同时尽可能兼顾封装性.针对大规模并行计算的实际工程需求,设计了并行分区、大规模并行文件存储模式,以缩短前置处理和文件I/O时间.最后,分别基于结构网格、非结构网格和重叠网格,给出了工程应用领域的标模算例,以说明PHengLEI并行计算框架对不同网格类型的适应性.大规模网格测试结果表明,国产定制集群上16.38万核并行效率达83%以上,“天河二号”上近10万核并行效率达95%以上,展现了较好的可扩展性和并行计算效率. 展开更多
关键词 并行计算 MPI/OpenMP混合并行 CFD并行计算框架 PHengLEI 风雷软件 HyperFLOW
在线阅读 下载PDF
Hadoop平台下新型图像并行处理模型设计 被引量:3
3
作者 刘军 李威 +1 位作者 吴梦婷 陈起凤 《计算机工程与应用》 CSCD 北大核心 2019年第6期186-190,共5页
Hadoop在处理海量小图像数据时,存在输入分片过多以及海量小图像存储问题。针对这些问题,不同于采用HIPI、SequenceFile等方法,提出了一个新型图像并行处理模型。利用Hadoop适合处理纯文本数据的特性,本模型使用存储了图像路径的文本文... Hadoop在处理海量小图像数据时,存在输入分片过多以及海量小图像存储问题。针对这些问题,不同于采用HIPI、SequenceFile等方法,提出了一个新型图像并行处理模型。利用Hadoop适合处理纯文本数据的特性,本模型使用存储了图像路径的文本文件替换图像数据作为输入,不需要设计图像数据类型。在Map阶段直接完成图像的读取、处理、存储过程。为了简化图像处理算法,将OpenCV和Map函数结合并设计了对应的存储方法,实现小图像文件的存储。实验表明,在Hadoop分布式系统平台下,模型不论在小数据量还是在大数据量的测试数据环境中,都具有良好的吞吐性能和稳定性。 展开更多
关键词 HADOOP 并行计算框架(MapReduce) 图像处理 OPENCV
在线阅读 下载PDF
并行子树约简方法在软件故障定位中的运用
4
作者 杨书新 张秋梅 《计算机应用研究》 CSCD 北大核心 2014年第7期2097-2100,共4页
针对现有的基于图挖掘技术的软件故障定位技术中运用到图约简算法保留原图信息不够、影响定位准确性、约简效率不高的缺点,提出了并行子树约简方法。该方法采用设计简单而且对并行计算性能的获取卓有成效的Fork/Join并行计算框架,运用... 针对现有的基于图挖掘技术的软件故障定位技术中运用到图约简算法保留原图信息不够、影响定位准确性、约简效率不高的缺点,提出了并行子树约简方法。该方法采用设计简单而且对并行计算性能的获取卓有成效的Fork/Join并行计算框架,运用反复递归和划分子任务的方式将目标问题划分成足够精简的子任务,实现了对程序调用图的高效约简。实验结果表明,并行子树约简方法不仅能实现对节点数大的图的约简而且对图约简效率的提高高达55.1%,明显提高了故障定位效率。 展开更多
关键词 软件故障定位 图约简 并行子树约简 Fork/Join并行计算框架 程序调用图
在线阅读 下载PDF
串行式混合类型航道船舶交通组织优化 被引量:1
5
作者 王志强 张新宇 +1 位作者 李倍莹 王婧贇 《计算机应用与软件》 北大核心 2023年第2期26-32,39,共8页
随着港口航道类型逐渐向多样化、复杂化的混合类型趋势发展,港口交通问题愈发严峻。调研国内外港口混合类型航道,抽象出一种串行式简单混合类型航道作为研究对象。分析混合航道船舶交通状况,构建以单向/混合通航模式转化、混合航道异类... 随着港口航道类型逐渐向多样化、复杂化的混合类型趋势发展,港口交通问题愈发严峻。调研国内外港口混合类型航道,抽象出一种串行式简单混合类型航道作为研究对象。分析混合航道船舶交通状况,构建以单向/混合通航模式转化、混合航道异类子航道间通航模式切换、港池连接水域船舶交通冲突消解等为约束的串行式简单混合类型航道船舶交通组织优化模型。基于Spark并行计算框架,结合NSGA-II算法遗传操作天然并行性特点,提出一种Spark分布式多目标遗传算法,将全部种群分散在多节点上并行执行算法的遗传操作。实验表明,提出的算法具有较快的收敛速度和较好的稳定性,模型求解出的优化方案合理、有效。 展开更多
关键词 混合类型航道 船舶交通组织优化 分布式多目标遗传算法 Spark并行计算框架
在线阅读 下载PDF
复杂属性条件下基于Spark的clique社区搜索算法
6
作者 佘鑫 何震瀛 《计算机工程》 CAS CSCD 北大核心 2021年第12期54-61,70,共9页
现有的社区搜索算法难以在网络中找到满足给定复杂属性条件的社区。同时,随着网络规模的不断扩大,单机串行的社区搜索算法也已无法有效地处理大规模的网络数据。针对复杂属性条件下的clique社区搜索问题,提出一种基于Spark的搜索算法。... 现有的社区搜索算法难以在网络中找到满足给定复杂属性条件的社区。同时,随着网络规模的不断扩大,单机串行的社区搜索算法也已无法有效地处理大规模的网络数据。针对复杂属性条件下的clique社区搜索问题,提出一种基于Spark的搜索算法。在Spark并行计算框架的基础上,结合图的结构特征和内容属性,根据由布尔表达式定义的复杂属性条件采取不同的搜索策略,搜索时利用属性的搜索成本和扩展成本进行局部优化,从而加快搜索过程。实验结果表明,与结构优先或属性优先的社区搜索算法相比,该算法在不同属性条件、网络规模和节点数目的情况下均能保证搜索准确性并提高搜索效率。 展开更多
关键词 社区搜索 复杂属性条件 布尔表达式 Spark并行计算框架 clique结构
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部