面向分布式数据库的算子并行优化策略 被引量：3

1

作者 刘文洁 吕靖超 《西北工业大学学报》 EI CAS CSCD 北大核心 2024年第3期453-459,共7页

随着网络技术的不断发展,数据规模呈现爆发式增长,使得传统的单机数据库逐步被分布式数据库所取代。分布式数据库采用节点协同工作方式解决了大规模数据存储问题,但由于增加了节点间通信开销,查询效率却不如单机数据库。分布式架构下,... 随着网络技术的不断发展,数据规模呈现爆发式增长,使得传统的单机数据库逐步被分布式数据库所取代。分布式数据库采用节点协同工作方式解决了大规模数据存储问题,但由于增加了节点间通信开销,查询效率却不如单机数据库。分布式架构下,存储节点的数据仅用作多备份的冗余,为系统故障时提供数据恢复,并未被利用起来改善查询效率。针对上述问题,提出了一种面向分布式数据库的算子并行优化策略,通过对关键物理算子进行拆分,将拆分后的子请求均匀分配到存储层多个节点,由多个节点并行处理,从而减少查询响应时间。上述策略已经在分布式数据库CBase上进行了应用,实验表明,提出的并行优化策略可显著缩短SQL请求查询时间,并提高系统资源利用率。 展开更多

关键词 分布式数据库 并行查询 查询优化 负载均衡 数据分区

在线阅读 下载PDF 职称材料

一种实现拓扑关系高效并行计算的矢量数据划分方法 被引量：9

2

作者 杨宜舟 吴立新 +2 位作者 郭甲腾 李志锋 刘善军 《地理与地理信息科学》 CSCD 北大核心 2013年第4期25-29,共5页

分析了拓扑关系并行算法的特点,为实现拓扑关系并行计算进程间的任务均衡与负载均衡,提出了一种矢量目标集的数据均衡划分方法,基于该划分方法设计了拓扑关系并行算法并测试了算法性能。测试表明:利用该方法可实现进程间计算负载的高度... 分析了拓扑关系并行算法的特点,为实现拓扑关系并行计算进程间的任务均衡与负载均衡,提出了一种矢量目标集的数据均衡划分方法,基于该划分方法设计了拓扑关系并行算法并测试了算法性能。测试表明:利用该方法可实现进程间计算负载的高度均衡与数据负载的基本均衡,加速比随进程数基本呈线性增长,算法并行效率基本不随进程数增加而衰减,基本稳定在80%。该方法为面向单机多核、众核和高性能集群环境下的海量数据拓扑关系分析软件的开发与服务提供一种高效的矢量数据划分方法。 展开更多

关键词 拓扑关系 并行计算 数据划分 负载均衡 任务均衡

在线阅读 下载PDF 职称材料

数据不规则问题并行计算的负载平衡策略的研究 被引量：7

3

作者 刘鑫 陆林生 《计算机应用》 CSCD 北大核心 2004年第10期108-111,共4页

讨论以边缘通信为特征的数据不规则问题并行计算的静态负载平衡策略。从图论的角度讨论了静态负载平衡问题,给出三个优化目标,即点集等分,最短通路和通信量最小。对于以边缘通信为特征的一般数值计算问题,论述了二维问题正方形划分总通... 讨论以边缘通信为特征的数据不规则问题并行计算的静态负载平衡策略。从图论的角度讨论了静态负载平衡问题,给出三个优化目标,即点集等分,最短通路和通信量最小。对于以边缘通信为特征的一般数值计算问题,论述了二维问题正方形划分总通信量最小、并行效率最高,三维问题立方体划分总通信量最小、并行效率最高的结论。基于以上结论和实际课题特点,提出一种一维优先的规则分块算法和基于自动重分块的不规则分块算法相结合的方法。实验证明,该方法实现简单,能够处理不同规模的数据不规则问题,达到较优的负载平衡和较高的通信效率,提高并行程序的整体效率。 展开更多

关键词 数据不规则问题 并行计算 静态负载平衡 规则划分 自动重分

在线阅读 下载PDF 职称材料

云环境下地籍数据高效并行化的拓扑检查 被引量：2

4

作者 何群 杨宜舟 +2 位作者 郭甲腾 吴立新 刘善军 《测绘通报》 CSCD 北大核心 2018年第12期74-78,共5页

对于大规模空间数据集,当前拓扑关系串行算法的计算效率已提升至极限,需利用更多的计算资源实现拓扑关系的高效并行计算。本文在分析拓扑关系计算层次特征与拓扑计算特点的基础上,引入Q&R索引实现矢量数据集的划分与非相交矢量数据... 对于大规模空间数据集,当前拓扑关系串行算法的计算效率已提升至极限,需利用更多的计算资源实现拓扑关系的高效并行计算。本文在分析拓扑关系计算层次特征与拓扑计算特点的基础上,引入Q&R索引实现矢量数据集的划分与非相交矢量数据集过滤,研发了拓扑关系并行算法中间件,在云环境下进行了部署,并应用于大规模宗地数据的质量检查。应用结果表明:在云环境的虚拟化集群资源中,利用本文方法可实现进程间计算任务负载的高度均衡与数据负载的基本均衡;加速比与进程数呈线性正相关,拓扑并行算法的计算效率稳定在80%。本文为基于云环境虚拟化的各种高性能计算环境下海量地籍数据库的拓扑关系质量检查服务提供了一种高效可用的并行计算算法与并行计算中间件。 展开更多

关键词 拓扑关系 并行计算 云计算 数据划分 负载均衡

在线阅读 下载PDF 职称材料

一个用于数据并行语言计算划分的时序优化模型(英文) 被引量：2

5

作者 余华山 胡长军 +2 位作者 黄其军 丁文魁 许卓群 《软件学报》 EI CSCD 北大核心 2001年第10期1434-1446,共13页

一个程序中数据并行语句的计算划分 (CP)对该程序的运行性能有决定性的作用 .尽管人们对这一问题已经进行了广泛的研究 ,但这些研究的重点都集中在如何提高被选择计算划分的空间局部性上 .针对并行循环结构的计算划分问题 ,提出了一个... 一个程序中数据并行语句的计算划分 (CP)对该程序的运行性能有决定性的作用 .尽管人们对这一问题已经进行了广泛的研究 ,但这些研究的重点都集中在如何提高被选择计算划分的空间局部性上 .针对并行循环结构的计算划分问题 ,提出了一个时序优化模型 .在该模型中 ,一个计算划分被表示成一个有向图 ,在把并行语句中的操作映射到各个处理器的同时 ,给出了被分配到不同处理器上的操作之间的相关性 .对于一条数据并行语句 ,时序优化模型对它的每个计算划分选择方案分别采用多种有效的优化策略进行优化 ;并综合考虑各个计算划分选择方案的负载平衡性、处理器间的操作依赖性、数据访问的空间局部性和时间局部性四个方面的因素 ,估算每个方案的执行效率 ;最后从这些方案中选择一个执行效率最优的方案作为该语句的计算划分 .作者已在 HPF编译器 p-HPF采用时序优化模型实现了对 FORAL L结构的支持 .实验结果表明 ,该模型具有非常好的通用性 ,对不同领域多种数据并行问题均取得了理想的加速比 .同时 ,只需略微改动 ,该模型也可用于其他类型数据并行语句的计算划分 . 展开更多

关键词 计算划分 数据相关 数据重用 时序优化模型 数据并行语言 程序

在线阅读 下载PDF 职称材料

并行点面叠加算法在动态调度和静态调度中的对比研究 被引量：3

6

作者 邱强 曹磊 方金云 《地理与地理信息科学》 CSCD 北大核心 2013年第4期35-38,共4页

矢量数据叠加分析是空间分析的一种基础算法,该文基于MPI在Linux集群环境下,采用基于平均条带划分法进行点包含性测试。通过R-tree对数据进行划分,保证了数据的空间邻近性;通过动态调度或静态调度,保证了各个子节点之间的负载均衡。实... 矢量数据叠加分析是空间分析的一种基础算法,该文基于MPI在Linux集群环境下,采用基于平均条带划分法进行点包含性测试。通过R-tree对数据进行划分,保证了数据的空间邻近性;通过动态调度或静态调度,保证了各个子节点之间的负载均衡。实验结果表明,动态调度策略总体优于静态调度策略,但也存在诸如数据划分粒度以及I/O瓶颈的问题。 展开更多

关键词 并行点面叠加 动态负载均衡 数据划分 MPI LINUX集群

在线阅读 下载PDF 职称材料

基于热点内容的动态数据调整方法 被引量：1

7

作者 曹忠升 杨良聪 唐曙光 《计算机工程与应用》 CSCD 北大核心 2006年第19期174-176,共3页

数据倾斜和热点的存在对并行数据库系统的性能有极大影响,目前国内外对这类问题的研究主要着眼于让数据均匀地分布在各节点上。但这些方法均无法避免由于某些节点访问过于频繁而导致的热点问题。文章提出的方法将目标放在解决热点问题上... 数据倾斜和热点的存在对并行数据库系统的性能有极大影响,目前国内外对这类问题的研究主要着眼于让数据均匀地分布在各节点上。但这些方法均无法避免由于某些节点访问过于频繁而导致的热点问题。文章提出的方法将目标放在解决热点问题上,通过在过载节点上寻找那些对负载影响最大的热点数据并对其分解,来达到平衡负载的目的。 展开更多

关键词 并行数据库 数据划分 热点 负载平衡

在线阅读 下载PDF 职称材料

并行数据库系统PARO的数据装载方法

8

作者 金树东 冯玉才 《计算机研究与发展》 EI CSCD 北大核心 1998年第7期616-621,共6页

文中介绍了并行数据库系统ＰＡＲＯ的数据装载器ＰＤＬ实现．它基于两个基本算子：数据输入划分和数据收集存储，根据数据划分特征进行装载．给出了从前台主机装载和从多个后台处理结点装载的两个典型方法，并进行了实验研究．

关键词 数据划分 数据装载 并行数据库系统 PARO

在线阅读 下载PDF 职称材料

一种改进的混合范围划分方法

9

作者 卢炎生 吴炜 赵小松 《计算机工程与科学》 CSCD 2005年第12期43-44,71,共3页

混合范围划分方法[1]给出了计算数据分置节点数的公式以及数据划分的方法;加强的混合范围划分方法[2]通过引入可变范围的数据分块,达到了节点间数据存储量的一致,解决了混合范围划分方法的数据倾斜问题。为了达到系统运行时节点间的查... 混合范围划分方法[1]给出了计算数据分置节点数的公式以及数据划分的方法;加强的混合范围划分方法[2]通过引入可变范围的数据分块,达到了节点间数据存储量的一致,解决了混合范围划分方法的数据倾斜问题。为了达到系统运行时节点间的查询负载平衡,本文对上述方法进行了改进,引入了热度的概念来反映查询负载,通过对系统初始阶段的数据划分方法和系统运行阶段的数据迁移方法的改进,来达到上述目的。 展开更多

关键词 并行实时数据库 混合范围划分方法 数据倾斜 查询负载 热度

在线阅读 下载PDF 职称材料

基于Spark的倾斜数据虚拟划分算法

10

作者 李俊丽 《计算机工程与设计》 北大核心 2021年第8期2271-2276,共6页

针对基于Spark的类别数据互信息的并行计算在数据倾斜情况下会造成某一个或几个reducer负载过重降低集群性能的现状,重新定义数据倾斜模型来量化由Spark创建的分区之间的数据倾斜度,提出数据虚拟划分算法DVP。通过将同一个键添加随机前... 针对基于Spark的类别数据互信息的并行计算在数据倾斜情况下会造成某一个或几个reducer负载过重降低集群性能的现状,重新定义数据倾斜模型来量化由Spark创建的分区之间的数据倾斜度,提出数据虚拟划分算法DVP。通过将同一个键添加随机前缀更改为几个不同的键,减少单个任务处理过量数据的情况;在一个24节点的Spark集群中实现DVP算法,通过与Spark传统的哈希算法DEFH比较,实验验证了DVP算法减轻了Spark Shuffle过程中的数据倾斜,减少了在负载均衡方面的耗时。 展开更多

关键词 数据倾斜 虚拟划分 类别数据 互信息并行计算 负载均衡

在线阅读 下载PDF 职称材料

大规模图数据划分算法综述 被引量：7

11

作者 许金凤 董一鸿 +2 位作者 王诗懿 何贤芒 陈华辉 《电信科学》 北大核心 2014年第7期100-106,共7页

对大规模图数据划分算法进行了总结,介绍了并行环境下图计算模型,详述了大规模静态图划分算法和动态图划分算法,归纳了这些算法的优缺点以及适应性。最后,指出了关于大图划分尚未探索的有意义的研究课题。

关键词 大数据 大图 分布式图划分 负载均衡 BSP MAPREDUCE 动态图

在线阅读 下载PDF 职称材料

多层快速多极子算法并行实现的数据划分策略

12

作者 胡悦 童维勤 龚治勋 《计算机应用与软件》 CSCD 北大核心 2012年第2期118-121,共4页

虽然多层快速多极子算法在解决大尺度电磁散射问题中表现出了很好的效率,但是,当未知量达到千万时,由于复杂的结构和计算该算法很难再保持高效的计算能力。为了解决负载均衡引起的性能瓶颈问题,提出多层快速多极子算法基于八叉树的多层... 虽然多层快速多极子算法在解决大尺度电磁散射问题中表现出了很好的效率,但是,当未知量达到千万时,由于复杂的结构和计算该算法很难再保持高效的计算能力。为了解决负载均衡引起的性能瓶颈问题,提出多层快速多极子算法基于八叉树的多层结构并行数据划分策略。该方法包括根据树结构中分布层和共享层不同特征的单独处理,也包括解决数据冲突的转移层的处理方法和为了减少分布存储系统中的通信时间而在分布层引入的冗余技术。实验结果表明多层快速多极子算法并行计算的开销明显减少,并且能够获得比较高的并行效率。 展开更多

关键词 多层快速多极子算法 负载均衡 并行数据划分 数据冲突 冗余技术

在线阅读 下载PDF 职称材料

基于复小波变换的遥感图像并行融合算法 被引量：12

13

作者 王攀峰 杜云飞 +1 位作者 周海芳 杨学军 《计算机工程与科学》 CSCD 2008年第3期35-39,共5页

随着遥感技术的快速发展,多源遥感图像的快速融合成为很多遥感任务的关键处理步骤。为了加速遥感图像的融合处理过程,本文首先提出了一种新的基于双树复小波变换的并行融合算法(PACWT)。算法中综合运用了数据分布、并行数据处理和负载... 随着遥感技术的快速发展,多源遥感图像的快速融合成为很多遥感任务的关键处理步骤。为了加速遥感图像的融合处理过程,本文首先提出了一种新的基于双树复小波变换的并行融合算法(PACWT)。算法中综合运用了数据分布、并行数据处理和负载均衡技术,以克服单机处理在计算能力和存储器空间上的限制;针对基于CWT的图像融合处理的计算特点,设计了一种可有效避免计算过程中数据通信的冗余划分方法。然后,从理论上分析了算法在时间和空间两方面的性能。最后,通过实验分析了算法在32-CPU的Cluster系统上的实际性能。结果表明,本文提出的算法具有良好的可扩展性,在数据量较大时可获得良好的加速比和并行效率。 展开更多

关键词 图像融合 并行算法 数据划分 负载均衡 冗余划分 遥感

在线阅读 下载PDF 职称材料