面向分布式数据库的算子并行优化策略 被引量：3

1

作者 刘文洁 吕靖超 《西北工业大学学报》 EI CAS CSCD 北大核心 2024年第3期453-459,共7页

随着网络技术的不断发展,数据规模呈现爆发式增长,使得传统的单机数据库逐步被分布式数据库所取代。分布式数据库采用节点协同工作方式解决了大规模数据存储问题,但由于增加了节点间通信开销,查询效率却不如单机数据库。分布式架构下,... 随着网络技术的不断发展,数据规模呈现爆发式增长,使得传统的单机数据库逐步被分布式数据库所取代。分布式数据库采用节点协同工作方式解决了大规模数据存储问题,但由于增加了节点间通信开销,查询效率却不如单机数据库。分布式架构下,存储节点的数据仅用作多备份的冗余,为系统故障时提供数据恢复,并未被利用起来改善查询效率。针对上述问题,提出了一种面向分布式数据库的算子并行优化策略,通过对关键物理算子进行拆分,将拆分后的子请求均匀分配到存储层多个节点,由多个节点并行处理,从而减少查询响应时间。上述策略已经在分布式数据库CBase上进行了应用,实验表明,提出的并行优化策略可显著缩短SQL请求查询时间,并提高系统资源利用率。 展开更多

关键词 分布式数据库 并行查询 查询优化 负载均衡 数据分区

在线阅读 下载PDF 职称材料

分布式服务资源自适应弹性伸缩研究综述

2

作者 胡程 陈仕鸿 《计算机科学与探索》 CSCD 北大核心 2024年第10期2551-2572,共22页

分布式服务资源环境下,由于峰值负载的整体占比很小,大量服务资源长期处于低利用率甚至闲置状态。通过实现资源自适应弹性伸缩,在高负载时扩充服务资源以应对高需求,在低负载时将其缩减以降低开销,可显著提升系统能效并降低运作开销。... 分布式服务资源环境下,由于峰值负载的整体占比很小,大量服务资源长期处于低利用率甚至闲置状态。通过实现资源自适应弹性伸缩,在高负载时扩充服务资源以应对高需求,在低负载时将其缩减以降低开销,可显著提升系统能效并降低运作开销。但实际负载通常具有很强的波动性,满足服务质量所需的服务资源持续变化,这给服务资源自适应弹性伸缩带来了巨大挑战。尽管现有的商用分布式平台已普遍具有一定的资源弹性伸缩能力,但它们的自适应能力有限、精准性不佳,存在很大提升空间。为促进该领域的研究与应用发展,就该环境下服务资源自适应弹性伸缩研究进行分类分析与探讨。分析并介绍了相应的研究背景及主要存在于需求评估与资源调整上的挑战;就该领域的国内外相关研究,依据其调整的资源对象分为三类,以此进行分类论述并比较了各研究工作的异同,且就各自的特点与效用进行了分析与总结;总述分析了这些研究工作并概括出一个全面而整体的实现,探讨了业界的应用现状、研究面临的挑战以及未来趋势。 展开更多

关键词 并行与分布式计算 分布式服务资源 资源管理与分配 自适应弹性伸缩

在线阅读 下载PDF 职称材料

基于实时数据库的卫星测试平台的设计与实现 被引量：8

3

作者 张勇 王堃 +1 位作者 王强 王宏安 《计算机工程与设计》 CSCD 北大核心 2009年第2期335-337,341,共4页

卫星测试数据的有效存储与展现对卫星测试有着重要的意义,同时随着卫星技术的发展,一颗卫星的多阶段测试,多颗卫星同时测试是不可避免的。而及时有效的处理测试产生大量的实时数据将是极大的挑战。设计并实现了基于实时数据库的分布式... 卫星测试数据的有效存储与展现对卫星测试有着重要的意义,同时随着卫星技术的发展,一颗卫星的多阶段测试,多颗卫星同时测试是不可避免的。而及时有效的处理测试产生大量的实时数据将是极大的挑战。设计并实现了基于实时数据库的分布式卫星测试平台,可以有效地管理多颗卫星的测试,同时结合ACE框架的通讯结构可以有效的对测试间内外的测试人员提供实时的数据监视与精确的历史查询统计。 展开更多

关键词 卫星测试 实时数据库 多星管理 并行通讯 分布式系统

在线阅读 下载PDF 职称材料

并行计算框架Spark的自适应缓存管理策略 被引量：19

4

作者 卞琛 于炯 +1 位作者 英昌甜 修位蓉 《电子学报》 EI CAS CSCD 北大核心 2017年第2期278-284,共7页

并行计算框架Spark缺乏有效缓存选择机制,不能自动识别并缓存高重用度数据;缓存替换算法采用LRU,度量方法不够细致,影响任务的执行效率.本文提出一种Spark框架自适应缓存管理策略(Self-Adaptive Cache Management,SACM),包括缓存自动选... 并行计算框架Spark缺乏有效缓存选择机制,不能自动识别并缓存高重用度数据;缓存替换算法采用LRU,度量方法不够细致,影响任务的执行效率.本文提出一种Spark框架自适应缓存管理策略(Self-Adaptive Cache Management,SACM),包括缓存自动选择算法(Selection)、并行缓存清理算法(Parallel Cache Cleanup,PCC)和权重缓存替换算法(Lowest Weight Replacement,LWR).其中,缓存自动选择算法通过分析任务的DAG(Directed Acyclic Graph)结构,识别重用的RDD并自动缓存.并行缓存清理算法异步清理无价值的RDD,提高集群内存利用率.权重替换算法通过权重值判定替换目标,避免重新计算复杂RDD产生的任务延时,保障资源瓶颈下的计算效率.实验表明:我们的策略提高了Spark的任务执行效率,并使内存资源得到有效利用. 展开更多

关键词 并行计算 缓存管理策略 SPARK 弹性分布式数据集

在线阅读 下载PDF 职称材料

基于MapReduce的关系型数据仓库并行查询 被引量：9

5

作者 师金钢 鲍玉斌 +1 位作者 冷芳玲 于戈 《东北大学学报（自然科学版）》 EI CAS CSCD 北大核心 2011年第5期626-629,共4页

针对MapReduce框架与传统关系型数据库兼容性不好的问题,提出了一种基于分块结构的分布式关系数据库ChunkDB.并对MapReduce架构进行了扩展设计,使ChunkDB与MapReduce有效结合,将MapReduce的扩展性、易操作性、高并行性与关系数据库的索... 针对MapReduce框架与传统关系型数据库兼容性不好的问题,提出了一种基于分块结构的分布式关系数据库ChunkDB.并对MapReduce架构进行了扩展设计,使ChunkDB与MapReduce有效结合,将MapReduce的扩展性、易操作性、高并行性与关系数据库的索引等查询优化优势相结合.实验证明基于MapReduce的ChunkDB数据库能够为数据仓库应用提供快速高效的并行查询. 展开更多

关键词 MAPREDUCE 数据仓库 并行计算 分布式数据库 查询优化

在线阅读 下载PDF 职称材料

中文文档复制检测系统研究 被引量：9

6

作者 金博 史彦军 滕弘飞 《计算机工程》 EI CAS CSCD 北大核心 2005年第19期79-81,共3页

给出了一种基于语义理解的复制检测系统架构,该系统综合利用分布式数据库系统、并行运算等技术,较为有效地实现了中文文档复制检测系统的功能,具有实际应用价值。

关键词 复制检测 分布数据库 并行计算

在线阅读 下载PDF 职称材料

一种分布式数据库多元连接查询优化算法及改进 被引量：25

7

作者 胡枫 陶世群 《计算机工程与应用》 CSCD 北大核心 2001年第16期125-127,共3页

论文对于分布式数据库中的多元连接查询提出了一种优化算法。该算法产生的操作序列具有全局优化特征。在远程网中，采用最小生成树算法，生成最佳的连接序对能使得总的代价达到最小。而在局域网中，采用改进的最小生成树算法，生成尽可... 论文对于分布式数据库中的多元连接查询提出了一种优化算法。该算法产生的操作序列具有全局优化特征。在远程网中，采用最小生成树算法，生成最佳的连接序对能使得总的代价达到最小。而在局域网中，采用改进的最小生成树算法，生成尽可能多的并行连接序对，最大程度地应用并行性，使得响应时间最小。 展开更多

关键词 分布式数据库 多元连接 查询优化 最小生成树 并行性 算法

在线阅读 下载PDF 职称材料

一种面向大规模HLA仿真的并行区域匹配算法 被引量：5

8

作者 梁洪波 朱卫国 +3 位作者 姚益平 刘步权 慕晓冬 杨勇 《国防科技大学学报》 EI CAS CSCD 北大核心 2013年第3期84-91,共8页

HLA仿真中,数据分发管理实现基于值的过滤,可以有效减少盟员接收冗余数据的可能性和网络中的数据流量。大规模HLA仿真系统在仿真推进中需要大量的区域匹配计算以维护数据分发管理的正确性。现有的区域匹配算法大多需要对所有区域进行匹... HLA仿真中,数据分发管理实现基于值的过滤,可以有效减少盟员接收冗余数据的可能性和网络中的数据流量。大规模HLA仿真系统在仿真推进中需要大量的区域匹配计算以维护数据分发管理的正确性。现有的区域匹配算法大多需要对所有区域进行匹配计算,造成了大量计算资源的浪费;同时,主要基于串行匹配思想,难以充分发挥多核平台的并行计算优势。针对现有区域匹配算法的局限性,提出了一种面向大规模HLA仿真的并行区域匹配算法,该算法能够实现对一次仿真推进中多个改变区域的并行匹配计算,同时在匹配计算中采用基于移动相交的基本思想,利用区域范围移动前后的历史信息,将匹配限定在移动区间之内,减少了大量的无关计算。理论分析与实验结果表明该算法尤其适合基于多核计算平台构建大规模分布式仿真的应用需求。 展开更多

关键词 分布式交互仿真 运行支撑环境(RTI) 数据分发管理(DDM) 区域匹配 并行计算

在线阅读 下载PDF 职称材料

基于瓦片金字塔模型的海量空间数据快速分发方法 被引量：8

9

作者 殷君茹 侯瑞霞 +1 位作者 唐小明 罗鹏 《吉林大学学报（理学版）》 CAS CSCD 北大核心 2015年第6期1269-1274,共6页

针对分布式并行环境下海量空间数据的快速显示和浏览问题,提出一种基于分层、分专题的海量空间数据金字塔模型及基于数据库存储方案的瓦片数据快速分发方法.对比分析了瓦片数据在文件式管理和数据库管理两种模式下的存储机制和响应流程... 针对分布式并行环境下海量空间数据的快速显示和浏览问题,提出一种基于分层、分专题的海量空间数据金字塔模型及基于数据库存储方案的瓦片数据快速分发方法.对比分析了瓦片数据在文件式管理和数据库管理两种模式下的存储机制和响应流程,并以时间跨度59年的沙尘暴观测数据为例,验证了该方法不仅能有效地组织管理海量空间数据,实现高效数据互操作,而且在多用户并发访问时,能快速响应客户端请求. 展开更多

关键词 瓦片金字塔模型 海量空间数据 数据库 分布式并行环境

在线阅读 下载PDF 职称材料

基于高性能数据挖掘的网络海量信息处理平台 被引量：9

10

作者 倪颖杰 王律科 张军 《计算机工程与科学》 CSCD 北大核心 2009年第A01期129-132,共4页

互联网的迅猛发展对网络信息处理提出了新的挑战,而这些都迫切需要高性能计算技术的支持。为了提高网络海量信息智能并行处理能力,促进网络信息存储与管理、信息融合、数据挖掘、智能处理和信息利用等发展,本文提出了基于高性能数据挖... 互联网的迅猛发展对网络信息处理提出了新的挑战,而这些都迫切需要高性能计算技术的支持。为了提高网络海量信息智能并行处理能力,促进网络信息存储与管理、信息融合、数据挖掘、智能处理和信息利用等发展,本文提出了基于高性能数据挖掘的网络海量信息处理平台,重点分析了网络海量信息处理平台实现的关键技术,并对平台的网络热点分析应用的实现进行了介绍。 展开更多

关键词 网络信息处理 并行数据挖掘 分布式并行数据库 RDS 网络热点分析

在线阅读 下载PDF 职称材料

分布式并行数据库中基于调度的多线程通信模型之研究 被引量：4

11

作者 陈小辉 刘心松 +1 位作者 左朝树 陈建英 《小型微型计算机系统》 CSCD 北大核心 2005年第4期604-608,共5页

分布式并行数据库系统以其高性能倍受关注,高效合理的内部通信系统是分布式并行数据库系统极其关键的组成部分.为此,在分析现有多种通信模型的基础上,建立了一种基于调度的多线程通信模型,该通信模型采用多个线程收发数据,并根据节点运... 分布式并行数据库系统以其高性能倍受关注,高效合理的内部通信系统是分布式并行数据库系统极其关键的组成部分.为此,在分析现有多种通信模型的基础上,建立了一种基于调度的多线程通信模型,该通信模型采用多个线程收发数据,并根据节点运行情况动态调度接收线程和发送线程,既保证了内部通信的通信性能,又不会使系统的对外处理能力成为新的瓶颈.该模型已被成功应用于成都市电子政务的系统平台———分布式并行数据库系统DPSQL. 展开更多

关键词 行数据 多线程通信 分布式并行 通信模型 收发 调度 发送 内部 瓶颈 运行情况

在线阅读 下载PDF 职称材料

并行数据库系统原型PARO 被引量：12

12

作者 金树东 冯玉才 《计算机科学》 CSCD 北大核心 1997年第3期41-45,共5页

PARO系统是一个基于无共享硬件结构的并行数据库系统的原型。

关键词 PARO 并行数据库系统 设计

在线阅读 下载PDF 职称材料

一个有效的分布式并行挖掘关联规则算法 被引量：6

13

作者 葛丽娜 钟诚 《计算机工程与设计》 CSCD 2004年第8期1258-1260,共3页

提出了一个基于分布式结构的快速有效的关联规则挖掘算法,它采用了分布式结构,各节点并行计算,与相关算法相比有效地减少了通信量和候选项集数目,算法可扩展性好,实现简单。

关键词 关联规则算法 关联规则挖掘算法 候选项集 分布式结构 可扩展性 分布式并行 并行计算 通信量 节点

在线阅读 下载PDF 职称材料

基于分布式最优潮流算法的跨区输电阻塞管理研究 被引量：21

14

作者 刘科研 盛万兴 李运华 《中国电机工程学报》 EI CSCD 北大核心 2007年第19期56-61,共6页

使用辅助问题原理(APP)和序列2次规划(SQP)的分布式最优潮流算法来解决跨区域的输电阻塞问题。研究大系统互联电网的最优潮流优化(OPF)策略,分析电网分区的分解协调模型,使用APP来解决区域耦合约束,将一个大的电网互联系统分解成多个区... 使用辅助问题原理(APP)和序列2次规划(SQP)的分布式最优潮流算法来解决跨区域的输电阻塞问题。研究大系统互联电网的最优潮流优化(OPF)策略,分析电网分区的分解协调模型,使用APP来解决区域耦合约束,将一个大的电网互联系统分解成多个区域子问题。跨区域阻塞管理问题可描述为调整成本最小的优化问题,通过区域分解把跨区域阻塞管理问题分解为多个区域的SQP问题,这些问题可在分布并行的方式下求解。对3个区域互联的IEEE RTS-96算例进行分析,结果表明该文算法是一种有效的跨区域输电阻塞消除算法,在电力市场中有良好的应用前景。 展开更多

关键词 最优潮流 实时阻塞管理 互联电网 序列2次规划 分布式并行求解

在线阅读 下载PDF 职称材料

云数据库中等宽直方图的分布式并行构造方法 被引量：6

15

作者 王阳 钟勇 +1 位作者 周渭博 杨观赐 《工程科学与技术》 EI CAS CSCD 北大核心 2018年第2期133-140,共8页

直方图能够直观描述数据分布,在数据库查询优化中起着重要作用。然而在分布式云数据库场景中,现有直方图构建方法存在并行资源利用率低,网络传输量较高的问题。针对该问题,基于关系型云数据库提出一种等宽直方图的分布式并行构造方法。... 直方图能够直观描述数据分布,在数据库查询优化中起着重要作用。然而在分布式云数据库场景中,现有直方图构建方法存在并行资源利用率低,网络传输量较高的问题。针对该问题,基于关系型云数据库提出一种等宽直方图的分布式并行构造方法。首先,根据集群中分布式存储的数据无关性,基于master-slave架构在直方图任务开始前由集群中请求发起节点对经RPC(remote procedure call)协议获取到的多个工作节点最值数据比较得到数据表在整个集群的全局最大值、最小值;然后,考虑到算法运行过程中数据传输量的优化,集群中工作节点对本地数据扫描、排序,划分至依据全局最值信息构建的直方图桶内,实现聚合子直方图的并行构建以提高集群计算资源利用率;最后,请求发起节点对并行构建的多个子直方图中边界值相等的桶频率值聚合得到全局直方图。算法利用分布式思想实现了关系型云数据库中直方图的构建,将计算任务划分成多个子任务并行执行,子直方图信息代替数据分片的传输大幅优化了网络带宽的负载。算法已应用于关系型云数据库内核以优化SQL语句执行路径的初始扫描开销、数据选择率等关键参数。人工合成数据与评分数据的实验结果证明,算法运行过程中的网络传输量与数据库表中元组个数无关,且具有良好的可拓展性。 展开更多

关键词 关系型云数据库 等宽直方图 数据分布 并行计算 网络传输量

在线阅读 下载PDF 职称材料

基于并行遗传-最大最小蚁群算法的分布式数据库查询优化 被引量：20

16

作者 林基明 班文娇 +1 位作者 王俊义 童记超 《计算机应用》 CSCD 北大核心 2016年第3期675-680,共6页

针对分布式数据库中关系及其分片多副本、多站点存储的特性会增加查询搜索空间及时间复杂度,从而降低查询执行计划(QEP)搜索效率的问题,提出一种基于分片分配选择器(FSS)设计准则的并行遗传-最大最小蚁群算法(PGA-MMAS)。首先,结合实际... 针对分布式数据库中关系及其分片多副本、多站点存储的特性会增加查询搜索空间及时间复杂度,从而降低查询执行计划(QEP)搜索效率的问题,提出一种基于分片分配选择器(FSS)设计准则的并行遗传-最大最小蚁群算法(PGA-MMAS)。首先,结合实际的企业分布式信息管理系统设计FSS,启发式选择较优关系副本,以减少查询连接代价并缩小PGA-MMAS的搜索空间;然后结合遗传算法(GA)收敛较快的优势,对最终连接关系进行编码和并行遗传操作,得到一组相对较优的QEP,并将其转化为并行最大最小蚁群算法(MMAS)的初始信息素分布,从而使其更快速地搜索到全局最优QEP;最后分别在不同关系数情况下对算法进行仿真实验,结果表明,基于FSS的PGA-MMAS搜索最优QEP的效率高于原GA以及基于FFS的GA、MMAS和GA-MMAS;经实际工程应用验证,所提算法搜索出的高质量QEP可以提高分布式数据库多关系查询效率。 展开更多

关键词 分布式数据库 遗传算法 最大最小蚁群算法 最优查询执行计划 并行

在线阅读 下载PDF 职称材料

基于数据动态冗余的分布式并行系统重构机制 被引量：3

17

作者 陈建英 刘心松 +1 位作者 左朝树 陈小辉 《计算机应用研究》 CSCD 北大核心 2004年第11期229-231,256,共4页

设计高可用分布式并行数据库系统,系统重构不能只局限于单节点状态变化,为此提出了基于数据动态冗余的分布式并行系统重构机制。该机制通过相关事件触发系统检测,及时分布采集节点状态信息,借助数据的再生和转移,在各节点并行完成负载... 设计高可用分布式并行数据库系统,系统重构不能只局限于单节点状态变化,为此提出了基于数据动态冗余的分布式并行系统重构机制。该机制通过相关事件触发系统检测,及时分布采集节点状态信息,借助数据的再生和转移,在各节点并行完成负载失衡和节点状态变化下的系统自动重构。实际应用表明,该机制解决了多节点状态同时变化的系统资源和数据资源的重构问题,保证了数据库系统的高可用性。 展开更多

关键词 分布式并行数据库系统 系统重构 数据动态冗余 高可用性

在线阅读 下载PDF 职称材料

基于大数据的电信运营商业务精确运营平台的构建 被引量：13

18

作者 刘洁 王哲 《电信科学》 北大核心 2013年第3期22-26,共5页

大数据作为云计算的一种实际应用,在电信运营商的运营支撑中有着举足轻重的作用。基于移动互联网的发展趋势,首先分析电信运营商面临的挑战和建设难题,基于大数据分析的精确运营平台的重要性和必要性,提出引入大数据精确运营平台的业务... 大数据作为云计算的一种实际应用,在电信运营商的运营支撑中有着举足轻重的作用。基于移动互联网的发展趋势,首先分析电信运营商面临的挑战和建设难题,基于大数据分析的精确运营平台的重要性和必要性,提出引入大数据精确运营平台的业务网络架构和构建大数据精确运营平台的思路和方法。 展开更多

关键词 大数据 用户行为分析 云数据库 分布式计算 并行计算 云计算 业务网络

在线阅读 下载PDF 职称材料

一个基于Semijoin的并行join算法SBABJ 被引量：3

19

作者 陈佩佩 蒋蜀 谢立 《计算机研究与发展》 EI CSCD 北大核心 1995年第5期46-51,共6页

本文在并行ｊｏｉｎ算法ＡＢＪ＋的基础上提出了一个基于Ｓｅｍｉｊｏｉｎ的改进算法ＳＢＡＢＪ＋。我们在多台Ｓｕｎ工作站上实现了该算法，并对ＡＢＪ十和ＳＢＡＢＪ十进行了性能测试。算法分析和实验结果表明了并行ｊｏｉｎ算法ＳＢ... 本文在并行ｊｏｉｎ算法ＡＢＪ＋的基础上提出了一个基于Ｓｅｍｉｊｏｉｎ的改进算法ＳＢＡＢＪ＋。我们在多台Ｓｕｎ工作站上实现了该算法，并对ＡＢＪ十和ＳＢＡＢＪ十进行了性能测试。算法分析和实验结果表明了并行ｊｏｉｎ算法ＳＢＡＢＪ＋优于ＡＢＪ＋算法。 展开更多

关键词 并行数据库 并行JOIN算法 并行处理 数据库

在线阅读 下载PDF 职称材料

Lustre分布式锁管理器的分析与改进 被引量：4

20

作者 钱迎进 肖侬 金士尧 《计算机工程与科学》 CSCD 北大核心 2009年第A01期146-149,共4页

分布式文件系统一般使用分布式锁管理器技术为系统中的共享资源提供协同访问和一致性视图,并且保证数据并发访问的安全性,避免潜在的数据破坏的危险。本文首先分析了分布式文件系统Lustre分布式锁管理器的基本原理和实现,并针对发生冲... 分布式文件系统一般使用分布式锁管理器技术为系统中的共享资源提供协同访问和一致性视图,并且保证数据并发访问的安全性,避免潜在的数据破坏的危险。本文首先分析了分布式文件系统Lustre分布式锁管理器的基本原理和实现,并针对发生冲突时锁请求的延迟存在的问题提出了改进的方案,它不仅提高了I/O性能,降低访问延迟,而且提高了文件锁服务的可靠性。 展开更多

关键词 分布式锁管理器 并行文件系统 一致性 租约 LUSTRE

在线阅读 下载PDF 职称材料