面向分布式数据库的算子并行优化策略 被引量：3

1

作者 刘文洁 吕靖超 《西北工业大学学报》 EI CAS CSCD 北大核心 2024年第3期453-459,共7页

随着网络技术的不断发展,数据规模呈现爆发式增长,使得传统的单机数据库逐步被分布式数据库所取代。分布式数据库采用节点协同工作方式解决了大规模数据存储问题,但由于增加了节点间通信开销,查询效率却不如单机数据库。分布式架构下,... 随着网络技术的不断发展,数据规模呈现爆发式增长,使得传统的单机数据库逐步被分布式数据库所取代。分布式数据库采用节点协同工作方式解决了大规模数据存储问题,但由于增加了节点间通信开销,查询效率却不如单机数据库。分布式架构下,存储节点的数据仅用作多备份的冗余,为系统故障时提供数据恢复,并未被利用起来改善查询效率。针对上述问题,提出了一种面向分布式数据库的算子并行优化策略,通过对关键物理算子进行拆分,将拆分后的子请求均匀分配到存储层多个节点,由多个节点并行处理,从而减少查询响应时间。上述策略已经在分布式数据库CBase上进行了应用,实验表明,提出的并行优化策略可显著缩短SQL请求查询时间,并提高系统资源利用率。 展开更多

关键词 分布式数据库 并行查询 查询优化 负载均衡 数据分区

在线阅读 下载PDF 职称材料

一种并行XML数据库分片策略 被引量：7

2

作者 王国仁 汤南 +2 位作者 于亚新 孙冰 于戈 《软件学报》 EI CSCD 北大核心 2006年第4期770-781,共12页

主要研究XML文档的并行数据分片策略,以便能够并行处理XML查询.为了描述XML数据分片,提出了媒介节点的概念.一组媒介节点的集合可以将一棵XML数据树分割成一棵根树和一组子树的集合:根树将在所有站点中复制;而子树集合则可以根据用户查... 主要研究XML文档的并行数据分片策略,以便能够并行处理XML查询.为了描述XML数据分片,提出了媒介节点的概念.一组媒介节点的集合可以将一棵XML数据树分割成一棵根树和一组子树的集合:根树将在所有站点中复制;而子树集合则可以根据用户查询的工作负载被均匀地分片到各个站点中.对于同一棵XML数据树,会有很多种媒介节点的集合;而不同的媒介节点集合会产生不同的数据分片结果.然后,依据各个数据分片中的用户查询工作量是否均衡,来衡量一个分片的好坏.选择一组最佳的媒介节点集合是一个NP-hard问题.为了解决此问题,设计了一组启发式优化规则.基于这一思想,提出并实现了一种基于媒介节点的XML数据分片算法WIN(workload-awareintermediarynodesdataplacementstrategy).大量实验结果证明:WIN算法的性能要优于以往的并行XML数据分片策略. 展开更多

关键词 并行数据库 XML文档 工作负载 数据分片 媒介节点

在线阅读 下载PDF 职称材料

大数据管理技术研究综述 被引量：14

3

作者 张滨 陈吉荣 乐嘉锦 《计算机应用与软件》 CSCD 北大核心 2014年第11期1-5,10,共6页

大数据具有规模大、深度大、宽度大、处理时间短、硬件系统普通化、软件系统开源化等特点。传统关系型数据库在对大数据进行操作时,系统性能严重下降。因此,大数据管理技术研究成为当前研究热点。分别从并行数据库,面向大数据处理的MapR... 大数据具有规模大、深度大、宽度大、处理时间短、硬件系统普通化、软件系统开源化等特点。传统关系型数据库在对大数据进行操作时,系统性能严重下降。因此,大数据管理技术研究成为当前研究热点。分别从并行数据库,面向大数据处理的MapReduce模型,NoSQL与数据库技术的对比以及MapReduce与数据库技术相结合四个方面,对国内外的研究发展状况进行分析和评述,最后展望了未来大数据研究发展方向。 展开更多

关键词 大数据 数据库 MAPREDUCE 并行数据库系统 非关系型数据库

在线阅读 下载PDF 职称材料

基于R树的分布式并行空间索引机制研究 被引量：11

4

作者 赵园春 李成名 赵春宇 《地理与地理信息科学》 CSCD 北大核心 2007年第6期38-41,81,共5页

为提高分布式并行计算环境下海量空间数据管理与并行化处理的效率,基于并行空间索引机制的研究,设计一种多层并行R树空间索引结构。该索引结构以高效率的并行空间数据划分策略为基础,以经典的并行计算方法论为依据,使其结构设计在保证... 为提高分布式并行计算环境下海量空间数据管理与并行化处理的效率,基于并行空间索引机制的研究,设计一种多层并行R树空间索引结构。该索引结构以高效率的并行空间数据划分策略为基础,以经典的并行计算方法论为依据,使其结构设计在保证能够获得较好的负载平衡性能的前提下,更适合于海量空间数据的并行化处理。以空间范围查询并行处理的系统响应时间为性能评估指标,通过实验证明并行空间索引结构具有设计合理、性能高效的特点。 展开更多

关键词 分布式并行计算环境 并行空间索引 并行R树索引 空间数据划分策略

在线阅读 下载PDF 职称材料

并行数据库的改进Hash划分方法及并行Join算法 被引量：4

5

作者 陆丽娜 孟虹 +1 位作者 魏恒义 杨麦顺 《计算机研究与发展》 EI CSCD 北大核心 2000年第2期159-163,共5页

文中提出了Ｈａｓｈ 划分的改进方法——ＩＨ 划分． ＩＨ划分为结点扩充时数据的重新划分提供了方便．在论述ＩＨ 划分的基础上，给出了基于该数据划分方法的并行Ｊｏｉｎ 算法．利用已有的数据分布，文中提出的并行Ｊｏｉｎ 算法提高... 文中提出了Ｈａｓｈ 划分的改进方法——ＩＨ 划分． ＩＨ划分为结点扩充时数据的重新划分提供了方便．在论述ＩＨ 划分的基础上，给出了基于该数据划分方法的并行Ｊｏｉｎ 算法．利用已有的数据分布，文中提出的并行Ｊｏｉｎ 算法提高了算法的效率．最后，从理论上对以上并行算法的计算复杂性进行了分析． 展开更多

关键词 数据 并行数据库 数据划分 JOIN算法

在线阅读 下载PDF 职称材料

基于数据中心的企业应用系统整合平台架构的研究和设计 被引量：5

6

作者 王柯柯 崔英志 +1 位作者 黄贤英 黄丽丰 《西南大学学报（自然科学版）》 CAS CSCD 北大核心 2009年第11期129-132,共4页

讨论了数据中心的基本功能和设计原则,并以此为基础提出了面向企业的应用系统整合平台架构,详细分析了应用系统平台集群结构.该体系有助于提高企业信息化建设的水平、保障业务数据安全、构建一体化系统平台.

关键词 数据中心 系统集群 并行数据库

在线阅读 下载PDF 职称材料

大规模数据密集型系统中的去重查询优化 被引量：6

7

作者 宋怀明 安明远 +2 位作者 王洋 袁春阳 孙凝晖 《计算机研究与发展》 EI CSCD 北大核心 2010年第4期581-588,共8页

针对shared-nothing结构下大规模数据密集型系统去重查询的挑战,提出了一种有效的数据分布策略和并行处理方法分别对相关属性和无关属性去重进行优化:即自适应的散列和直方图相结合的数据分布策略,以及异步式并行查询中间件.前者在数据... 针对shared-nothing结构下大规模数据密集型系统去重查询的挑战,提出了一种有效的数据分布策略和并行处理方法分别对相关属性和无关属性去重进行优化:即自适应的散列和直方图相结合的数据分布策略,以及异步式并行查询中间件.前者在数据写入时保证数据均衡,并在数据量发生倾斜时自动调整数据的分布;后者充分发掘了去重查询处理中的粗粒度流水级并行,并消除了多节点同步等待的开销,尽早地返回结果.在生产系统DBroker上的测试表明,数据分布策略极大地改善相关属性的去重查询性能,而异步式并行查询引擎能够充分发掘并行性,对不相关属性的去重查询具有显著的性能提升. 展开更多

关键词 去重查询 数据划分 大规模数据密集型系统 异步查询 并行查询引擎

在线阅读 下载PDF 职称材料

并行数据库系统的数据重组研究 被引量：3

8

作者 金树东 冯玉才 王元珍 《小型微型计算机系统》 EI CSCD 北大核心 1998年第3期28-33,共6页

数据倾斜对并行数据库系统性能的影响极大。本文提出解决初始数据倾斜的记录移动法 ,确定了数据平衡的记录移动法、负载平衡的记录移动法 ,及通常的重新划分法之间取舍的界线 ,并举例进行模拟研究。

关键词 并行数据库 数据划分 数据重组 数据库系统

在线阅读 下载PDF 职称材料

基于并行叠加的国土空间开发适宜性评价 被引量：3

9

作者 杨宜舟 吴立新 +1 位作者 郭甲腾 刘善军 《东北大学学报（自然科学版）》 EI CAS CSCD 北大核心 2021年第11期1585-1590,共6页

在国土空间大数据环境下,基于传统串行叠加分析计算的国土空间开发适宜性评价性能已达极限,需研究并行化方法,以利用更多的计算资源提升国土空间开发适宜性评价的效率.在分析基于多空间对象叠加综合评价原理的基础上,通过引入空间数据... 在国土空间大数据环境下,基于传统串行叠加分析计算的国土空间开发适宜性评价性能已达极限,需研究并行化方法,以利用更多的计算资源提升国土空间开发适宜性评价的效率.在分析基于多空间对象叠加综合评价原理的基础上,通过引入空间数据预处理方法、空间数据划分方法及并行空间索引,提出并实现了以并行叠加分析为核心的国土空间开发适宜性评价方法.西南四省的国土空间建设用地适宜性评价应用实验表明:本文方法相比传统方法性能提升了至少30倍,且节约了大量的人力物力资源,解决了传统架构下国土空间开发适宜性评价计算效率低或无法胜任的难题. 展开更多

关键词 空间开发 适宜性评价 并行空间索引 空间数据划分 叠加分析

在线阅读 下载PDF 职称材料

并行数据库系统原型PARO 被引量：12

10

作者 金树东 冯玉才 《计算机科学》 CSCD 北大核心 1997年第3期41-45,共5页

PARO系统是一个基于无共享硬件结构的并行数据库系统的原型。

关键词 PARO 并行数据库系统 设计

在线阅读 下载PDF 职称材料

基于代理的并行空间查询语言 被引量：2

11

作者 范协裕 任应超 +1 位作者 邓富亮 王庆刚 《计算机工程》 CAS CSCD 2013年第11期61-64,共4页

目前针对并行空间数据处理的研究主要集中在空间数据划分及其在其基础上的并行空间算法,对空间并行数据库平台本身的可用性,如应用程序的开发模式、高并发请求支持等研究较少。为此,对开源并行关系数据库查询语言进行空间查询扩展,提出... 目前针对并行空间数据处理的研究主要集中在空间数据划分及其在其基础上的并行空间算法,对空间并行数据库平台本身的可用性,如应用程序的开发模式、高并发请求支持等研究较少。为此,对开源并行关系数据库查询语言进行空间查询扩展,提出一种基于代理的并行空间查询语言,并实现相应的并行数据库平台原型。基于该平台开发标准的网络地图绘图服务,在高并发环境下使用该服务对海量矢量数据进行实时渲染。实验结果表明,该平台具有与传统关系数据库一致的开发应用模式,可提供无缝的衔接方式,在海量数据高并发的情况下具有较高的可用性及查询性能。 展开更多

关键词 空间查询语言 并行空间数据处理 网络地图服务 并行数据库 空间查询 空间数据划分

在线阅读 下载PDF 职称材料

Shared-nothing并行事务数据库系统中规则的挖掘与更新算法 被引量：3

12

作者 朱玉全 陈耿 +1 位作者 宋余庆 孙志挥 《小型微型计算机系统》 CSCD 北大核心 2003年第8期1499-1502,共4页

关联规则是数据挖掘中的一个重要研究内容 .本文提出了 Shared- nothing并行事务数据库系统 (简称SNPDBS)中一种快速的关联规则挖掘算法 SNPMAR,并考虑当最小支持度发生变化后 SNPDBS中关联规则的高效更新问题 ,提出了一种有效的关联规... 关联规则是数据挖掘中的一个重要研究内容 .本文提出了 Shared- nothing并行事务数据库系统 (简称SNPDBS)中一种快速的关联规则挖掘算法 SNPMAR,并考虑当最小支持度发生变化后 SNPDBS中关联规则的高效更新问题 ,提出了一种有效的关联规则更新算法 SNPIUA. 展开更多

关键词 数据挖掘 关联规则 shared—nothing 并行事务数据库系统 增量式更新

在线阅读 下载PDF 职称材料

基于数据动态冗余的分布式并行系统重构机制 被引量：3

13

作者 陈建英 刘心松 +1 位作者 左朝树 陈小辉 《计算机应用研究》 CSCD 北大核心 2004年第11期229-231,256,共4页

设计高可用分布式并行数据库系统,系统重构不能只局限于单节点状态变化,为此提出了基于数据动态冗余的分布式并行系统重构机制。该机制通过相关事件触发系统检测,及时分布采集节点状态信息,借助数据的再生和转移,在各节点并行完成负载... 设计高可用分布式并行数据库系统,系统重构不能只局限于单节点状态变化,为此提出了基于数据动态冗余的分布式并行系统重构机制。该机制通过相关事件触发系统检测,及时分布采集节点状态信息,借助数据的再生和转移,在各节点并行完成负载失衡和节点状态变化下的系统自动重构。实际应用表明,该机制解决了多节点状态同时变化的系统资源和数据资源的重构问题,保证了数据库系统的高可用性。 展开更多

关键词 分布式并行数据库系统 系统重构 数据动态冗余 高可用性

在线阅读 下载PDF 职称材料

地籍数据库点线拓扑一致性并行检查方法 被引量：3

14

作者 杨宜舟 吴立新 +1 位作者 郭甲腾 刘善军 《国防科技大学学报》 EI CAS CSCD 北大核心 2015年第5期40-46,共7页

针对拓扑检查算法复杂、计算量大,串行计算已远不能满足海量地籍数据高效拓扑检查需求的问题,在分析了点线拓扑关系的并行特点基础上,将界址点的数据划分方法与界址线的Q&R空间索引方法相结合,实现了界址点与界址线的并行拓扑计算... 针对拓扑检查算法复杂、计算量大,串行计算已远不能满足海量地籍数据高效拓扑检查需求的问题,在分析了点线拓扑关系的并行特点基础上,将界址点的数据划分方法与界址线的Q&R空间索引方法相结合,实现了界址点与界址线的并行拓扑计算。用某地区实际的界址点集与界址线集对点线拓扑并行检查进行实验。测试结果表明:并行检查算法的并行效率随着进程数的增加而有所衰减,但稳定在30%以上,加速比达到5以上,且相比于Arc GIS效率提升了30倍以上。并行检查方法以工具的方式集成应用于高性能地理计算平台中,应用效果良好。 展开更多

关键词 地籍数据库 拓扑关系 数据质量 并行计算 高性能地理计算平台

在线阅读 下载PDF 职称材料

一个基于Semijoin的并行join算法SBABJ 被引量：3

15

作者 陈佩佩 蒋蜀 谢立 《计算机研究与发展》 EI CSCD 北大核心 1995年第5期46-51,共6页

本文在并行ｊｏｉｎ算法ＡＢＪ＋的基础上提出了一个基于Ｓｅｍｉｊｏｉｎ的改进算法ＳＢＡＢＪ＋。我们在多台Ｓｕｎ工作站上实现了该算法，并对ＡＢＪ十和ＳＢＡＢＪ十进行了性能测试。算法分析和实验结果表明了并行ｊｏｉｎ算法ＳＢ... 本文在并行ｊｏｉｎ算法ＡＢＪ＋的基础上提出了一个基于Ｓｅｍｉｊｏｉｎ的改进算法ＳＢＡＢＪ＋。我们在多台Ｓｕｎ工作站上实现了该算法，并对ＡＢＪ十和ＳＢＡＢＪ十进行了性能测试。算法分析和实验结果表明了并行ｊｏｉｎ算法ＳＢＡＢＪ＋优于ＡＢＪ＋算法。 展开更多

关键词 并行数据库 并行JOIN算法 并行处理 数据库

在线阅读 下载PDF 职称材料

林业资源数据集群的快速索引设计 被引量：1

16

作者 李惺颖 谢阳生 +2 位作者 唐小明 罗鹏 黄龙 《吉林大学学报（理学版）》 CAS CSCD 北大核心 2013年第6期1111-1117,共7页

设计一种快速索引以管理分布存储的林业资源数据,通过大量独立数据节点共同负载数据请求,减少数据访问过程的互斥,实现了空间与属性数据的分布式存储并行访问.实验结果表明,基于目前的应用服务器集群,应用该快速索引方法,能以较低的改... 设计一种快速索引以管理分布存储的林业资源数据,通过大量独立数据节点共同负载数据请求,减少数据访问过程的互斥,实现了空间与属性数据的分布式存储并行访问.实验结果表明,基于目前的应用服务器集群,应用该快速索引方法,能以较低的改进成本提高整个数据集群的快速统计和更新能力. 展开更多

关键词 林业资源 集群数据存储 多库存储 并行索引

在线阅读 下载PDF 职称材料

并行PDBMS的数据划分方法 被引量：1

17

作者 许向阳 张勇 王元珍 《计算机工程与应用》 CSCD 北大核心 2001年第8期90-91,111,共3页

该文系统地分析了并行关系数据库的数据划分方法，指出在不同应用中，数据划分方法极大地影响了系统的性能，提出了综合不同方法以适应不同应用的思想。文章介绍了在并行关系数据库系统产ＤＢＭＳ中实现多种划分的方法。

关键词 并行关系数据 数据划分 B树 PDBMS 并行算法

在线阅读 下载PDF 职称材料

基于热点内容的动态数据调整方法 被引量：1

18

作者 曹忠升 杨良聪 唐曙光 《计算机工程与应用》 CSCD 北大核心 2006年第19期174-176,共3页

数据倾斜和热点的存在对并行数据库系统的性能有极大影响,目前国内外对这类问题的研究主要着眼于让数据均匀地分布在各节点上。但这些方法均无法避免由于某些节点访问过于频繁而导致的热点问题。文章提出的方法将目标放在解决热点问题上... 数据倾斜和热点的存在对并行数据库系统的性能有极大影响,目前国内外对这类问题的研究主要着眼于让数据均匀地分布在各节点上。但这些方法均无法避免由于某些节点访问过于频繁而导致的热点问题。文章提出的方法将目标放在解决热点问题上,通过在过载节点上寻找那些对负载影响最大的热点数据并对其分解,来达到平衡负载的目的。 展开更多

关键词 并行数据库 数据划分 热点 负载平衡

在线阅读 下载PDF 职称材料

用于分组和集函数计算的并行排序方法 被引量：1

19

作者 金树东 冯玉才 王元珍 《小型微型计算机系统》 EI CSCD 北大核心 1997年第1期59-64,共6页

本文考虑在并行数据库系统中基于归并排序的分组操作和集函数计算。为消除结点间数据分布倾斜对并行排序效果的影响，采用静态或动态数据平衡方法。通过实验模拟，比较了采用不平衡方法。

关键词 并行数据库 并行排序 集函数 分组操作

在线阅读 下载PDF 职称材料

全局数据目录的动态管理和维护 被引量：1

20

作者 陈建英 刘心松 +3 位作者 谈文蓉 刘韬 谭颖 王莉 《计算机工程》 EI CAS CSCD 北大核心 2006年第13期35-37,共3页

针对分布式并行数据库系统DPDBS中数据库副本数、数据库分布等信息的动态性,提出全局数据目录的动态管理和维护算法。该算法将数据目录一致性检查嵌入数据库执行过程中,通过改进两阶段提交协议和采用捎带、恢复和并行处理等技术,在低开... 针对分布式并行数据库系统DPDBS中数据库副本数、数据库分布等信息的动态性,提出全局数据目录的动态管理和维护算法。该算法将数据目录一致性检查嵌入数据库执行过程中,通过改进两阶段提交协议和采用捎带、恢复和并行处理等技术,在低开销的情况下动态地保证了全局数据信息的一致性和实时性。 展开更多

关键词 分布式并行数据库系统 全局数据目录 两阶段提交协议 一致性

在线阅读 下载PDF 职称材料