期刊文献+
共找到92篇文章
< 1 2 5 >
每页显示 20 50 100
面向分布式数据库的算子并行优化策略 被引量:2
1
作者 刘文洁 吕靖超 《西北工业大学学报》 EI CAS CSCD 北大核心 2024年第3期453-459,共7页
随着网络技术的不断发展,数据规模呈现爆发式增长,使得传统的单机数据库逐步被分布式数据库所取代。分布式数据库采用节点协同工作方式解决了大规模数据存储问题,但由于增加了节点间通信开销,查询效率却不如单机数据库。分布式架构下,... 随着网络技术的不断发展,数据规模呈现爆发式增长,使得传统的单机数据库逐步被分布式数据库所取代。分布式数据库采用节点协同工作方式解决了大规模数据存储问题,但由于增加了节点间通信开销,查询效率却不如单机数据库。分布式架构下,存储节点的数据仅用作多备份的冗余,为系统故障时提供数据恢复,并未被利用起来改善查询效率。针对上述问题,提出了一种面向分布式数据库的算子并行优化策略,通过对关键物理算子进行拆分,将拆分后的子请求均匀分配到存储层多个节点,由多个节点并行处理,从而减少查询响应时间。上述策略已经在分布式数据库CBase上进行了应用,实验表明,提出的并行优化策略可显著缩短SQL请求查询时间,并提高系统资源利用率。 展开更多
关键词 分布式数据库 并行查询 查询优化 负载均衡 数据分区
在线阅读 下载PDF
基于LSM-Tree的分布式数据库异步融合机制研究与实现
2
作者 杜轶德 刘文洁 《西北工业大学学报》 EI CAS CSCD 北大核心 2024年第2期303-309,共7页
信息技术的不断发展,使得分布式数据库成为研究热点。由于NoSQL架构的分布式数据库对SQL支持有限且在事务处理及一致性方面存在缺陷,基于LSM-Tree的NewSQL数据库逐渐成为应用的主流,例如TiDB、OceanBase等。分布式LSM-Tree的存储架构将... 信息技术的不断发展,使得分布式数据库成为研究热点。由于NoSQL架构的分布式数据库对SQL支持有限且在事务处理及一致性方面存在缺陷,基于LSM-Tree的NewSQL数据库逐渐成为应用的主流,例如TiDB、OceanBase等。分布式LSM-Tree的存储架构将数据分为基线数据与增量数据,通过合并操作将不同分区的增量数据与基线数据不断融合,并存储在磁盘,从而减少内存压力。但合并会占用大量系统资源,严重影响系统可用性。因此提出了一种基于LSM-Tree架构的异步融合机制,通过细分合并流程,将数据融合异步化,有效地缩短了单次数据合并的时间。实验表明,提出的异步融合机制可显著缩短数据合并时间,提高系统在高频写入场景下的鲁棒性和可用性。 展开更多
关键词 分布式数据库 LSM-Tree 数据合并 异步融合 数据分区
在线阅读 下载PDF
架构大数据:挑战、现状与展望 被引量:620
3
作者 王珊 王会举 +1 位作者 覃雄派 周烜 《计算机学报》 EI CSCD 北大核心 2011年第10期1741-1752,共12页
大数据分析相比于传统的数据仓库应用,具有数据量大、查询分析复杂等特点.为了设计适合大数据分析的数据仓库架构,文中列举了大数据分析平台需要具备的几个重要特性,对当前的主流实现平台——并行数据库、MapReduce及基于两者的混合架... 大数据分析相比于传统的数据仓库应用,具有数据量大、查询分析复杂等特点.为了设计适合大数据分析的数据仓库架构,文中列举了大数据分析平台需要具备的几个重要特性,对当前的主流实现平台——并行数据库、MapReduce及基于两者的混合架构进行了分析归纳,指出了各自的优势及不足,同时也对各个方向的研究现状及作者在大数据分析方面的努力进行了介绍,对未来研究做了展望. 展开更多
关键词 大数据 大规模可扩展 MAPREDUCE 并行数据库 深度分析
在线阅读 下载PDF
一种并行XML数据库分片策略 被引量:7
4
作者 王国仁 汤南 +2 位作者 于亚新 孙冰 于戈 《软件学报》 EI CSCD 北大核心 2006年第4期770-781,共12页
主要研究XML文档的并行数据分片策略,以便能够并行处理XML查询.为了描述XML数据分片,提出了媒介节点的概念.一组媒介节点的集合可以将一棵XML数据树分割成一棵根树和一组子树的集合:根树将在所有站点中复制;而子树集合则可以根据用户查... 主要研究XML文档的并行数据分片策略,以便能够并行处理XML查询.为了描述XML数据分片,提出了媒介节点的概念.一组媒介节点的集合可以将一棵XML数据树分割成一棵根树和一组子树的集合:根树将在所有站点中复制;而子树集合则可以根据用户查询的工作负载被均匀地分片到各个站点中.对于同一棵XML数据树,会有很多种媒介节点的集合;而不同的媒介节点集合会产生不同的数据分片结果.然后,依据各个数据分片中的用户查询工作量是否均衡,来衡量一个分片的好坏.选择一组最佳的媒介节点集合是一个NP-hard问题.为了解决此问题,设计了一组启发式优化规则.基于这一思想,提出并实现了一种基于媒介节点的XML数据分片算法WIN(workload-awareintermediarynodesdataplacementstrategy).大量实验结果证明:WIN算法的性能要优于以往的并行XML数据分片策略. 展开更多
关键词 并行数据库 XML文档 工作负载 数据分片 媒介节点
在线阅读 下载PDF
并行数据库的改进Hash划分方法及并行Join算法 被引量:4
5
作者 陆丽娜 孟虹 +1 位作者 魏恒义 杨麦顺 《计算机研究与发展》 EI CSCD 北大核心 2000年第2期159-163,共5页
文中提出了Hash 划分的改进方法——IH 划分. IH划分为结点扩充时数据的重新划分提供了方便.在论述IH 划分的基础上,给出了基于该数据划分方法的并行Join 算法.利用已有的数据分布,文中提出的并行Join 算法提高... 文中提出了Hash 划分的改进方法——IH 划分. IH划分为结点扩充时数据的重新划分提供了方便.在论述IH 划分的基础上,给出了基于该数据划分方法的并行Join 算法.利用已有的数据分布,文中提出的并行Join 算法提高了算法的效率.最后,从理论上对以上并行算法的计算复杂性进行了分析. 展开更多
关键词 数据 并行数据库 数据划分 JOIN算法
在线阅读 下载PDF
大数据管理技术研究综述 被引量:14
6
作者 张滨 陈吉荣 乐嘉锦 《计算机应用与软件》 CSCD 北大核心 2014年第11期1-5,10,共6页
大数据具有规模大、深度大、宽度大、处理时间短、硬件系统普通化、软件系统开源化等特点。传统关系型数据库在对大数据进行操作时,系统性能严重下降。因此,大数据管理技术研究成为当前研究热点。分别从并行数据库,面向大数据处理的MapR... 大数据具有规模大、深度大、宽度大、处理时间短、硬件系统普通化、软件系统开源化等特点。传统关系型数据库在对大数据进行操作时,系统性能严重下降。因此,大数据管理技术研究成为当前研究热点。分别从并行数据库,面向大数据处理的MapReduce模型,NoSQL与数据库技术的对比以及MapReduce与数据库技术相结合四个方面,对国内外的研究发展状况进行分析和评述,最后展望了未来大数据研究发展方向。 展开更多
关键词 大数据 数据库 MAPREDUCE 并行数据库系统 非关系型数据库
在线阅读 下载PDF
基于共享模式的SaaS多租户数据划分机制研究 被引量:11
7
作者 李晓娜 李庆忠 +1 位作者 孔兰菊 庞成 《通信学报》 EI CSCD 北大核心 2012年第S1期110-120,共11页
对SaaS模式下,对共享模式的多租户数据在云中多节点环境的划分问题进行了研究,提出一种支持SaaS应用的多租户数据划分模型和算法。与目前主要面向分析型应用并且缺乏事务支持的分区技术和云数据库解决方案进行比较,理论分析和实验结果... 对SaaS模式下,对共享模式的多租户数据在云中多节点环境的划分问题进行了研究,提出一种支持SaaS应用的多租户数据划分模型和算法。与目前主要面向分析型应用并且缺乏事务支持的分区技术和云数据库解决方案进行比较,理论分析和实验结果同时表明,该划分机制能有效地实现云环境中系统规模动态扩展,同时最大限度地降低分布式事务代价。 展开更多
关键词 SAAS 多租户数据库 共享模式 数据划分
在线阅读 下载PDF
基于数据分区的DBSCAN算法 被引量:100
8
作者 周水庚 周傲英 曹晶 《计算机研究与发展》 EI CSCD 北大核心 2000年第10期1153-1159,共7页
数据聚类在数据挖掘、模式识别、图像处理和数据压缩等领域有着广泛的应用 .DBSCAN是一种基于密度的空间聚类算法 ,在处理空间数据时具有快速、有效处理噪声点和发现任意形状的聚类等优点 .但由于直接对数据库进行操作 ,在数据量大的时... 数据聚类在数据挖掘、模式识别、图像处理和数据压缩等领域有着广泛的应用 .DBSCAN是一种基于密度的空间聚类算法 ,在处理空间数据时具有快速、有效处理噪声点和发现任意形状的聚类等优点 .但由于直接对数据库进行操作 ,在数据量大的时候就需要较多的内存和 I/O开销 ;此外 ,当数据密度和聚类间的距离不均匀时聚类质量较差 .为此 ,在分析 DBSCAN算法不足的基础上 ,提出了一个基于数据分区的 DBSCAN算法 .测试结果表明新算法不仅提高了聚类速度 ,而且改善了聚类质量 . 展开更多
关键词 空间数据库 数据挖掘 数据分区 DBSCAN算法
在线阅读 下载PDF
基于MapReduce的关系型数据仓库并行查询 被引量:9
9
作者 师金钢 鲍玉斌 +1 位作者 冷芳玲 于戈 《东北大学学报(自然科学版)》 EI CAS CSCD 北大核心 2011年第5期626-629,共4页
针对MapReduce框架与传统关系型数据库兼容性不好的问题,提出了一种基于分块结构的分布式关系数据库ChunkDB.并对MapReduce架构进行了扩展设计,使ChunkDB与MapReduce有效结合,将MapReduce的扩展性、易操作性、高并行性与关系数据库的索... 针对MapReduce框架与传统关系型数据库兼容性不好的问题,提出了一种基于分块结构的分布式关系数据库ChunkDB.并对MapReduce架构进行了扩展设计,使ChunkDB与MapReduce有效结合,将MapReduce的扩展性、易操作性、高并行性与关系数据库的索引等查询优化优势相结合.实验证明基于MapReduce的ChunkDB数据库能够为数据仓库应用提供快速高效的并行查询. 展开更多
关键词 MAPREDUCE 数据仓库 并行计算 分布式数据库 查询优化
在线阅读 下载PDF
基于XML中间件的分布式数据库的数据分片策略 被引量:11
10
作者 赵君 张春海 李华 《计算机工程与设计》 CSCD 北大核心 2006年第3期466-468,共3页
XML技术由于其良好的数据描述能力,在数据库系统的数据交换中得到广泛应用。为了降低并行查询的困难程度和提高并行查询的准确度,提出一种基于XML的分布式数据交换中间件模型,给出了该模型的体系结构和功能定义,并根据此中间件讨论了一... XML技术由于其良好的数据描述能力,在数据库系统的数据交换中得到广泛应用。为了降低并行查询的困难程度和提高并行查询的准确度,提出一种基于XML的分布式数据交换中间件模型,给出了该模型的体系结构和功能定义,并根据此中间件讨论了一种分布式数据库的数据分片技术。 展开更多
关键词 XML DOM 分布式数据库 中间件 数据分片 DTD
在线阅读 下载PDF
基于NoSQL的RDF数据存储与查询技术综述 被引量:22
11
作者 王林彬 黎建辉 沈志宏 《计算机应用研究》 CSCD 北大核心 2015年第5期1281-1286,共6页
随着语义网的发展和RDF(resource description framework,资源描述框架)数据量的快速增长,利用NoSQL数据库存储和管理大规模RDF数据已经成为了当前的研究热点。介绍了No SQL数据库的种类划分和各类型特点,阐述了RDF数据在各类No SQL数... 随着语义网的发展和RDF(resource description framework,资源描述框架)数据量的快速增长,利用NoSQL数据库存储和管理大规模RDF数据已经成为了当前的研究热点。介绍了No SQL数据库的种类划分和各类型特点,阐述了RDF数据在各类No SQL数据库中存储结构设计和并行查询算法的研究现状,分析比较了不同方法的优缺点。最后,讨论了利用No SQL数据库管理RDF的优势,总结了现有研究的不足之处,并展望了未来的研究方向。 展开更多
关键词 资源描述框架 NOSQL数据库 数据模型 存储结构设计 RDF并行查询算法
在线阅读 下载PDF
并行XML数据库系统中数据分片策略的研究 被引量:6
12
作者 于亚新 王国仁 于戈 《计算机研究与发展》 EI CSCD 北大核心 2003年第10期1499-1508,共10页
数据分片策略是影响并行数据库系统性能的重要因素之一 着重探讨并行XML数据库系统中大规模XML文档的数据分片问题 ,提出与传统数据库分片策略不同的两种新的分片方法 :基于路径模式的路径实例平衡法 (PSPIB)和基于结点模式的结点轮循... 数据分片策略是影响并行数据库系统性能的重要因素之一 着重探讨并行XML数据库系统中大规模XML文档的数据分片问题 ,提出与传统数据库分片策略不同的两种新的分片方法 :基于路径模式的路径实例平衡法 (PSPIB)和基于结点模式的结点轮循法 (NSNRR) 前者的思想是析散DOM树中具有相同路径模式的路径实例 ,将其分配到不同站点 ;后者的思想是将DOM树中具有不同结点模式的元素结点以轮循方式析散到不同站点 ,而将具有相同结点模式的元素结点聚簇到同一站点 还介绍了这两种分片策略的实现 ,并给出了相应的基于RPE查询的性能测试。 展开更多
关键词 并行XML数据库 物理分片 RPE查询 析散
在线阅读 下载PDF
电子政务系统中的数据交换和共享服务平台设计 被引量:45
13
作者 张繁 蔡家楣 《计算机工程与应用》 CSCD 北大核心 2003年第7期226-229,共4页
该文提出了一种应用于电子政务系统的数据交换和共享服务平台。先给出通用逻辑结构设计,然后通过两个具体实例阐述其应用机制。
关键词 电子政务系统 数据交换 服务平台 设计 办公自动化系统
在线阅读 下载PDF
基于数据中心的企业应用系统整合平台架构的研究和设计 被引量:5
14
作者 王柯柯 崔英志 +1 位作者 黄贤英 黄丽丰 《西南大学学报(自然科学版)》 CAS CSCD 北大核心 2009年第11期129-132,共4页
讨论了数据中心的基本功能和设计原则,并以此为基础提出了面向企业的应用系统整合平台架构,详细分析了应用系统平台集群结构.该体系有助于提高企业信息化建设的水平、保障业务数据安全、构建一体化系统平台.
关键词 数据中心 系统集群 并行数据库
在线阅读 下载PDF
基于瓦片金字塔模型的海量空间数据快速分发方法 被引量:8
15
作者 殷君茹 侯瑞霞 +1 位作者 唐小明 罗鹏 《吉林大学学报(理学版)》 CAS CSCD 北大核心 2015年第6期1269-1274,共6页
针对分布式并行环境下海量空间数据的快速显示和浏览问题,提出一种基于分层、分专题的海量空间数据金字塔模型及基于数据库存储方案的瓦片数据快速分发方法.对比分析了瓦片数据在文件式管理和数据库管理两种模式下的存储机制和响应流程... 针对分布式并行环境下海量空间数据的快速显示和浏览问题,提出一种基于分层、分专题的海量空间数据金字塔模型及基于数据库存储方案的瓦片数据快速分发方法.对比分析了瓦片数据在文件式管理和数据库管理两种模式下的存储机制和响应流程,并以时间跨度59年的沙尘暴观测数据为例,验证了该方法不仅能有效地组织管理海量空间数据,实现高效数据互操作,而且在多用户并发访问时,能快速响应客户端请求. 展开更多
关键词 瓦片金字塔模型 海量空间数据 数据库 分布式并行环境
在线阅读 下载PDF
并行XML数据库系统的分片策略 被引量:3
16
作者 于亚新 王国仁 于戈 《东北大学学报(自然科学版)》 EI CAS CSCD 北大核心 2002年第12期1135-1138,共4页
讨论了并行XML数据库系统中的分片问题,并提出了两种物理分片策略:路径实例均衡法和节点轮循法·前者将DOM树中的路径实例集合析散以提高I/O并行性,后者以轮循方式析散具有不同tagname的对象节点,从而最小化查询代价·通过仿真... 讨论了并行XML数据库系统中的分片问题,并提出了两种物理分片策略:路径实例均衡法和节点轮循法·前者将DOM树中的路径实例集合析散以提高I/O并行性,后者以轮循方式析散具有不同tagname的对象节点,从而最小化查询代价·通过仿真试验对这两种分片方法进行了评价和验证· 展开更多
关键词 分片策略 XML 并行数据库 物理分片 析散 RPE查询 路径实例均衡法 节点轮循法
在线阅读 下载PDF
并行数据库系统的数据重组研究 被引量:3
17
作者 金树东 冯玉才 王元珍 《小型微型计算机系统》 EI CSCD 北大核心 1998年第3期28-33,共6页
数据倾斜对并行数据库系统性能的影响极大。本文提出解决初始数据倾斜的记录移动法 ,确定了数据平衡的记录移动法、负载平衡的记录移动法 ,及通常的重新划分法之间取舍的界线 ,并举例进行模拟研究。
关键词 并行数据库 数据划分 数据重组 数据库系统
在线阅读 下载PDF
基于预分区策略的装备数据分布式存储方法 被引量:11
18
作者 高健 魏峻 +3 位作者 许利杰 汪保龙 杨富学 黄骁飞 《计算机科学与探索》 CSCD 北大核心 2021年第1期96-108,共13页
随着传感器技术和计算机技术的发展,装备在研制生产过程中会产生大量的数据,这些数据是海量的、多源的和异构的,企业需要考虑如何将数据进行快速处理和存储管理,进而利用加工后的数据提升装备生产制造能力。对卫星、飞机等典型装备数据... 随着传感器技术和计算机技术的发展,装备在研制生产过程中会产生大量的数据,这些数据是海量的、多源的和异构的,企业需要考虑如何将数据进行快速处理和存储管理,进而利用加工后的数据提升装备生产制造能力。对卫星、飞机等典型装备数据进行了研究,提出了一种基于预分区策略的分布式数据存储方法。该方法研究HBase的预分区机制和装备数据模型特点,研究装备数据快速存储的影响因子,并给出了数据快速存储算法,使海量装备数据可以负载均衡地、快速地存储在HBase数据库里。最后,对模型的数据存储性能、负载均衡性、各类装备的适用性进行了评估试验。试验结果表明,该方法可以覆盖多种类型的装备数据,并在数据存储效率上有良好的表现。 展开更多
关键词 装备 数据存储 分布式列数据库 预分区策略
在线阅读 下载PDF
基于数据库划分的高效关联规则挖掘算法研究 被引量:7
19
作者 伊卫国 卫金茂 +1 位作者 王名扬 王兴通 《东北师大学报(自然科学版)》 CAS CSCD 北大核心 2004年第4期45-50,共6页
 在现有的关联规则改进算法的基础上,深入分析了经典算法的内涵,提出了不产生候选二项集的改进算法,而且减少了扫描数据库的大小.与Apri ori算法相比,在较大型的交易数据库中,效率明显提高.
关键词 数据挖掘 交易数据库 关联规则 数据库划分
在线阅读 下载PDF
云数据库中等宽直方图的分布式并行构造方法 被引量:6
20
作者 王阳 钟勇 +1 位作者 周渭博 杨观赐 《工程科学与技术》 EI CAS CSCD 北大核心 2018年第2期133-140,共8页
直方图能够直观描述数据分布,在数据库查询优化中起着重要作用。然而在分布式云数据库场景中,现有直方图构建方法存在并行资源利用率低,网络传输量较高的问题。针对该问题,基于关系型云数据库提出一种等宽直方图的分布式并行构造方法。... 直方图能够直观描述数据分布,在数据库查询优化中起着重要作用。然而在分布式云数据库场景中,现有直方图构建方法存在并行资源利用率低,网络传输量较高的问题。针对该问题,基于关系型云数据库提出一种等宽直方图的分布式并行构造方法。首先,根据集群中分布式存储的数据无关性,基于master-slave架构在直方图任务开始前由集群中请求发起节点对经RPC(remote procedure call)协议获取到的多个工作节点最值数据比较得到数据表在整个集群的全局最大值、最小值;然后,考虑到算法运行过程中数据传输量的优化,集群中工作节点对本地数据扫描、排序,划分至依据全局最值信息构建的直方图桶内,实现聚合子直方图的并行构建以提高集群计算资源利用率;最后,请求发起节点对并行构建的多个子直方图中边界值相等的桶频率值聚合得到全局直方图。算法利用分布式思想实现了关系型云数据库中直方图的构建,将计算任务划分成多个子任务并行执行,子直方图信息代替数据分片的传输大幅优化了网络带宽的负载。算法已应用于关系型云数据库内核以优化SQL语句执行路径的初始扫描开销、数据选择率等关键参数。人工合成数据与评分数据的实验结果证明,算法运行过程中的网络传输量与数据库表中元组个数无关,且具有良好的可拓展性。 展开更多
关键词 关系型云数据库 等宽直方图 数据分布 并行计算 网络传输量
在线阅读 下载PDF
上一页 1 2 5 下一页 到第
使用帮助 返回顶部