Sub-Join:面向闪存数据库的查询优化算法 被引量：9

1

作者 梁智超 周大 孟小峰 《计算机科学与探索》 CSCD 2010年第5期401-409,共9页

固态硬盘具有高速的随机读取速度、低功耗、体积小等特点,被认为将取代磁盘成为新一代的数据存储设备。但是闪存数据库的查询性能的提高却远小于固态硬盘相比于磁盘I/O性能的提高,其原因在于现有的数据库是基于磁盘设计的,不能充分发挥... 固态硬盘具有高速的随机读取速度、低功耗、体积小等特点,被认为将取代磁盘成为新一代的数据存储设备。但是闪存数据库的查询性能的提高却远小于固态硬盘相比于磁盘I/O性能的提高,其原因在于现有的数据库是基于磁盘设计的,不能充分发挥固态硬盘的高速性能。提出一种名为子连接(Sub-Join)的连接算法。首先将数据表的连接列和主键投影为新的子表,然后对子表进行接连操作,最后根据子表的连接结果再从原始数据表中回取查询结果。通过和开源数据库Oracle Berkeley DB的比较实验,结果表明子连接算法比原有算法的性能提高了40%～100%,充分说明了它的优越性。 展开更多

关键词 固态硬盘 闪存 闪存数据库 查询优化 子连接

在线阅读 下载PDF 职称材料

一种改进的并行连接算法Diag-Join及其性能分析

2

作者 庄毅 徐海力 《计算机工程》 CAS CSCD 北大核心 2004年第2期119-120,147,共3页

介绍了一种改进的并行连接算法:Diag-Join算法,并将它运用到并行环境中。实验表明,Diag-Join算法在内存足够时可以取得最好的性能,即使在内存较小的情况下,仍能得到令人满意的效果。

关键词 关系数据库 并行数据库 连接算法 索引 查询优化

在线阅读 下载PDF 职称材料

可扩展的流数据Join处理框架

3

作者 赛影辉 黄浩 《计算机应用与软件》 北大核心 2018年第4期33-43,共11页

在流数据查询过程中,join操作非常重要。单个输入流对上常有多流查询,导致了并发的数据join任务。这造成了更久的join有效时间(join window)和更大的数据流输入率,使得join操作的工作量增加。我们迫切需要一个通用(用途无关)且能高效处... 在流数据查询过程中,join操作非常重要。单个输入流对上常有多流查询,导致了并发的数据join任务。这造成了更久的join有效时间(join window)和更大的数据流输入率,使得join操作的工作量增加。我们迫切需要一个通用(用途无关)且能高效处理多并发join任务的流数据处理机制。为此提出一个可扩展的流数据join处理框架S2J,此框架采用了数据流导向的处理模型,并将整个join操作分解为适当个数的串联的join处理单元,同时采用基于元组块的信息传输协议减少信息传输中的过载现象。该框架能有效处理θ-join,并保证join操作的实时性和结果完整性。大量实验证明了该框架的高效性和有效性。 展开更多

关键词 连接操作 流数据 查询 分布式环境 优化

在线阅读 下载PDF 职称材料

基于学习排序的查询优化算法 被引量：1

4

作者 余阳 彭煜玮 《计算机科学》 北大核心 2025年第8期109-117,共9页

查询优化是关系型数据库中的关键环节。在传统的查询优化过程中,为了获得较优的执行计划,通常需要对查询中的连接和过滤操作进行基数估计。然而,基数估计存在不准确的问题,导致查询优化效果往往不尽如人意。目前,已有部分研究通过基于... 查询优化是关系型数据库中的关键环节。在传统的查询优化过程中,为了获得较优的执行计划,通常需要对查询中的连接和过滤操作进行基数估计。然而,基数估计存在不准确的问题,导致查询优化效果往往不尽如人意。目前,已有部分研究通过基于机器学习的方法改善基数估计问题并取得了一定进展。尽管这些方法在处理查询中数值类型的过滤谓词时表现较好,但对于其他复杂的过滤谓词效果不佳。为解决这一问题,文中提出了一种基于学习排序的查询优化算法。该算法能够为单一查询智能评估多个执行计划并排序,从而选择最佳计划执行。该查询优化算法通过迭代挖掘较优执行计划,并协同机器学习方法,最终筛选出最优计划。实验结果表明,该算法在常规数据集上的性能优于当前基于学习的查询优化算法,并且在复杂数据集中具有更加显著的优势。 展开更多

关键词 查询优化 计划生成 学习排序 数据库 连接顺序 连接类型 扫描类型

在线阅读 下载PDF 职称材料

基于机器学习的数据库多表连接顺序选择研究综述

5

作者 王浩 高锦涛 王杰 《计算机工程》 北大核心 2025年第7期31-46,共16页

多表连接顺序选择是指在进行查询优化时为查询语句中涉及的多个表选择最优的连接顺序以提升查询性能。在复杂查询中,不同的表连接顺序能够显著影响查询执行效率。在大数据时代,面对庞大的数据集、多样的应用环境以及复杂的查询语句,基... 多表连接顺序选择是指在进行查询优化时为查询语句中涉及的多个表选择最优的连接顺序以提升查询性能。在复杂查询中,不同的表连接顺序能够显著影响查询执行效率。在大数据时代,面对庞大的数据集、多样的应用环境以及复杂的查询语句,基于启发式规则的传统多表连接顺序算法无法根据环境动态适应和自我学习,缺乏泛化能力,因此选择次优的多表连接顺序,甚至会严重影响查询性能。随着机器学习技术的蓬勃发展,面向数据库的人工智能(AI4DB)技术逐渐引领查询优化领域。机器学习技术能够解决传统连接顺序选择算法存在的问题,在自我学习以及场景适应方面具有较好表现。首先介绍连接顺序的传统选择算法,挖掘其存在的问题,然后总结当前主流的针对多表连接的机器学习模型,并分别介绍它们的核心技术方案,在效果、可用场景等方面对它们进行横向对比,为该领域后续科研工作者提供有价值的参考。 展开更多

关键词 数据库 查询优化 机器学习 连接顺序 面向数据库的人工智能

在线阅读 下载PDF 职称材料

分布式空间数据分片与跨边界拓扑连接优化方法 被引量：12

6

作者 朱欣焰 周春辉 +1 位作者 呙维 夏宇 《软件学报》 EI CSCD 北大核心 2011年第2期269-284,共16页

研究分布式空间数据库(distributed spatial database,简称DSDB)中数据按区域分片时的跨边界片段拓扑连接查询问题,并提出相应的优化方法.首先研究了分布式环境下的空间数据的分片与分布,提出了空间数据分片的扩展原则:空间聚集性、空... 研究分布式空间数据库(distributed spatial database,简称DSDB)中数据按区域分片时的跨边界片段拓扑连接查询问题,并提出相应的优化方法.首先研究了分布式环境下的空间数据的分片与分布,提出了空间数据分片的扩展原则:空间聚集性、空间对象的不分割性、逻辑无缝保持性.然后,将区域分割分片环境下的片段连接分为跨边界和非跨边界两类;同时,将拓扑关系分为两类,重点研究跨边界的两类片段拓扑连接.提出了跨边界空间片段拓扑连接优化的两个定理,并给出了证明.以此为基础,给出了跨边界空间拓扑连接优化规则,包括连接去除规则和连接优化转化规则.最后设计了详细的实验,对自然连接策略、半连接策略以及所提出的连接策略进行效率比较,结果表明,所提出的方法对跨边界连接优化有明显优势.因此,所提出的理论和方法可以用于分布式跨边界拓扑关系查询的优化. 展开更多

关键词 空间数据库 区域分片 跨边界 拓扑连接 分布式查询 优化

在线阅读 下载PDF 职称材料

基于遗传算法的分布式数据库查询优化研究 被引量：23

7

作者 帅训波 马书南 +1 位作者 周相广 龚安 《小型微型计算机系统》 CSCD 北大核心 2009年第8期1600-1604,共5页

在收益半连接研究基础之上,本文提出一种新的查询执行计划代价模型,它包括关系副本选择、查询多连接次序、操作站点的选择、数据的传输及数据局部处理等因素,准确地表示了分布式数据库查询执行代价,并且给出了解决基于此代价模型查询优... 在收益半连接研究基础之上,本文提出一种新的查询执行计划代价模型,它包括关系副本选择、查询多连接次序、操作站点的选择、数据的传输及数据局部处理等因素,准确地表示了分布式数据库查询执行代价,并且给出了解决基于此代价模型查询优化问题的遗传算法,实验结果表明,该算法有较好的寻优效果,更具有实际意义. 展开更多

关键词 分布式数据库 查询优化 代价模型 遗传算法

在线阅读 下载PDF 职称材料

异构分布式数据库系统集成的研究与实现 被引量：35

8

作者 胡彬华 李晓 梁剑 《计算机应用研究》 CSCD 北大核心 2002年第10期67-70,共4页

介绍了异构分布式数据库系统集成的现状、主要的技术问题 ;并介绍了异构分布式数据库系统———UPHDDB的分析。

关键词 异构分布式数据库系统 集成 全局数据字典 查询优化 ODBC

在线阅读 下载PDF 职称材料

一种分布式数据库多元连接查询优化算法及改进 被引量：25

9

作者 胡枫 陶世群 《计算机工程与应用》 CSCD 北大核心 2001年第16期125-127,共3页

论文对于分布式数据库中的多元连接查询提出了一种优化算法。该算法产生的操作序列具有全局优化特征。在远程网中，采用最小生成树算法，生成最佳的连接序对能使得总的代价达到最小。而在局域网中，采用改进的最小生成树算法，生成尽可... 论文对于分布式数据库中的多元连接查询提出了一种优化算法。该算法产生的操作序列具有全局优化特征。在远程网中，采用最小生成树算法，生成最佳的连接序对能使得总的代价达到最小。而在局域网中，采用改进的最小生成树算法，生成尽可能多的并行连接序对，最大程度地应用并行性，使得响应时间最小。 展开更多

关键词 分布式数据库 多元连接 查询优化 最小生成树 并行性 算法

在线阅读 下载PDF 职称材料

校园网格环境下异构数据库的集成与分布式查询 被引量：7

10

作者 蔡红云 张建勋 +1 位作者 田俊峰 何欣枫 《广西师范大学学报（自然科学版）》 CAS 北大核心 2007年第4期298-301,共4页

针对校园数据网格的分布式异构数据库环境,提出了一种基于网格服务的异构数据库访问和集成方法。该系统为用户提供一致的虚拟数据视图和分布式数据查询支持。在分析和研究现有分布式数据库查询技术的基础上,介绍了一种适用于网格环境下... 针对校园数据网格的分布式异构数据库环境,提出了一种基于网格服务的异构数据库访问和集成方法。该系统为用户提供一致的虚拟数据视图和分布式数据查询支持。在分析和研究现有分布式数据库查询技术的基础上,介绍了一种适用于网格环境下海量数据的连接操作算法,算法依据分布式数据库的固有并行性,利用数据划分来提高查询的并行处理程度,以改进响应时间。理论分析表明,该算法在减少网络通信开销和降低响应时间方面具有较好的性能。 展开更多

关键词 分布式查询 数据网格 数据库集成 连接操作

在线阅读 下载PDF 职称材料

一种分布式数据库查询优化算法 被引量：10

11

作者 钟武 胡守仁 《计算机学报》 EI CSCD 北大核心 1997年第11期1024-1033,共10页

Ｃｈｅｎ和Ｙｕ提出了一种新的等联接操作结果估算模型，借助于它来估算ｊｏｉｎ缩减器带来的收益．本文在此基础上分析了收益之和与ｊｏｉｎ缩减器执行次序的关系，提出了复杂度为Ｏ（ｎ２）的优化算法．该算法除考虑采用局部收益最大... Ｃｈｅｎ和Ｙｕ提出了一种新的等联接操作结果估算模型，借助于它来估算ｊｏｉｎ缩减器带来的收益．本文在此基础上分析了收益之和与ｊｏｉｎ缩减器执行次序的关系，提出了复杂度为Ｏ（ｎ２）的优化算法．该算法除考虑采用局部收益最大的ｊｏｉｎ操作做为首选操作外，还考虑了算法产生的操作序列在一定的条件下具有全局上的优化特征：任意两个相邻ｊｏｉｎ操作构成的子序列是最优的． 展开更多

关键词 分布式数据库 join缩减器 查询优化 算法 数据库

在线阅读 下载PDF 职称材料

半连接查询优化算法的研究 被引量：5

12

作者 仝武宁 冉崇善 李宏斌 《计算机工程与设计》 CSCD 北大核心 2011年第3期972-975,共4页

为了提高分布式数据库管理系统的查询效率,分析了分布式数据库管理系统的特点,找出了影响分布式数据库管理系统查询效率的关键因素,讨论了直接连接查询的常见策略和半连接查询的原理、实现方法以及所花费的传输代价,最后结合分布式数据... 为了提高分布式数据库管理系统的查询效率,分析了分布式数据库管理系统的特点,找出了影响分布式数据库管理系统查询效率的关键因素,讨论了直接连接查询的常见策略和半连接查询的原理、实现方法以及所花费的传输代价,最后结合分布式数据库管理系统的具体实例提出了一种半连接查询策略。改进后的半连接查询策略优化了连接方案,降低了数据传输过程的成本,缩短了查询处理的响应时间,提高了查询操作的效率。 展开更多

关键词 分布式数据库 分布式查询 连接操作 半连接操作 查询优化

在线阅读 下载PDF 职称材料

基于MapReduce的关系型数据仓库并行查询 被引量：9

13

作者 师金钢 鲍玉斌 +1 位作者 冷芳玲 于戈 《东北大学学报（自然科学版）》 EI CAS CSCD 北大核心 2011年第5期626-629,共4页

针对MapReduce框架与传统关系型数据库兼容性不好的问题,提出了一种基于分块结构的分布式关系数据库ChunkDB.并对MapReduce架构进行了扩展设计,使ChunkDB与MapReduce有效结合,将MapReduce的扩展性、易操作性、高并行性与关系数据库的索... 针对MapReduce框架与传统关系型数据库兼容性不好的问题,提出了一种基于分块结构的分布式关系数据库ChunkDB.并对MapReduce架构进行了扩展设计,使ChunkDB与MapReduce有效结合,将MapReduce的扩展性、易操作性、高并行性与关系数据库的索引等查询优化优势相结合.实验证明基于MapReduce的ChunkDB数据库能够为数据仓库应用提供快速高效的并行查询. 展开更多

关键词 MAPREDUCE 数据仓库 并行计算 分布式数据库 查询优化

在线阅读 下载PDF 职称材料

基于等价变换的分布式查询优化方法研究 被引量：10

14

作者 陈波 高秀娥 陈来杰 《计算机工程与设计》 CSCD 北大核心 2006年第3期390-392,共3页

分析了分布式数据库的查询准则、代价估算及分布式查询的层次结构,并利用关系操作与SQL描述存在对应关系的特点,将分布式查询转换关系代数表达式,对关系代数表达式进行等价变换实现查询的优化,最后以实例对基于关系代数等价变换的分布... 分析了分布式数据库的查询准则、代价估算及分布式查询的层次结构,并利用关系操作与SQL描述存在对应关系的特点,将分布式查询转换关系代数表达式,对关系代数表达式进行等价变换实现查询的优化,最后以实例对基于关系代数等价变换的分布式数据库查询优化方法进行验证。 展开更多

关键词 关系代数 等价变换 分布式数据库 查询优化 SQL

在线阅读 下载PDF 职称材料

基于Greenplum数据库的查询优化 被引量：6

15

作者 邹承明 谢义 吴佩 《计算机应用》 CSCD 北大核心 2018年第2期478-482,共5页

针对分布式数据库查询效率随着数据规模的增大而降低的问题,以Greenplum分布式数据库为研究对象,从优化查询路径的角度提出一个基于代价的最优查询计划生成方法。首先,该方法设计一种有效的代价模型来估算查询代价;然后,采用并行最大最... 针对分布式数据库查询效率随着数据规模的增大而降低的问题,以Greenplum分布式数据库为研究对象,从优化查询路径的角度提出一个基于代价的最优查询计划生成方法。首先,该方法设计一种有效的代价模型来估算查询代价;然后,采用并行最大最小蚁群算法来搜索具有最小查询代价的连接顺序,即最优连接顺序;最后,根据Greenplum数据库对查询计划中不同操作的默认最优选择得到最优查询计划。采用该方法在自主生成的数据集与事务处理性能理事会测试基准(TPC-H)的标准数据集上进行了多组实验。实验结果表明,所提出的优化方法能有效地搜索出最优解,获得最优的查询计划,从而提升Greenplum数据库的查询效率。 展开更多

关键词 分布式数据库 Greenplum数据库 最优查询计划 代价模型 最优连接顺序

在线阅读 下载PDF 职称材料

基于遗传算法的分布式异构数据库的查询优化 被引量：4

16

作者 芦金石 李红星 李晓 《计算机应用与软件》 CSCD 北大核心 2003年第11期41-42,60,共3页

对于分布式异构数据库,查询优化问题是其核心问题。本文用基于位、值结构树型编码的遗传算法对分布式异构数据 库进行查询优化,取得了很好的效果。

关键词 分布式异构数据库 查询优化 遗传算法 数据元字典

在线阅读 下载PDF 职称材料

分布式数据库在商业供应链系统中的应用 被引量：5

17

作者 王雪立 关永 韩相军 《计算机工程与设计》 CSCD 北大核心 2006年第17期3299-3301,共3页

随着网络中数据库应用的发展,使得分布式数据库的应用领域得到快速的扩展。针对商业流通企业大规模、分散式经营以及集团化管理的模式,提出了在商业供应链系统中采用分布式数据库的结构设计方案,对供应链系统的数据库体系进行了分析,对... 随着网络中数据库应用的发展,使得分布式数据库的应用领域得到快速的扩展。针对商业流通企业大规模、分散式经营以及集团化管理的模式,提出了在商业供应链系统中采用分布式数据库的结构设计方案,对供应链系统的数据库体系进行了分析,对在数据库设计过程中的一些关键问题进行探讨并给出了解决方法。以Oracle9i数据库系统为例,介绍了采用增量复制、分组、半连接技术,进行数据复制、解决数据冲突以及进行查询优化的实现方法。 展开更多

关键词 分布式数据库 供应链管理系统 数据库复制 数据冲突 查询优化

在线阅读 下载PDF 职称材料

基于并行遗传-最大最小蚁群算法的分布式数据库查询优化 被引量：20

18

作者 林基明 班文娇 +1 位作者 王俊义 童记超 《计算机应用》 CSCD 北大核心 2016年第3期675-680,共6页

针对分布式数据库中关系及其分片多副本、多站点存储的特性会增加查询搜索空间及时间复杂度,从而降低查询执行计划(QEP)搜索效率的问题,提出一种基于分片分配选择器(FSS)设计准则的并行遗传-最大最小蚁群算法(PGA-MMAS)。首先,结合实际... 针对分布式数据库中关系及其分片多副本、多站点存储的特性会增加查询搜索空间及时间复杂度,从而降低查询执行计划(QEP)搜索效率的问题,提出一种基于分片分配选择器(FSS)设计准则的并行遗传-最大最小蚁群算法(PGA-MMAS)。首先,结合实际的企业分布式信息管理系统设计FSS,启发式选择较优关系副本,以减少查询连接代价并缩小PGA-MMAS的搜索空间;然后结合遗传算法(GA)收敛较快的优势,对最终连接关系进行编码和并行遗传操作,得到一组相对较优的QEP,并将其转化为并行最大最小蚁群算法(MMAS)的初始信息素分布,从而使其更快速地搜索到全局最优QEP;最后分别在不同关系数情况下对算法进行仿真实验,结果表明,基于FSS的PGA-MMAS搜索最优QEP的效率高于原GA以及基于FFS的GA、MMAS和GA-MMAS;经实际工程应用验证,所提算法搜索出的高质量QEP可以提高分布式数据库多关系查询效率。 展开更多

关键词 分布式数据库 遗传算法 最大最小蚁群算法 最优查询执行计划 并行

在线阅读 下载PDF 职称材料

LNFDBS的查询优化算法及联邦条件下的考虑 被引量：2

19

作者 姚卿达 何昕 +1 位作者 黄晓春 李志方 《软件学报》 EI CSCD 北大核心 1998年第6期453-457,共5页

查询是一个数据库管理系统的核心功能，一个功能强大而又高效的查询算法的设计是一个成功的数据库系统的关键．文章提出了一个数据库查询优化算法，并实现于联邦数据库系统ＬＮＦＤＢＳ（Ｌｉｎｇｎａｎｆｅｄｅｒａｌｄａｔａｂａｓｅ... 查询是一个数据库管理系统的核心功能，一个功能强大而又高效的查询算法的设计是一个成功的数据库系统的关键．文章提出了一个数据库查询优化算法，并实现于联邦数据库系统ＬＮＦＤＢＳ（Ｌｉｎｇｎａｎｆｅｄｅｒａｌｄａｔａｂａｓｅｓｙｓｔｅｍ）．另外。 展开更多

关键词 查询优化算法 联邦数据库系统 LNFDBS

在线阅读 下载PDF 职称材料

基于机群环境的并行多连接存储分布技术 被引量：1

20

作者 玄萍 李建中 +1 位作者 李金宝 杨艳 《计算机工程与应用》 CSCD 北大核心 2006年第2期163-166,共4页

基于机群系统的数据存储分布是并行数据库领域的一个重要问题。已有的研究工作多集中在基于单个关系的存储分布,不能有效支持复杂多连接查询处理。文章提出了多个关系整体分布方法,给出分布属性选择和处理机分配算法。实验结果表明,算... 基于机群系统的数据存储分布是并行数据库领域的一个重要问题。已有的研究工作多集中在基于单个关系的存储分布,不能有效支持复杂多连接查询处理。文章提出了多个关系整体分布方法,给出分布属性选择和处理机分配算法。实验结果表明,算法具有良好的性能,有助于提高并行多连接查询效率。 展开更多

关键词 存储分布 机群 多连接查询 并行数据库

在线阅读 下载PDF 职称材料