期刊文献+
共找到11篇文章
< 1 >
每页显示 20 50 100
基于共享的MapReduce多查询优化技术 被引量:7
1
作者 赵保学 李战怀 +3 位作者 陈群 潘巍 姜涛 金健 《计算机应用研究》 CSCD 北大核心 2013年第5期1405-1409,共5页
为解决MapReduce处理多个查询时效率低下的问题,提出了一种基于查询共享的MapReduce查询优化方法——ShareOpt优化。通过分析所有查询的操作模式,找出其中共享的子查询部分,并根据子查询的执行顺序构造执行计划有向图(DAG),最终确定一... 为解决MapReduce处理多个查询时效率低下的问题,提出了一种基于查询共享的MapReduce查询优化方法——ShareOpt优化。通过分析所有查询的操作模式,找出其中共享的子查询部分,并根据子查询的执行顺序构造执行计划有向图(DAG),最终确定一组查询的整体执行计划。通过与Hive和Pig的对比,验证了该方法能够在保证准确性的情况下有效地减少执行步数,提高查询执行的效率。 展开更多
关键词 查询优化 MAPREDUCE 查询共享 执行计划
在线阅读 下载PDF
基于并行遗传-最大最小蚁群算法的分布式数据库查询优化 被引量:20
2
作者 林基明 班文娇 +1 位作者 王俊义 童记超 《计算机应用》 CSCD 北大核心 2016年第3期675-680,共6页
针对分布式数据库中关系及其分片多副本、多站点存储的特性会增加查询搜索空间及时间复杂度,从而降低查询执行计划(QEP)搜索效率的问题,提出一种基于分片分配选择器(FSS)设计准则的并行遗传-最大最小蚁群算法(PGA-MMAS)。首先,结合实际... 针对分布式数据库中关系及其分片多副本、多站点存储的特性会增加查询搜索空间及时间复杂度,从而降低查询执行计划(QEP)搜索效率的问题,提出一种基于分片分配选择器(FSS)设计准则的并行遗传-最大最小蚁群算法(PGA-MMAS)。首先,结合实际的企业分布式信息管理系统设计FSS,启发式选择较优关系副本,以减少查询连接代价并缩小PGA-MMAS的搜索空间;然后结合遗传算法(GA)收敛较快的优势,对最终连接关系进行编码和并行遗传操作,得到一组相对较优的QEP,并将其转化为并行最大最小蚁群算法(MMAS)的初始信息素分布,从而使其更快速地搜索到全局最优QEP;最后分别在不同关系数情况下对算法进行仿真实验,结果表明,基于FSS的PGA-MMAS搜索最优QEP的效率高于原GA以及基于FFS的GA、MMAS和GA-MMAS;经实际工程应用验证,所提算法搜索出的高质量QEP可以提高分布式数据库多关系查询效率。 展开更多
关键词 分布式数据库 遗传算法 最大最小蚁群算法 最优查询执行计划 并行
在线阅读 下载PDF
基于改进蚁群算法的数据仓库多连接查询优化 被引量:3
3
作者 赵鹏 王守军 龚云 《计算机工程》 CAS CSCD 2012年第1期168-170,173,共4页
传统蚁群算法在解决数据仓库查询优化问题时存在过早收敛、收敛速度慢的缺点。为此,对传统蚁群算法进行改进,将伪随机状态转移规则引入最大最小蚁群系统,在每次迭代结束后进行迭代局部搜索。实验结果表明,改进算法在多表连接查询优化中... 传统蚁群算法在解决数据仓库查询优化问题时存在过早收敛、收敛速度慢的缺点。为此,对传统蚁群算法进行改进,将伪随机状态转移规则引入最大最小蚁群系统,在每次迭代结束后进行迭代局部搜索。实验结果表明,改进算法在多表连接查询优化中具有较快的收敛速度,能提高最优解的质量。 展开更多
关键词 蚁群算法 迭代局部搜索 数据仓库 多连接查询优化 查询执行计划
在线阅读 下载PDF
用于多表连接优化的深度强化学习嵌入表示 被引量:2
4
作者 王江晴 王雪言 +2 位作者 孙翀 帖军 尹帆 《计算机工程与设计》 北大核心 2023年第2期576-581,共6页
针对数据库查询优化中多表连接优化问题,任务是找到一个合适的连接顺序使查询执行计划最优,为此提出一种查询语句的嵌入表示方法SmartEncoder。通过优化查询语句中多表连接的嵌入表示信息,得到更丰富的关于连接的信息,将多表连接顺序选... 针对数据库查询优化中多表连接优化问题,任务是找到一个合适的连接顺序使查询执行计划最优,为此提出一种查询语句的嵌入表示方法SmartEncoder。通过优化查询语句中多表连接的嵌入表示信息,得到更丰富的关于连接的信息,将多表连接顺序选择优化建模为深度强化学习问题,根据动作的概率分布选择连接,从过去的经验中学习,生成更好的查询执行计划。在Join Order Benchmark数据集上的实验结果表明,SmartEncoder能够有效提高查询的效率。 展开更多
关键词 查询优化 多表连接优化 连接顺序 执行计划 嵌入表示 深度强化学习 查询效率
在线阅读 下载PDF
基于丛生树的片段式并行查询优化技术研究
5
作者 李庆华 张捷 茹颜博 《计算机工程与应用》 CSCD 北大核心 1999年第6期10-11,15,共3页
该文以丛生树模型为基础,提出了一种片段式查询执行计划。该执行计划将查询树划分成多个按流水线方式执行的片段,各片段依次执行。该执行计划可以减少中间结果的I/0次数,更充分地利用内存资源。文中还举例说明了计划的执行过程。
关键词 MJ查询 并行查询 优化 丛生树 数据库
在线阅读 下载PDF
基于LBT树的并行数据库查询优化方法
6
作者 许向阳 高东升 蔡季萍 《小型微型计算机系统》 CSCD 北大核心 2003年第10期1772-1775,共4页
本文提出了一种基于 L BT(L inear- Bushy- Tree)树的查询优化方法 ,它是对基于浓密树 (Bushy- Tree)查询优化方法的一种改进 .这种优化方法大大地缩减了查询执行计划空间 ,确保了并行查询执行计划的优化性 .这种优化方法已经在我们自... 本文提出了一种基于 L BT(L inear- Bushy- Tree)树的查询优化方法 ,它是对基于浓密树 (Bushy- Tree)查询优化方法的一种改进 .这种优化方法大大地缩减了查询执行计划空间 ,确保了并行查询执行计划的优化性 .这种优化方法已经在我们自主研制的并行数据库管理系统 PDBMS[1 ,4 ] 展开更多
关键词 并行数据库 LBT树 并行查询执行计划空间 并行数据库查询优化
在线阅读 下载PDF
通用结构下的位置相关丛生树模型
7
作者 阳国贵 《计算机工程》 CAS CSCD 北大核心 1999年第2期11-13,共3页
在并行查询处理研究中,人们提出了三种基本的查询规划树表示形式,即左深树、右深树和丛生树形式。丛生树由于其搜索空间巨大,实际应用中往往需要对其搜索空间加以某种限定。结合通用并行结构的特点,利用数据位置相关特性首次提出了... 在并行查询处理研究中,人们提出了三种基本的查询规划树表示形式,即左深树、右深树和丛生树形式。丛生树由于其搜索空间巨大,实际应用中往往需要对其搜索空间加以某种限定。结合通用并行结构的特点,利用数据位置相关特性首次提出了一种新的受限丛生树结构,即位置相关丛生树。 展开更多
关键词 并行计算机 体系结构 丛生树模型 并行数据库
在线阅读 下载PDF
DB2数据库查询优化策略 被引量:3
8
作者 王晓东 曹庆华 王卓 《现代电子技术》 2006年第10期92-95,98,共5页
数据库的查询优化是改善应用程序性能的重要手段。通过分析IBM DB2数据库系统的最优化处理器的工作原理,对查询性能影响较大的统计信息更新、索引建立、SQL查询语句构造3个方面提出具体优化建议。建立了一套完整的测试方案,对每一条优... 数据库的查询优化是改善应用程序性能的重要手段。通过分析IBM DB2数据库系统的最优化处理器的工作原理,对查询性能影响较大的统计信息更新、索引建立、SQL查询语句构造3个方面提出具体优化建议。建立了一套完整的测试方案,对每一条优化建议都使用具体SQL语句进行严格的验证。开发者要注意分析查询语句的时间开销和空间开销,才能写出较优的查询语句。 展开更多
关键词 最优化处理器 统计信息 索引 执行计划 查询优化
在线阅读 下载PDF
并行查询下查询执行计划的选择 被引量:6
9
作者 裴泽锋 牛保宁 +1 位作者 张锦文 Amjad Muhammad 《计算机应用》 CSCD 北大核心 2020年第2期420-425,共6页
查询是数据库系统的主要负载,其效率决定了数据库性能的好坏。一个查询存在多种执行计划,当前,查询优化器只能按照数据库系统的配置参数,静态地为查询选择一个较优的执行计划。并行查询间存在复杂多变的资源争用,很难通过配置参数准确反... 查询是数据库系统的主要负载,其效率决定了数据库性能的好坏。一个查询存在多种执行计划,当前,查询优化器只能按照数据库系统的配置参数,静态地为查询选择一个较优的执行计划。并行查询间存在复杂多变的资源争用,很难通过配置参数准确反映,而且同一执行计划在不同情景下的效率并不一致。并行查询下执行计划的选择需考虑查询间的相互影响--查询交互。基于此,提出了一种在并行查询下度量查询受查询交互影响大小的标准QIs。针对并行查询下查询执行计划的选择,还提出了一种动态地为查询选择执行计划的方法TRating,该方法通过比较查询组合中按不同执行计划执行的查询受查询交互影响的大小,选择受查询交互影响较小的执行计划作为该查询的较优执行计划。实验结果表明,TRating方法为查询选择较优执行计划的准确率达61%,相比查询优化器提高了25%;而且在为查询选择次优执行计划时,其准确率也高达69%。 展开更多
关键词 并行查询 查询交互 查询优化器 查询执行计划 较优执行计划
在线阅读 下载PDF
基于增量局部加权学习的查询模板自适应基数估计
10
作者 冯杰明 李战怀 +1 位作者 陈群 陈肇强 《计算机学报》 EI CAS CSCD 北大核心 2022年第1期17-34,共18页
基数估计是基于代价查询优化的关键步骤,已经被研究了近40年.传统方法如基于直方图的方法在一些假设如属性相互独立、相交的表满足包含原则等成立时能基本满足准确性要求.然而,在真实运行环境中这些假设往往不再成立,可能导致基数估计... 基数估计是基于代价查询优化的关键步骤,已经被研究了近40年.传统方法如基于直方图的方法在一些假设如属性相互独立、相交的表满足包含原则等成立时能基本满足准确性要求.然而,在真实运行环境中这些假设往往不再成立,可能导致基数估计严重错误进而造成查询延迟.近年来,随着数据的增多和新硬件的发展,使用机器学习方法来提高基数估计的质量成为了可能.由于基于代价的查询优化主要根据查询中子执行计划的估计代价来选择最优的查询执行计划,因此,有一些最近的工作针对一些关键的子执行计划模板建立相应的局部学习模型,取得了不错的进展.但是,这些局部模型主要用于查询(查询空间)分布和数据(数据库数据)分布不变的场景,而在真实运行环境中,它们往往不断地发生变化,限制了这些估计技术的有效性.在本文中,我们针对子执行计划模板在查询分布和数据分布不断变化的环境下提出了一种使用增量的局部加权学习进行自适应基数估计的方法.具体地说,首先抽取子执行计划的语义和统计特征使之能代表当前查询和数据的特性,然后使用增量的局部加权学习模型根据查询分布和数据分布的变化进行自适应的学习,实现基数估计.最后,通过对比实验验证了本文方法的有效性. 展开更多
关键词 基数估计 查询优化 执行计划 自适应学习 增量学习 局部加权学习
在线阅读 下载PDF
使用图神经网络选择并行查询的执行计划 被引量:1
11
作者 陶温霞 牛保宁 柳浩楠 《计算机工程与应用》 CSCD 北大核心 2023年第13期259-265,共7页
查询作为数据库系统(database system,DBS)占比最大的操作,其效率在很大程度上影响着DBS的性能,为查询选择一个较优的执行计划、提高查询效率是提高DBS效率的关键。查询执行受到其他查询的影响产生查询交互(query interaction,QI),是查... 查询作为数据库系统(database system,DBS)占比最大的操作,其效率在很大程度上影响着DBS的性能,为查询选择一个较优的执行计划、提高查询效率是提高DBS效率的关键。查询执行受到其他查询的影响产生查询交互(query interaction,QI),是查询优化器难以为并行查询选择较优执行计划的主要因素。提出一种以操作为单位表示查询执行计划的编码方式(features of plans based on operator,FPO),并用操作之间的数据共享关系以及资源竞争关系反映QI;在此基础上,提出基于图神经网络的查询执行计划选择模型(plan selection based on graph,PSG)。PSG将操作作为节点,操作特征作为节点特征,操作间的关系作为边,生成异构图,作为模型的输入;考虑到操作间的关系有多种、作用不同,使用关系图卷积网络(relational graph convolutional network,RGCN)聚合信息,得到查询组合的图表示,提取其QI,通过全连接层(fully connected layers,FC),为查询选择执行计划。在PostgreSQL上的实验表明,PSG的平均准确率比查询优化器提高了47.3个百分点。 展开更多
关键词 查询优化 查询交互 选择执行计划 图神经网络
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部