结合重写与数据并行的XQuery查询优化

1

作者 陈荣鑫 《陕西科技大学学报（自然科学版）》 2011年第6期75-79,93,共6页

XQuery查询优化是提升查询引擎性能的关键途径.根据XQuery语言特点和多数据源的查询需求,通过在XQuery语言层的重写优化获取高效的查询计划;为适应多核计算环境,通过中间语言层的并行原语实现数据并行处理,进一步提升系统性能.开发查询... XQuery查询优化是提升查询引擎性能的关键途径.根据XQuery语言特点和多数据源的查询需求,通过在XQuery语言层的重写优化获取高效的查询计划;为适应多核计算环境,通过中间语言层的并行原语实现数据并行处理,进一步提升系统性能.开发查询引擎原型系统,实例测试表明,该优化方法能有效提升XQuery查询性能. 展开更多

关键词 Xquery语言 查询优化 查询重写 数据并行

在线阅读 下载PDF 职称材料

面向分布式数据库的算子并行优化策略 被引量：3

2

作者 刘文洁 吕靖超 《西北工业大学学报》 EI CAS CSCD 北大核心 2024年第3期453-459,共7页

随着网络技术的不断发展,数据规模呈现爆发式增长,使得传统的单机数据库逐步被分布式数据库所取代。分布式数据库采用节点协同工作方式解决了大规模数据存储问题,但由于增加了节点间通信开销,查询效率却不如单机数据库。分布式架构下,... 随着网络技术的不断发展,数据规模呈现爆发式增长,使得传统的单机数据库逐步被分布式数据库所取代。分布式数据库采用节点协同工作方式解决了大规模数据存储问题,但由于增加了节点间通信开销,查询效率却不如单机数据库。分布式架构下,存储节点的数据仅用作多备份的冗余,为系统故障时提供数据恢复,并未被利用起来改善查询效率。针对上述问题,提出了一种面向分布式数据库的算子并行优化策略,通过对关键物理算子进行拆分,将拆分后的子请求均匀分配到存储层多个节点,由多个节点并行处理,从而减少查询响应时间。上述策略已经在分布式数据库CBase上进行了应用,实验表明,提出的并行优化策略可显著缩短SQL请求查询时间,并提高系统资源利用率。 展开更多

关键词 分布式数据库 并行查询 查询优化 负载均衡 数据分区

在线阅读 下载PDF 职称材料

基于MapReduce的关系型数据仓库并行查询 被引量：9

3

作者 师金钢 鲍玉斌 +1 位作者 冷芳玲 于戈 《东北大学学报（自然科学版）》 EI CAS CSCD 北大核心 2011年第5期626-629,共4页

针对MapReduce框架与传统关系型数据库兼容性不好的问题,提出了一种基于分块结构的分布式关系数据库ChunkDB.并对MapReduce架构进行了扩展设计,使ChunkDB与MapReduce有效结合,将MapReduce的扩展性、易操作性、高并行性与关系数据库的索... 针对MapReduce框架与传统关系型数据库兼容性不好的问题,提出了一种基于分块结构的分布式关系数据库ChunkDB.并对MapReduce架构进行了扩展设计,使ChunkDB与MapReduce有效结合,将MapReduce的扩展性、易操作性、高并行性与关系数据库的索引等查询优化优势相结合.实验证明基于MapReduce的ChunkDB数据库能够为数据仓库应用提供快速高效的并行查询. 展开更多

关键词 MAPREDUCE 数据仓库 并行计算 分布式数据库 查询优化

在线阅读 下载PDF 职称材料

基于统计方法的Hive数据仓库查询优化实现 被引量：16

4

作者 王有为 王伟平 孟丹 《计算机研究与发展》 EI CSCD 北大核心 2015年第6期1452-1462,共11页

Map/Reduce是海量离线数据分析中广泛应用的并行编程模型。Hive数据仓库基于Map/Reduce实现了查询处理引擎,然而Map/Reduce框架在处理偏斜数据时会出现工作负载分布不均的问题。均衡计算模型（computation balanced model,CBM）,其核心... Map/Reduce是海量离线数据分析中广泛应用的并行编程模型。Hive数据仓库基于Map/Reduce实现了查询处理引擎,然而Map/Reduce框架在处理偏斜数据时会出现工作负载分布不均的问题。均衡计算模型（computation balanced model,CBM）,其核心思想是通过数据分布特征指导查询计划优化。相应研究贡献包括2部分,首先针对应用极广的GroupBy查询和Join查询建立了运行估价模型,确定了不同场景下查询计划的优化选择分支;其次基于Hive ETL机制设计了一种统计信息收集方法,解决了统计海量数据分布特征的问题。实验数据表明,通过CBM优化的GroupBy查询耗时节省了8%～45%,Join查询耗时节省了12%～46%;集群CPU负载均衡指标优化了60%～80%,I/O负载均衡指标优化了60%～90%。实验结果证实了基于CBM模型优化的查询计划生成器能显著均衡化Hive查询运行时的集群负载,并优化了查询处理效率。 展开更多

关键词 海量数据离线处理 分布式数据仓库 负载均衡 统计信息收集 查询优化

在线阅读 下载PDF 职称材料

动态更新实物化视图以提高OLAP查询效率 被引量：4

5

作者 武彤 赵雪 赵洵 《计算机科学》 CSCD 北大核心 2012年第B06期315-317,共3页

在数据仓库系统中,OLAP查询一般都涉及多表连接和分组聚集两部分操作,提高这些查询的性能成为提高OLAP响应速度的关键。利用实物化视图,可以准确地计算并保存表连接或聚集等耗时较多的操作的结果。研究基于查询频率的实物化视图的更新算... 在数据仓库系统中,OLAP查询一般都涉及多表连接和分组聚集两部分操作,提高这些查询的性能成为提高OLAP响应速度的关键。利用实物化视图,可以准确地计算并保存表连接或聚集等耗时较多的操作的结果。研究基于查询频率的实物化视图的更新算法,可以使实物化视图得到最大效率的使用,明显地缩短查询的响应时间,从而提高OLAP的查询效率。 展开更多

关键词 数据仓库 实物化视图 OLAP 多维数据查询 查询优化

在线阅读 下载PDF 职称材料

一种并行处理多维连接和聚集操作的有效方法 被引量：2

6

作者 薛永生 黄震华 +2 位作者 段江娇 张延松 吕晓华 《计算机研究与发展》 EI CSCD 北大核心 2004年第10期1661-1669,共9页

随着并行计算算法的完善和廉价、功能强大的多处理机系统的成熟 ,使得采用多处理机系统来并行处理多维数据仓库的连接和聚集操作成为当前有效提高OLAP查询处理性能的首选技术 为此 ,提出一种降低连接和聚集操作开销的并行算法PJAMDDC(p... 随着并行计算算法的完善和廉价、功能强大的多处理机系统的成熟 ,使得采用多处理机系统来并行处理多维数据仓库的连接和聚集操作成为当前有效提高OLAP查询处理性能的首选技术 为此 ,提出一种降低连接和聚集操作开销的并行算法PJAMDDC(paralleljoinandaggregationformulti dimensionaldatacube) 算法充分考虑了多维数据立方体的存储机制和多处理机分布系统的结构特点 ,在原有聚集计算多维数据立方体的搜索点阵逻辑结构的基础上 ,采用多维数据仓库的层次联合代理 (hierarchycombinedsurrogate)和对立方体的搜索点阵进行加权的方法 ,使得立方体数据在多个处理机间的分配达到最佳的状态 ,从而在分割多维数据的同时 ,提高了并行处理多维连接和聚集操作的效率 算法实验评估表明 。 展开更多

关键词 数据仓库 OLAP 层次联合代理 并行聚集查询 数据立方体

在线阅读 下载PDF 职称材料

基于曙光 1000A 的并行查询核心系统的设计与实现 被引量：5

7

作者 李庆华 张鹏宇 邹青松 《高技术通讯》 EI CAS CSCD 1998年第4期1-5,共5页

根据曙光１０００Ａ的特点，提出了查询核心系统的设计方案；经过分析比较，选定了数据划分方法，确定了ＳＱＬ子集。在此基础上，研究了物理库设计、并行事务管理、查询优化器的设计和事务的调度方法，旨在为在曙光１０００Ａ上建造并... 根据曙光１０００Ａ的特点，提出了查询核心系统的设计方案；经过分析比较，选定了数据划分方法，确定了ＳＱＬ子集。在此基础上，研究了物理库设计、并行事务管理、查询优化器的设计和事务的调度方法，旨在为在曙光１０００Ａ上建造并行数据库系统奠定基础。 展开更多

关键词 并行查询 并行查询优化 并行调度 并行计算机

在线阅读 下载PDF 职称材料

基于改进蚁群算法的数据仓库多连接查询优化 被引量：3

8

作者 赵鹏 王守军 龚云 《计算机工程》 CAS CSCD 2012年第1期168-170,173,共4页

传统蚁群算法在解决数据仓库查询优化问题时存在过早收敛、收敛速度慢的缺点。为此,对传统蚁群算法进行改进,将伪随机状态转移规则引入最大最小蚁群系统,在每次迭代结束后进行迭代局部搜索。实验结果表明,改进算法在多表连接查询优化中... 传统蚁群算法在解决数据仓库查询优化问题时存在过早收敛、收敛速度慢的缺点。为此,对传统蚁群算法进行改进,将伪随机状态转移规则引入最大最小蚁群系统,在每次迭代结束后进行迭代局部搜索。实验结果表明,改进算法在多表连接查询优化中具有较快的收敛速度,能提高最优解的质量。 展开更多

关键词 蚁群算法 迭代局部搜索 数据仓库 多连接查询优化 查询执行计划

在线阅读 下载PDF 职称材料

面向汽车产业链协同平台的配件库存信息动态集成技术 被引量：3

9

作者 杨静雅 孙林夫 王淑营 《计算机应用研究》 CSCD 北大核心 2014年第4期1063-1066,1071,共5页

为实现对汽车产业链协同平台服务商、二级中心库售后配件库存信息的动态集成和实时查询,构建了面向协同平台的配件库存信息动态集成模型,提出了查询事件和协作关系驱动的信息动态集成算法。研究了分布式数据源并行查询优化技术、多源异... 为实现对汽车产业链协同平台服务商、二级中心库售后配件库存信息的动态集成和实时查询,构建了面向协同平台的配件库存信息动态集成模型,提出了查询事件和协作关系驱动的信息动态集成算法。研究了分布式数据源并行查询优化技术、多源异构数据转换处理技术、基于API变化捕获的数据库同步方法,实现了对各服务商、二级中心库实时配件库存信息的Web封装及动态调用。提出的模型与算法在汽车产业链协同平台上实现了应用验证。 展开更多

关键词 协同平台 动态集成 并行查询优化 异构数据转换 Web封装

在线阅读 下载PDF 职称材料

带函数的关系操作 被引量：1

10

作者 张宜红 俞本权 +1 位作者 徐宏炳 王能斌 《东南大学学报（自然科学版）》 EI CAS CSCD 1999年第3期21-27,共7页

数据库管理系统中的查询优化处理一直回避处理查询定义中函数运算的优化问题，而在异构数据源集成系统、数据仓库系统和ＷＷＷ数据库中，大部分的用户查询都涉及到复杂的函数运算，因此，有必要研究带函数的关系操作的优化技术．本文定... 数据库管理系统中的查询优化处理一直回避处理查询定义中函数运算的优化问题，而在异构数据源集成系统、数据仓库系统和ＷＷＷ数据库中，大部分的用户查询都涉及到复杂的函数运算，因此，有必要研究带函数的关系操作的优化技术．本文定义了６种基本的带函数的关系操作，分析了这些操作的变换规则，并给出了一些查询优化策略． 展开更多

关键词 异构数据源集成 关系操作 查询 带函数 数据库

在线阅读 下载PDF 职称材料

利用领域知识改进数据仓库中知识发现查询的效率

11

作者 王新军 洪晓光 +1 位作者 王海洋 马绍汉 《计算机科学》 CSCD 北大核心 2004年第2期123-125,共3页

随着数据库的规模和存储的数据量越来越大,许多知识发现方面的应用不得不面对大量的数据,这就迫切需要找出降低知识发现查询计算的复杂性的方法。以往的语义查询优化工作都是利用领域知识进行查询优化,主要是靠重写查询语句为一个等价... 随着数据库的规模和存储的数据量越来越大,许多知识发现方面的应用不得不面对大量的数据,这就迫切需要找出降低知识发现查询计算的复杂性的方法。以往的语义查询优化工作都是利用领域知识进行查询优化,主要是靠重写查询语句为一个等价的、高效的查询来降低费用。本文介绍了一种利用三类领域知识进行优化处理、缩小搜索范围、降低查询费用、提高被发现知识的质量的方法。 展开更多

关键词 数据仓库 数据库 知识发现 数据挖掘 数据库管理系统 数据查询 领域知识

在线阅读 下载PDF 职称材料

多版本数据仓库的查询优化设计

12

作者 鲍蓉 《计算机工程与应用》 CSCD 北大核心 2008年第28期143-145,共3页

多版本数据仓库中,不同数据仓库版本的维度实例可以共享存储。直接建立维度表与事实表的位图连接索引会产生大量无用的索引项,影响查询效率。给出了一种数据仓库版本的形式定义和维度实例的共享存储方式,并在此基础上设计了查询优化算法... 多版本数据仓库中,不同数据仓库版本的维度实例可以共享存储。直接建立维度表与事实表的位图连接索引会产生大量无用的索引项,影响查询效率。给出了一种数据仓库版本的形式定义和维度实例的共享存储方式,并在此基础上设计了查询优化算法DWVOQ,通过建立维度实例的版本视图及其与事实实例的连接索引来降低索引空间代价,提高索引查询效率。 展开更多

关键词 数据仓库版本 维度实例 连接索引 查询优化

在线阅读 下载PDF 职称材料

通用结构下的位置相关丛生树模型

13

作者 阳国贵 《计算机工程》 CAS CSCD 北大核心 1999年第2期11-13,共3页

在并行查询处理研究中，人们提出了三种基本的查询规划树表示形式，即左深树、右深树和丛生树形式。丛生树由于其搜索空间巨大，实际应用中往往需要对其搜索空间加以某种限定。结合通用并行结构的特点，利用数据位置相关特性首次提出了... 在并行查询处理研究中，人们提出了三种基本的查询规划树表示形式，即左深树、右深树和丛生树形式。丛生树由于其搜索空间巨大，实际应用中往往需要对其搜索空间加以某种限定。结合通用并行结构的特点，利用数据位置相关特性首次提出了一种新的受限丛生树结构，即位置相关丛生树。 展开更多

关键词 并行计算机 体系结构 丛生树模型 并行数据库

在线阅读 下载PDF 职称材料

分散存储油气生产动态大数据的优化管理与快速查询 被引量：9

14

作者 王洪亮 穆龙新 +2 位作者 时付更 刘凯铭 钱育蓉 《石油勘探与开发》 SCIE EI CAS CSCD 北大核心 2019年第5期959-965,共7页

利用大数据分布式存储与并行计算、数据仓库建模等技术构建多维分析引擎数据管理平台,实现了分散存储油气生产动态大数据的优化管理与快速查询,该系统可集中管理36×10^4余口油、气、水井的生产数据,并实现秒级响应。建立了油、气... 利用大数据分布式存储与并行计算、数据仓库建模等技术构建多维分析引擎数据管理平台,实现了分散存储油气生产动态大数据的优化管理与快速查询,该系统可集中管理36×10^4余口油、气、水井的生产数据,并实现秒级响应。建立了油、气、水井生产多维分析主题模型,对数据进行预处理,在中国石油天然气集团有限公司层级实现了油区生产运行跟踪、重点油田生产预警、低产井和长停井现状、分类油藏开发规律等分析应用的快速、高效响应,处理时间由原来的1 d缩短到现在的5 s;油气生产模式分析基本单元由原来的油田细化为单井,生产管理更为细致;分析结果可以按照集团公司、油气田公司、油气田、区块、单井逐级追溯,实时掌握各基本单元的油气生产动态。 展开更多

关键词 油气生产动态 大数据 并行计算 多维分析 优化管理 快速查询 生产预警

在线阅读 下载PDF 职称材料

企业海量数据库的优化 被引量：5

15

作者 王晓伟 李海峰 李禺 《计算机应用研究》 CSCD 北大核心 2005年第4期30-32,共3页

当前大多数企业应用软件都需要数据库支持,而且数据库的规模在不断扩大,尤其用到数据仓库技术的商业智能化支持系统。面对大数据量,企业级应用的性能愈来愈依赖数据库的性能。对数据库性能要素进行全面的描述和分析,以便对数据库的选择... 当前大多数企业应用软件都需要数据库支持,而且数据库的规模在不断扩大,尤其用到数据仓库技术的商业智能化支持系统。面对大数据量,企业级应用的性能愈来愈依赖数据库的性能。对数据库性能要素进行全面的描述和分析,以便对数据库的选择、应用和基于数据库的二次开发提供工程参考。 展开更多

关键词 数据分割 数据仓库 并行数据库 数据库管理系统 SQL优化

在线阅读 下载PDF 职称材料

一种面向数据仓库周期性查询的增量优化方法 被引量：2

16

作者 康炎丽 李丰 王蕾 《软件学报》 EI CSCD 北大核心 2017年第8期2126-2147,共22页

大数据蕴含着巨大的价值.分析类查询是获取数据价值的一种重要手段.为及时把握分析结果的变化,查询需要周期性地重复.为此,将不可避免地引入对旧数据的重复分析.目前,以重用历史数据的中间结果、优化冗余计算为核心思路的增量分析技术,... 大数据蕴含着巨大的价值.分析类查询是获取数据价值的一种重要手段.为及时把握分析结果的变化,查询需要周期性地重复.为此,将不可避免地引入对旧数据的重复分析.目前,以重用历史数据的中间结果、优化冗余计算为核心思路的增量分析技术,存在用户透明性不佳、对历史结果存储位置的选择不够智能化等问题,对周期性增量查询的优化效果有限.从兼顾用户透明性和优化收益的角度出发,设计了一种以语义规则为指导的增量优化方法.该方法扩展了增量描述语法,以查询操作符的操作语义和输出语义指导对历史数据存储、合并位置的选择,再根据代价模型和物理查询任务的划分位置对选择结果进行调整,生成优化后可以在分布式计算框架(如Map Reduce)周期性调度执行的物理查询任务.以Apache Hive为基础,实现了上述方法的原型Hive Inc.实验结果表明:对于扩展了增量语法描述的TPC-H测试集,Hive Inc相对于优化前可以获得平均2.93倍、最高5.78倍的加速;与经典的优化技术Inc MR、Dryad Inc相比,分别可以获得1.69倍和1.61倍的加速. 展开更多

关键词 数据仓库 周期性查询 增量优化 中间结果重用

在线阅读 下载PDF 职称材料

基于数据垂直划分的高效并行Skyline查询 被引量：1

17

作者 邓瑞鹏 王意洁 +1 位作者 李小勇 王媛 《计算机工程》 CAS CSCD 2012年第14期56-58,61,共4页

基于数据垂直划分的分布并行Skyline查询算法大多并行性较低,无法适应海量分布式数据的快速响应要求。为此,在BDS算法的基础上提出一种更高效的分布并行Skyline查询算法PDS-VP。其中,节点被分为协调者与参与者,原本由协调者节点完成的... 基于数据垂直划分的分布并行Skyline查询算法大多并行性较低,无法适应海量分布式数据的快速响应要求。为此,在BDS算法的基础上提出一种更高效的分布并行Skyline查询算法PDS-VP。其中,节点被分为协调者与参与者,原本由协调者节点完成的随机访问和本地Skyline计算分发给各参与者节点进行处理,以提高算法的执行效率。实验结果证明,该算法提高了原算法的并行性和运行效率。 展开更多

关键词 SKYLINE查询 分布式环境 并行Skyline 数据垂直划分 多目标优化 数据挖掘

在线阅读 下载PDF 职称材料

在数据仓库中使用实视图优化查询 被引量：2

18

作者 周丽娟 柳池 刘大昕 《计算机工程与应用》 CSCD 北大核心 2004年第16期181-183,190,共4页

数据仓库中存放的是大量的实视图,文章利用实视图技术来优化查询。在分析传统优化查询方法的基础上,对其进行改进和扩展,给出了在数据仓库中使用实视图进行优化查询的方法和策略,以有效提高数据仓库的查询处理速度。

关键词 数据仓库 实视图 查询优化

在线阅读 下载PDF 职称材料

并行数据仓库ParaWare系统的查询优化

19

作者 肖震 陈红 王珊 《计算机科学》 CSCD 北大核心 2003年第5期6-8,共3页

A Data Warehouse System has a more large scale of data, and rather simple process logic than a DBMS. Sothose optimize means of DBMS Query system are not so valid. This paper discusses the optimize policy used in to pa... A Data Warehouse System has a more large scale of data, and rather simple process logic than a DBMS. Sothose optimize means of DBMS Query system are not so valid. This paper discusses the optimize policy used in to par-allel DW system ParaWare, such as query division, public sub query mergence, and fill in the query result. It alsogives out the right algorithm. 展开更多

关键词 并行数据仓库 ParaWare系统 数据查询 优化 数据库系统

在线阅读 下载PDF 职称材料

多维查询的优化技术及其评价

20

作者 梁文静 《华南师范大学学报（自然科学版）》 CAS 1999年第4期33-40,共8页

研究多维查询技术对于现代工业企业的决策支持有着不可估量的实际意义．好的多维查询技术可以高性能、高质量和高效率地利用及挖掘数据仓库中涵含的信息．本文利用搜索共享的思想，探讨了3种多维查询的同步优化策略，并分析比较了3种优... 研究多维查询技术对于现代工业企业的决策支持有着不可估量的实际意义．好的多维查询技术可以高性能、高质量和高效率地利用及挖掘数据仓库中涵含的信息．本文利用搜索共享的思想，探讨了3种多维查询的同步优化策略，并分析比较了3种优化策略的实现算法． 展开更多

关键词 数据仓库 多维查询 多维表达式 优化技术 数据库

在线阅读 下载PDF 职称材料