数据集成环境下一种高效一致性聚集查询 被引量：2

1

作者 张晓刚 杨路明 潘久辉 《计算机学报》 EI CSCD 北大核心 2014年第9期1936-1946,共11页

对于不一致数据库上的一致性聚集查询问题,Fuxman扩展基于合取查询类C_(forest)的一阶查询重写方法并给出了查询重写算法RewriteCount和RewriteAgg来分别处理包含不同聚集函数的查询.算法产生的重写聚集查询能够使用SQL语句表达,但是其... 对于不一致数据库上的一致性聚集查询问题,Fuxman扩展基于合取查询类C_(forest)的一阶查询重写方法并给出了查询重写算法RewriteCount和RewriteAgg来分别处理包含不同聚集函数的查询.算法产生的重写聚集查询能够使用SQL语句表达,但是其性能却不够理想.文中重点考虑在数据集成环境下如何有效地提高一致性聚集查询的整体性能,通过OR-database集成模式有效地隔离集成数据库的一致性部分和非一致新部分,并在此基础上同样针对合取查询类C_(forest)上的分组聚集查询提出了基于OR-database的一致性查询重写算法RewriteCount_OR(主要处理Count函数)和RewriteAgg_OR(主要处理Max,Min和Sum函数),后面的查询代价比较及模拟实验都表明:与Fuxman的一致性聚集查询方法相比,文中的一致性聚集查询方法在OR-database集成数据库上具有明显的性能优势. 展开更多

关键词 一致性查询 聚集查询 完整性约束 修复 查询重写 不一致集成数据库

在线阅读 下载PDF 职称材料

面向数据集成的一种高效一致性查询方法 被引量：3

2

作者 张晓刚 杨路明 潘久辉 《电子学报》 EI CAS CSCD 北大核心 2014年第8期1474-1479,共6页

一阶查询的SQL可表达性使得基于数据库修复的一阶查询重写方法在解决不一致数据库上的一致性查询问题上更具实际应用价值,但现有方法生成的一致性查询重写的执行效率不够理想.本文重点考虑在数据集成环境下如何有效地提高一致性查询的... 一阶查询的SQL可表达性使得基于数据库修复的一阶查询重写方法在解决不一致数据库上的一致性查询问题上更具实际应用价值,但现有方法生成的一致性查询重写的执行效率不够理想.本文重点考虑在数据集成环境下如何有效地提高一致性查询的执行效率,同样针对合取查询类Cforest提出了基于OR-database集成模式的一致性查询重写算法ConsRewrite_OR.基于线性工作度量的查询代价分析以及Oracle 10g上的TPC-H模拟实验都充分地说明本文算法产生的一致性查询与Fuxman的查询重写相比在集成数据库上具有更好的执行效率. 展开更多

关键词 一致性查询 完整性约束 修复 查询重写 不一致集成数据库

在线阅读 下载PDF 职称材料

基于范围语义的非一致性数据库聚集查询 被引量：3

3

作者 谢东 吴敏 《中南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2008年第4期810-815,共6页

基于非一致性关系数据库的非聚集查询技术,发展普通的一致性查询应答的语义,提出非一致性数据库的范围语义,给出基于一致性查询范围的实际聚集查询重写方法,返回基于这种语义的聚集查询范围值。通过对初始分组属性和键属性聚集得到候选... 基于非一致性关系数据库的非聚集查询技术,发展普通的一致性查询应答的语义,提出非一致性数据库的范围语义,给出基于一致性查询范围的实际聚集查询重写方法,返回基于这种语义的聚集查询范围值。通过对初始分组属性和键属性聚集得到候选结果集,再过滤与初始分组属性值相冲突和不满足初始查询的元组。对于最小值,过滤掉可能不一致的元组,去掉可能值,得到一致性值;对于最大值,得到可能的最大候选值,实验基于TPC-H基准采用不同的参数进行研究。研究结果表明,聚集属性和投影属性数量、数据库以及初始查询的结果集对重写查询的负载有显著的影响,但非一致性数据比例和共享共同键值元组数的影响很小。尽管重写查询比初始查询的执行时间长,但是可以接受。 展开更多

关键词 关系数据库 非一致性数据库 聚集查询

在线阅读 下载PDF 职称材料

具有隐私保护的外包数据库合计查询方案 被引量：3

4

作者 蒋亚军 杨波 +1 位作者 张明武 陈旭日 《中南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2011年第3期721-725,共5页

针对外包数据库中数据的隐私性和安全性问题,提出一种具有隐私保护的外包数据库合计查询方案。利用Mignotte秘密共享方案将数据所有者的数据库外包给服务提供者,服务提供者根据用户提出合计查询要求,在不泄露外包数据的前提下协同计算... 针对外包数据库中数据的隐私性和安全性问题,提出一种具有隐私保护的外包数据库合计查询方案。利用Mignotte秘密共享方案将数据所有者的数据库外包给服务提供者,服务提供者根据用户提出合计查询要求,在不泄露外包数据的前提下协同计算查询并将结果响应给用户,用户根据数据所有者对数据项的Pedersen承诺和生成的Merkle哈希树对结果进行验证。研究结果表明:在查询过程中,该方案能够保证数据项和中间结果的隐私性和安全性;在数据所有者可信的前提下,用户能够验证查询结果;与同类方案相比,该方案具有更高的效率。 展开更多

关键词 外包数据库 合计查询 秘密共享 中国剩余定理

在线阅读 下载PDF 职称材料

时空聚集计算研究进展 被引量：2

5

作者 包磊 秦小麟 《计算机科学》 CSCD 北大核心 2006年第1期22-24,共3页

时空数据库要处理大量的数据。相对于单个时空数据来说,大量数据的聚集计算结果更有信息量。本文综述了时态聚集、空间聚集和时空聚集计算领域的研究现状,着重分析了各类时空聚集算法的研究进展。讨论了目前时空聚集计算存在的问题,并... 时空数据库要处理大量的数据。相对于单个时空数据来说,大量数据的聚集计算结果更有信息量。本文综述了时态聚集、空间聚集和时空聚集计算领域的研究现状,着重分析了各类时空聚集算法的研究进展。讨论了目前时空聚集计算存在的问题,并指出了今后的发展方向。 展开更多

关键词 时空数据库 聚集查询 聚集函数 空间聚集 计算研究 计算结果 聚集算法 信息量 重分析

在线阅读 下载PDF 职称材料

传感器网络多查询架构体系及融合算法 被引量：3

6

作者 南国芳 路晓颖 《计算机工程》 CAS CSCD 北大核心 2010年第1期21-24,共4页

无线传感器网络可以看作是以节点感知、存储数据为基础的分布式数据库系统。针对多查询处理问题,提出一种以节能为目标的查询架构体系,以及多查询的分类算法和查询融合算法。通过实验验证了算法的有效性,即在同等条件下,可以有效节省传... 无线传感器网络可以看作是以节点感知、存储数据为基础的分布式数据库系统。针对多查询处理问题,提出一种以节能为目标的查询架构体系,以及多查询的分类算法和查询融合算法。通过实验验证了算法的有效性,即在同等条件下,可以有效节省传感器网络能量的消耗,进而延长网络的生命周期。 展开更多

关键词 分布式传感器数据库 多查询架构体系 多查询融合算法

在线阅读 下载PDF 职称材料

SQL聚集函数扩展 被引量：1

7

作者 肖杰 谢东 曾玢石 《计算机工程》 CAS CSCD 北大核心 2009年第16期73-75,共3页

已经存在的SQL聚集函数在计算百分比方面有明显的限制,提出2种水平与垂直百分比聚集函数用于计算百分比。新的聚集函数容易使用,有广泛的用途,可以被用于作为一种框架去研究百分比查询,能有效地生成SQL代码。实验研究给出百分比聚集方法... 已经存在的SQL聚集函数在计算百分比方面有明显的限制,提出2种水平与垂直百分比聚集函数用于计算百分比。新的聚集函数容易使用,有广泛的用途,可以被用于作为一种框架去研究百分比查询,能有效地生成SQL代码。实验研究给出百分比聚集方法与SQL/OLAP聚集方法的执行性能,结果显示这2种方法在性能上比SQL/OLAP聚集方法有一定的改善。 展开更多

关键词 关系数据库 结构化查询语言 查询处理 聚集函数 百分比聚集

在线阅读 下载PDF 职称材料

列存储数据库中压缩位图索引技术 被引量：2

8

作者 王梅 杨思箫 乐嘉锦 《计算机工程》 CAS CSCD 2012年第18期26-29,共4页

为提高压缩码的利用率,提出一种适用于列存储数据库的压缩位图索引技术。定义反转、合并等操作,将所有计算的输入值与输出值格式化为位向量形式。通过活跃度衡量索引中位向量的复杂度,并对压缩位向量进行直接计算,优化where子句和group... 为提高压缩码的利用率,提出一种适用于列存储数据库的压缩位图索引技术。定义反转、合并等操作,将所有计算的输入值与输出值格式化为位向量形式。通过活跃度衡量索引中位向量的复杂度,并对压缩位向量进行直接计算,优化where子句和group by子句在查询执行过程中的数据提取。在SSB数据集上的实验结果证明,该技术能提高29.7%~38.9%的压缩位图索引性能。 展开更多

关键词 列存储数据库 位图索引 活跃度 SSB数据集 聚集查询

在线阅读 下载PDF 职称材料

基于聚类的非一致性数据库聚集查询重写

9

作者 谢东 杨路明 +1 位作者 蒲保兴 刘波 《小型微型计算机系统》 CSCD 北大核心 2008年第6期1104-1108,共5页

在聚类和非一致性数据库无聚集查询基础上提出聚集查询重写方法.通过聚集值范围限定了最值和期望值,给出无连接和有连接的聚集查询重写策略.聚集重写查询通过分析聚类中可能元组和分组属性来过滤聚类,计算初始分组属性的最值和期望值.... 在聚类和非一致性数据库无聚集查询基础上提出聚集查询重写方法.通过聚集值范围限定了最值和期望值,给出无连接和有连接的聚集查询重写策略.聚集重写查询通过分析聚类中可能元组和分组属性来过滤聚类,计算初始分组属性的最值和期望值.实验使用TPC-H决策支持基准进行性能研究,分析了聚类基数和数据库尺寸等因素的影响.结果显示尽管重写查询显著地比初始查询的执行时间长,但还是可以接受的,表明方法是有效的. 展开更多

关键词 关系数据库 非一致性数据库 聚集查询重写 聚类概率

在线阅读 下载PDF 职称材料

基于聚类的非一致性数据库查询重写

10

作者 谢东 杨路明 +1 位作者 蒲保兴 刘波 《小型微型计算机系统》 CSCD 北大核心 2007年第12期2199-2202,共4页

在非一致性数据库上,以元组匹配技术所产生的聚类和概率数据库的元组概率为基础,提出了可信聚类概率和可重写查询判断方法.考虑了最普通的IC情况(key-to-key和nonkey-to-key),给出了无连接和有连接的查询重写方法.连接查询重写方法缩小... 在非一致性数据库上,以元组匹配技术所产生的聚类和概率数据库的元组概率为基础,提出了可信聚类概率和可重写查询判断方法.考虑了最普通的IC情况(key-to-key和nonkey-to-key),给出了无连接和有连接的查询重写方法.连接查询重写方法缩小了用于连接的中间结果集中可信聚类的元组数量,有效地提高了查询性能.实验使用TPC-H决策支持基准的数据和查询进行性能研究,分析了聚类基数和数据库尺寸等相关因素的影响,结果显示方法是有效的. 展开更多

关键词 关系数据库 非一致性数据库 查询重写 聚类概率

在线阅读 下载PDF 职称材料

基于非一致性数据库的概率查询策略与算法

11

作者 刘波 雷刚跃 +1 位作者 杨路明 邓云龙 《计算机工程》 CAS CSCD 北大核心 2008年第1期69-71,共3页

完整性约束是保证关系型数据库中数据确定性的重要条件,现实中存在大量不确定、不满足完整约束条件,但仍具有使用价值。结合概率数据库理论,提出了一种新的针对非一致性数据库的查询策略,利用并、交、差、选择、投影、连接等约束方法,... 完整性约束是保证关系型数据库中数据确定性的重要条件,现实中存在大量不确定、不满足完整约束条件,但仍具有使用价值。结合概率数据库理论,提出了一种新的针对非一致性数据库的查询策略,利用并、交、差、选择、投影、连接等约束方法,对非一致性数据进行修复,四元组概率计算方法和概率查询重写技术弥补了非一致性数据库查询的不足,减少了数据冲突的发生机率。 展开更多

关键词 非一致性数据库 概率数据模型 数据清洗 查询重写

在线阅读 下载PDF 职称材料

非一致性数据库关键词非聚集约束查询与性能分析

12

作者 刘波 雷刚跃 +1 位作者 杨路明 邓云龙 《计算机应用研究》 CSCD 北大核心 2007年第10期107-109,112,共4页

在分析非一致性数据库一致性查询方法的基础上,结合非聚集约束条件,以关键词为元数据,利用B-树与二叉树的原理,提出一种新的针对非一致性数据库的查询方法。通过节点分组访问、分层迭代查询的方法,不仅解决非一致性数据库约束条件难写... 在分析非一致性数据库一致性查询方法的基础上,结合非聚集约束条件,以关键词为元数据,利用B-树与二叉树的原理,提出一种新的针对非一致性数据库的查询方法。通过节点分组访问、分层迭代查询的方法,不仅解决非一致性数据库约束条件难写的问题,而且容易组合选择查询条件,有助于提高查询的灵活性与准确性。 展开更多

关键词 非一致性数据库 完整性约束 修改 一致性查询 非聚集约束

在线阅读 下载PDF 职称材料

空间数据库中最小距离聚集查询及其算法

13

作者 刘云生 刘小峰 肖迎元 《计算机科学》 CSCD 北大核心 2005年第9期108-110,122,共4页

提出了一种新的距离查询形式一最小距离聚集查询,这种查询计算几个对象集中对象到一个中心对象集中对象的距离和,并返回最小的K个距离和。在空间数据库中,对基于R树索引的数据集给出了基于最近邻居的方法和阈值算法来回答查询。通过大... 提出了一种新的距离查询形式一最小距离聚集查询,这种查询计算几个对象集中对象到一个中心对象集中对象的距离和,并返回最小的K个距离和。在空间数据库中,对基于R树索引的数据集给出了基于最近邻居的方法和阈值算法来回答查询。通过大量实验对两种算法进行了比较,结果显示阈值算法具有较好的性能。 展开更多

关键词 空间数据库 查询处理 距离查询 距离聚集 R树索引

在线阅读 下载PDF 职称材料

非一致性关系数据管理研究综述

14

作者 谢东 伍锦群 陈新波 《小型微型计算机系统》 CSCD 北大核心 2012年第12期2631-2635,共5页

完整性约束有效地维护了数据的合法性和有效性,而越来越多的数据库应用依赖于多个独立的数据源,即使对于给定的约束,这些数据源分别是一致的,集成时就可能不一致.一致性查询应答(CQA)基于候选数据库语义,保持非一致性源数据不变,在查询... 完整性约束有效地维护了数据的合法性和有效性,而越来越多的数据库应用依赖于多个独立的数据源,即使对于给定的约束,这些数据源分别是一致的,集成时就可能不一致.一致性查询应答(CQA)基于候选数据库语义,保持非一致性源数据不变,在查询时获取一致性信息.本文讨论了CQA的查询重写、概率方法、冲突图和逻辑编程等计算机制,并基于普通CQA语义进一步分析了聚集查询的范围语义;通过对CQA计算方法和聚集查询计算复杂性的比较,分析得到在实际中大部分查询是PTIME的;对于是单一函数依赖的一些聚集函数,CQA采用查询重写是PTIME的.此外总结了不同的应用领域下其他候选数据库语义,最后提出了需要进一步研究的问题. 展开更多

关键词 关系数据库 非一致性关系数据 一致性查询应答 候选数据库

在线阅读 下载PDF 职称材料

基于一阶逻辑的非一致性关系数据管理

15

作者 谢东 伍锦群 刘罗仁 《中南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2011年第7期2034-2041,共8页

对于给定的约束,数据库可能是非一致的。为了获得一致性结果,基于一阶逻辑,提出非一致性关系数据管理框架,研究多种合取查询类型对应的连接图及其连接的充分性,分析一致性查询应答的计算复杂度。在查询连接类型是键-键、非键-键或不充... 对于给定的约束,数据库可能是非一致的。为了获得一致性结果,基于一阶逻辑,提出非一致性关系数据管理框架,研究多种合取查询类型对应的连接图及其连接的充分性,分析一致性查询应答的计算复杂度。在查询连接类型是键-键、非键-键或不充分的键-键,且查询对应的连接图是非环的情况下,一致性查询应答的计算在多项式时间内是可解的。针对大量实际的易处理合取查询,给出查询重写算法获得可重写的查询。算法首先判断初始查询是否为可重写,再基于连接图进行递归计算构造一致性识别语句,然后,与初始查询合取产生一个新的一阶重写查询,用于计算一致性结果。对于非环的自连接查询,由于递归重写算法不能剔除非一致性元组,因此,采用初始查询获取了用于剔除违反键约束的非一致性元组的语句。 展开更多

关键词 关系数据库 非一致性关系数据 一阶逻辑 查询重写

在线阅读 下载PDF 职称材料

基于x-tuple的概率阈值top-k查询算法

16

作者 黄冬梅 舒博 +1 位作者 王建 熊中敏 《计算机工程》 CAS CSCD 2013年第4期44-47,共4页

不确定数据库中的概率阈值top-k查询是计算元组排在前k位的概率和,返回概率和不小于p的元组,但现有的查询语义没有将x-tuple内的元组进行整体处理。针对该情况,定义一种新的查询语义——概率阈值x-top-k查询,并给出查询处理算法。在该... 不确定数据库中的概率阈值top-k查询是计算元组排在前k位的概率和,返回概率和不小于p的元组,但现有的查询语义没有将x-tuple内的元组进行整体处理。针对该情况,定义一种新的查询语义——概率阈值x-top-k查询,并给出查询处理算法。在该查询语义下采用动态规划方法求取x-tuple内每个元组排在前k位的概率和,对其进行聚集后做概率阈值top-k查询,并利用观察法、最大上限值等剪枝方法进行优化。实验结果表明,该算法平均扫描全体数据集中60%的数据即可返回正确结果集,证明其查询处理效率较高。 展开更多

关键词 不确定数据库 概率阈值top-k查询 x-元组 动态规划算法 聚集

在线阅读 下载PDF 职称材料

反最近关键字聚集查询方法研究

17

作者 曾子维 魏静 《计算机应用与软件》 CSCD 北大核心 2014年第12期68-69,99,共3页

当前时空数据库中的关键字查询大多数都是简单的传统查询。随着基于位置服务(LBS)的进一步发展,新类型的应用也随之出现,这些新的应用中的对象不仅包含位置信息,还包含和位置相关的文本信息,例如名字、类型等等,传统查询不再适用。为了... 当前时空数据库中的关键字查询大多数都是简单的传统查询。随着基于位置服务(LBS)的进一步发展,新类型的应用也随之出现,这些新的应用中的对象不仅包含位置信息,还包含和位置相关的文本信息,例如名字、类型等等,传统查询不再适用。为了能够高效地处理时空查询,提出一种新颖的时空关键字查询类型,称为反最近关键字聚集查询。 展开更多

关键词 时空数据库 移动对象 基于位置的服务 查询 反最近聚集查询

在线阅读 下载PDF 职称材料

面向聚合查询的Apache IoTDB物理元数据管理 被引量：12

18

作者 赵东明 邱圆辉 +3 位作者 康瑞 宋韶旭 黄向东 王建民 《软件学报》 EI CSCD 北大核心 2023年第3期1027-1048,共22页

时间序列数据在能源、制造、金融、气候等领域有着广泛应用,聚合查询是相关分析场景中常见的查询需求,快速获取海量数据的概要信息,对于提高数据分析工作的效率具有重要意义.通过存储元数据加速聚合查询是一种有效的提升聚合查询执行效... 时间序列数据在能源、制造、金融、气候等领域有着广泛应用,聚合查询是相关分析场景中常见的查询需求,快速获取海量数据的概要信息,对于提高数据分析工作的效率具有重要意义.通过存储元数据加速聚合查询是一种有效的提升聚合查询执行效率的手段,但现有的时间序列数据库都使用时间窗口切分数据,需要对数据进行实时排序和分区,难以适应物联网场景下高并发、大吞吐量的数据写入特点.因此,提出了一种面向聚合查询的ApacheIoTDB物理元数据管理方案.该方案按照数据文件的物理存储特性切分数据,并结合同步计算和异步计算策略,优先保证数据的写入性能.针对时间序列数据中普遍存在的乱序数据,将时间范围重叠的一组文件抽象为乱序文件组并提供元数据,聚合查询会被重写为3个结合物理元数据和原始数据的子查询高效执行.多个数据集上的实验验证了该方案对聚合查询执行效率的提升效果以及不同计算策略对性能的影响. 展开更多

关键词 预聚合 聚合查询 查询重写 物理元数据管理 时间序列数据库

在线阅读 下载PDF 职称材料

动态分片在线聚集

19

作者 安明远 孙秀明 孙凝晖 《计算机研究与发展》 EI CSCD 北大核心 2010年第11期1928-1935,共8页

传统的在线聚集方法为了避免执行中随机I/O导致的性能下降,假设数据本身近似随机分布于数据文件中,用顺序I/O来代替随机I/O.数据随机分布于数据文件的假设在很多实际的应用场景中是难以成立的,从而导致查询结果产生很大误差.提出了动态... 传统的在线聚集方法为了避免执行中随机I/O导致的性能下降,假设数据本身近似随机分布于数据文件中,用顺序I/O来代替随机I/O.数据随机分布于数据文件的假设在很多实际的应用场景中是难以成立的,从而导致查询结果产生很大误差.提出了动态数据分片在线聚集算法DDPOA(dynamicdata-partitioned online aggregation),将整个数据集分片,对各个子数据集独立计算,线性组合子集结果进而得到全集最终结果,一方面降低了在线聚集对整体数据集随机分布的要求,提高了准确性,另一方面动态调整分片数量以改善I/O性能,缩短完成时间.真实系统负载上的实验表明:DDPOA与传统在线聚集相比,在完成时间相差不大的情况下准确性有了大幅提高. 展开更多

关键词 数据库 近似查询 在线聚集 采样 动态分片

在线阅读 下载PDF 职称材料