基于XML中间件的分布式数据库的数据分片策略 被引量：11

1

作者 赵君 张春海 李华 《计算机工程与设计》 CSCD 北大核心 2006年第3期466-468,共3页

XML技术由于其良好的数据描述能力,在数据库系统的数据交换中得到广泛应用。为了降低并行查询的困难程度和提高并行查询的准确度,提出一种基于XML的分布式数据交换中间件模型,给出了该模型的体系结构和功能定义,并根据此中间件讨论了一... XML技术由于其良好的数据描述能力,在数据库系统的数据交换中得到广泛应用。为了降低并行查询的困难程度和提高并行查询的准确度,提出一种基于XML的分布式数据交换中间件模型,给出了该模型的体系结构和功能定义,并根据此中间件讨论了一种分布式数据库的数据分片技术。 展开更多

关键词 XML DOM 分布式数据库 中间件 数据分片 DTD

在线阅读 下载PDF 职称材料

基于粒计算的数据分片算法 被引量：4

2

作者 吴润秀 吴水秀 刘清 《计算机应用》 CSCD 北大核心 2007年第6期1388-1391,共4页

提出了一种基于粒计算的数据分片模型及算法,该算法在优先考虑数据本地化的基础上,可动态调整全集划分的粗细,将全集划分的数据分片的数量调整到一个比较合理的状态,既能减少网络流量、降低整个分布式系统开销,同时又控制了数据分片数量... 提出了一种基于粒计算的数据分片模型及算法,该算法在优先考虑数据本地化的基础上,可动态调整全集划分的粗细,将全集划分的数据分片的数量调整到一个比较合理的状态,既能减少网络流量、降低整个分布式系统开销,同时又控制了数据分片数量,减少了数据连接工作量,从而提高系统效率。 展开更多

关键词 粒计算 相似粒 数据分片 数据分布

在线阅读 下载PDF 职称材料

分布式数据库数据分片与分配 被引量：16

3

作者 杨晶 刘天时 马刚 《现代电子技术》 2006年第18期119-121,125,共4页

通过对集中式数据库和分布式数据库的比较,指出了数据分片与分配是设计分布式数据库重要环节,给出了数据分片与分配的目的、原则以及方法,分析了数据分布的透明性,对分片与分配之间的关系予以简要说明,最后介绍了在分布式数据库设计中... 通过对集中式数据库和分布式数据库的比较,指出了数据分片与分配是设计分布式数据库重要环节,给出了数据分片与分配的目的、原则以及方法,分析了数据分布的透明性,对分片与分配之间的关系予以简要说明,最后介绍了在分布式数据库设计中分片与分配产生的问题。 展开更多

关键词 分布式数据库 数据分片 数据分配 分布透明性

在线阅读 下载PDF 职称材料

基于数据分片技术的数据访问权限控制 被引量：4

4

作者 张宏森 朱征宇 《计算机工程与应用》 CSCD 北大核心 2002年第12期204-206,共3页

文章分析了SYBASE数据库管理系统的安全控制机制和基于角色的数据访问控制模型。分析了这些技术的不足,在此基础上详细介绍了一种可以达到数据级访问控制的数据分片技术。

关键词 数据分片技术 数据访问 权限控制

在线阅读 下载PDF 职称材料

基于XML中间件的分布式异构数据库的数据分片策略研究 被引量：1

5

作者 蒋勇 谭怀亮 李光文 《计算机应用与软件》 CSCD 2009年第11期144-146,共3页

主要研究XML中间件的分布式异构数据库的数据分片策略,以便能够并行处理XML查询。为了描述XML数据分片,提出了对象树、子树的概念,将一棵XML数据树分割成对象树和子树,对象树在各个站点上复制,子树标签化后均匀分片到各个站点上。为了... 主要研究XML中间件的分布式异构数据库的数据分片策略,以便能够并行处理XML查询。为了描述XML数据分片,提出了对象树、子树的概念,将一棵XML数据树分割成对象树和子树,对象树在各个站点上复制,子树标签化后均匀分片到各个站点上。为了实现用户数据分片查询工作量的均衡,对最大树深的子树采用减治法策略,减治法策略后的子树又分配到一个新的站点上。基于这一思想,提出并实现其算法。实验结果证明:在分布式异构数据库的检索、查询和访问中,基于对象树、子树的数据分片算法的性能要比PSPIB算法性能优越。 展开更多

关键词 分布式异构数据库 文档对象模型文档 中间件 数据分片 对象树 算法

在线阅读 下载PDF 职称材料

一种Office文件数据分片识别、排序、重组及修复方法 被引量：1

6

作者 徐国天 《信息网络安全》 CSCD 北大核心 2019年第9期26-30,共5页

恢复被删除的涉案Office文档对调查取证工作有重要意义。当被删除的Office文件数据分为多段存储在磁盘内,且MFT记录被覆盖时,现有数据恢复工具无法有效恢复被删除的数据。针对这一问题,文章提出一种Office文件数据分片识别、排序、重组... 恢复被删除的涉案Office文档对调查取证工作有重要意义。当被删除的Office文件数据分为多段存储在磁盘内,且MFT记录被覆盖时,现有数据恢复工具无法有效恢复被删除的数据。针对这一问题,文章提出一种Office文件数据分片识别、排序、重组及修复方法。根据Office文件尾部目录区数据定位全部数据分片,确定分片排列次序,重组Office文件,并对受损数据分片进行修复。实践证明,该方法可有效恢复2007以上版本Office文档,在Office文件数据恢复方面优于X-way等恢复工具采用的首尾特征值恢复方法,可以达到更优的恢复效果。 展开更多

关键词 Office数据分片 识别 排序 重组 修复

在线阅读 下载PDF 职称材料

模糊方法在数据分片中的应用

7

作者 徐爱平 曾宏祥 徐福缘 《华东工业大学学报》 1996年第4期53-56,64,共5页

传统的数据分片方法不反映人们对事物认识所具有的模糊性．本文应用模糊方法来处理数据分片，便能较好地克服传统方法的局限性．

关键词 数据分片 模糊处理 数据库 关系数据库

在线阅读 下载PDF 职称材料

大中流域尺度分布式土壤侵蚀学坡长提取的数据分片方法

8

作者 曹夏雨 杨勤科 +1 位作者 兰敏 王春梅 《中国水土保持科学》 CSCD 北大核心 2018年第3期34-40,共7页

流域坡长提取过程中如何划分数据单元,是大区域范围内高效提取坡长的关键问题之一。以地形比较平缓的东北漫岗丘陵区和地势比较陡的黄土丘陵区为样区,将每个样区9个1∶25万标准图幅的DEM拼接为一个数据单元后,分别以中等流域和带缓冲带... 流域坡长提取过程中如何划分数据单元,是大区域范围内高效提取坡长的关键问题之一。以地形比较平缓的东北漫岗丘陵区和地势比较陡的黄土丘陵区为样区,将每个样区9个1∶25万标准图幅的DEM拼接为一个数据单元后,分别以中等流域和带缓冲带的标准图幅为单元提取坡长,从提取结果的图形、统计特征和工作效率等方面进行对比分析。结果表明:1)根据流域分布式土壤侵蚀学坡长的含义和提取算法,流域坡长提取的基本数据单元是DEM上可以辨认的、具有水文地貌意义的最小流域(最小有效流域,WME);当工作区域范围远大于WME的面积时,WME最外围流域边界的连线(BNDWME)将接近于矩形;2)对矩形数据区域(如标准图幅)的数据范围做进行适当外扩,即可避免不完整流域带的影响,并以标准图幅为数据单元提取完整的流域坡长;3)在比较平缓和比较陡的丘陵区,不完整流域带(即数据缓冲宽度)分别为3 km和5 km。大区域坡长提取中,根据数据缓冲宽度对矩形数据进行缓冲后,可直接用矩形数据提取坡长。该研究为大区域流域坡长提前中以标准图幅或者规则矩形数据块为单元的高效快速提取提供了依据。 展开更多

关键词 土壤侵蚀 流域分布式坡长 DEM 数据单元(分片)

在线阅读 下载PDF 职称材料

基于哈希增强技术的分布式系统数据分片方案

9

作者 艾志成 曹炳尧 王演祎 《计算机应用研究》 2025年第9期2779-2784,共6页

分布式系统数据分片技术旨在优化数据分布以提升计算效率,然而现有方法在分片质量与冗余控制等方面存在局限。为此,提出一种基于混合局部敏感哈希(hybrid LSH)的分片策略与改进的meta-partitioning优化技术。首先,设计混合LSH框架,通过M... 分布式系统数据分片技术旨在优化数据分布以提升计算效率,然而现有方法在分片质量与冗余控制等方面存在局限。为此,提出一种基于混合局部敏感哈希(hybrid LSH)的分片策略与改进的meta-partitioning优化技术。首先,设计混合LSH框架,通过MinHash与自适应LSH的协同机制实现实体描述的高效初步聚类;其次,提出逆块频率边权重计算方法与动态双阶段剪边策略,优化分片覆盖率与冗余控制。在四个基准数据集上的实验表明:相较于现有方法,该方案使平均分片大小平均降低58.3%,最大分片规模平均减少51.1%,PC指标达96.4%(整体提升3.4个百分点),PQ指标达11.6%(较最差基线提升至少6.6个百分点)。研究成果为分布式系统提供了兼顾分片质量与计算效率的解决方案,其量化指标验证了方法在覆盖率与冗余控制方面的双重优势。 展开更多

关键词 数据分片 分片优化 混合局部敏感哈希 meta-partitioning

在线阅读 下载PDF 职称材料

一种并行XML数据库分片策略 被引量：7

10

作者 王国仁 汤南 +2 位作者 于亚新 孙冰 于戈 《软件学报》 EI CSCD 北大核心 2006年第4期770-781,共12页

主要研究XML文档的并行数据分片策略,以便能够并行处理XML查询.为了描述XML数据分片,提出了媒介节点的概念.一组媒介节点的集合可以将一棵XML数据树分割成一棵根树和一组子树的集合:根树将在所有站点中复制;而子树集合则可以根据用户查... 主要研究XML文档的并行数据分片策略,以便能够并行处理XML查询.为了描述XML数据分片,提出了媒介节点的概念.一组媒介节点的集合可以将一棵XML数据树分割成一棵根树和一组子树的集合:根树将在所有站点中复制;而子树集合则可以根据用户查询的工作负载被均匀地分片到各个站点中.对于同一棵XML数据树,会有很多种媒介节点的集合;而不同的媒介节点集合会产生不同的数据分片结果.然后,依据各个数据分片中的用户查询工作量是否均衡,来衡量一个分片的好坏.选择一组最佳的媒介节点集合是一个NP-hard问题.为了解决此问题,设计了一组启发式优化规则.基于这一思想,提出并实现了一种基于媒介节点的XML数据分片算法WIN(workload-awareintermediarynodesdataplacementstrategy).大量实验结果证明:WIN算法的性能要优于以往的并行XML数据分片策略. 展开更多

关键词 并行数据库 XML文档 工作负载 数据分片 媒介节点

在线阅读 下载PDF 职称材料

网格数据库中基于发布/订阅的分片复制技术及实现 被引量：1

11

作者 高卫中 廖华明 《计算机应用》 CSCD 北大核心 2005年第6期1392-1395,共4页

就网格数据库的研究现状进行了介绍,并针对某企业的实际应用论述了如何基于OGSA DAI采用发布/订阅模式,实现网格数据库间的实时数据复制。就其关键技术———分片处理策略和体系结构等进行了论述。经测试基于发布/订阅的复制模式比基于O... 就网格数据库的研究现状进行了介绍,并针对某企业的实际应用论述了如何基于OGSA DAI采用发布/订阅模式,实现网格数据库间的实时数据复制。就其关键技术———分片处理策略和体系结构等进行了论述。经测试基于发布/订阅的复制模式比基于Oracle数据链路的Pull方式的数据复制模式具有更高的效率和更好的实时性。 展开更多

关键词 数据复制 发布/订阅 OGSA—DAI 网格数据库 数据分片

在线阅读 下载PDF 职称材料

云计算环境中面向OLTP应用的数据分布研究 被引量：10

12

作者 王晓燕 陈晋川 杜小勇 《计算机学报》 EI CSCD 北大核心 2016年第2期253-269,共17页

云计算为大型OLTP应用中分布式数据的高效存储和管理带来了新的机遇,大数据则对分布式数据的存储与管理提出了新的挑战,自动数据分布逐渐成为分布式系统中的研究重点和难点.该文对影响数据分布问题的三要素数据、负载和节点进行分析,将... 云计算为大型OLTP应用中分布式数据的高效存储和管理带来了新的机遇,大数据则对分布式数据的存储与管理提出了新的挑战,自动数据分布逐渐成为分布式系统中的研究重点和难点.该文对影响数据分布问题的三要素数据、负载和节点进行分析,将该问题抽象为数据分片、数据分配和负载执行3个相互关联的子问题,提出了数据分布问题的三角架构DaWN.由于不同的系统有不同的应用需求,DaWN架构以代价模型为枢纽,对特定应用需要达到的效能目标和资源限制进行调配,并提出了数据分布问题所面临的技术挑战.该文对DaWN架构中以顶点为代表的3个基本要素进行详细分析,着重对以边为代表的3条关联关系进行阐释,并据此对云环境中大规模OLTP应用的数据分片、数据分配和负载执行3个数据分布子问题的研究成果和进展进行归纳和总结.基于以上分析,该文以数据分片、数据分片和负载执行为变量,使用真值表覆盖数据分布问题中的8种类型,并采用三维立体坐标系的方式对相关工作的分布进行归纳总结和呈现.最后,该文从代价模型研究、测试基准研究、自动化数据分布技术研究、特定应用研究等4个角度,对数据分布问题的未来发展方向进行展望. 展开更多

关键词 数据分布 三角架构 数据分片 数据分配 OLTP 大数据

在线阅读 下载PDF 职称材料

分布式多空间数据库系统的集成技术 被引量：46

13

作者 邬伦 张毅 《地理学与国土研究》 CSSCI CSCD 北大核心 2002年第1期6-10,共5页

该文提出建立分布式多空间数据库系统来实现异构空间数据源的互操作 ,以达到空间信息共享的目的。首先介绍分布式多空间数据库的基本概念、系统结构以及关键技术 ;其次 ,通过对空间数据分布特征的分析 ,提出了多空间数据库系统集成的基... 该文提出建立分布式多空间数据库系统来实现异构空间数据源的互操作 ,以达到空间信息共享的目的。首先介绍分布式多空间数据库的基本概念、系统结构以及关键技术 ;其次 ,通过对空间数据分布特征的分析 ,提出了多空间数据库系统集成的基本思路“异构同化 ,同构整体化” 。 展开更多

关键词 GIS 空间数据库 分布式多空间数据库 空间数据分片 集成模型 地理信息系统

在线阅读 下载PDF 职称材料

数据库加速引擎技术研究 被引量：2

14

作者 王元珍 龚卫华 周英飙 《计算机科学》 CSCD 北大核心 2005年第12期79-82,共4页

数据库加速引擎是位于企业级数据库应用和数据库服务器之间,使用标准接口与底层数据库服务器通信,采用集群方式实现并行处理而不依赖于集成硬件,具有通用性的软件加速系统,能适应对性能要求较高的OLTP应用,该系统的性价比高,可扩展性好... 数据库加速引擎是位于企业级数据库应用和数据库服务器之间,使用标准接口与底层数据库服务器通信,采用集群方式实现并行处理而不依赖于集成硬件,具有通用性的软件加速系统,能适应对性能要求较高的OLTP应用,该系统的性价比高,可扩展性好,市场前景非常广阔。 展开更多

关键词 数据库集群 联机事务处理 数据分片 线索机制

在线阅读 下载PDF 职称材料

基于大数据的对账算法的设计 被引量：1

15

作者 闵孝忠 朱林立 《科学技术与工程》 北大核心 2014年第24期248-251,共4页

介绍了在大数据以及高并发的情况下,对大型交易系统中对账子系统进行模型定义以及对账算法设计,并把设计的算法应用于工程实践中,在实际的工业生产中取得较好的运行性能,其稳定度、可靠度、准确度都表现出了工业生成中的优异性能。

关键词 大数据 数据分片传输 对账算法

在线阅读 下载PDF 职称材料

连接查询的分片传输算法

16

作者 邹先霞 贾维嘉 潘久辉 《计算机工程与应用》 CSCD 北大核心 2009年第35期10-13,共4页

在分布式数据处理及信息集成应用中,大量使用涉及信息源本地基表的连接运算的查询,其结果往往数据量非常大,而这样的查询可能会被多次重复地使用,因此,如何降低数据通信量对于提高系统性能至关重要。提出了一个基于查询定义的分片传输... 在分布式数据处理及信息集成应用中,大量使用涉及信息源本地基表的连接运算的查询,其结果往往数据量非常大,而这样的查询可能会被多次重复地使用,因此,如何降低数据通信量对于提高系统性能至关重要。提出了一个基于查询定义的分片传输算法来降低数据传输量。 展开更多

关键词 连接查询 数据分片 视图维护

在线阅读 下载PDF 职称材料

省级防汛指挥系统数据分布策略与元数据库

17

作者 李订芳 郭生练 +1 位作者 王才君 田向荣 《水电能源科学》 2003年第2期66-68,80,共4页

在分析省级防汛指挥系统数据库的层次特征、数据采集点、地市及省数据中心的数据传输、检索与更新需求的基础上,设计了支持横向分片与混合型分配的多数据库系统的元数据库,提出了基于元数据库的省、地数据中心数据的分布策略。

关键词 防汛指挥系统 分布式数据库 元数据 数据分片 分配

在线阅读 下载PDF 职称材料

含微服务的调度自动化系统分布式实时数据库 被引量：26

18

作者 冯显力 韦化 +1 位作者 韦洪波 章勇 《电力系统保护与控制》 EI CSCD 北大核心 2018年第21期138-144,共7页

提出一种含微服务的调度自动化系统分布式实时数据库总体构架,解决了传统调度自动化系统中实时数据库数据处理慢、灵活性差和不易扩展等问题。根据实时数据库对数据时效性的要求,定义了遥测类、遥信类的简化数据模型,规避了复杂数据关... 提出一种含微服务的调度自动化系统分布式实时数据库总体构架,解决了传统调度自动化系统中实时数据库数据处理慢、灵活性差和不易扩展等问题。根据实时数据库对数据时效性的要求,定义了遥测类、遥信类的简化数据模型,规避了复杂数据关系的搜索,并运用数据分片技术对数据进行有效划分。采用微服务架构模式,将数据读写过程虚拟化为细粒度的数据服务,以云计算技术为核心,实现对微服务、分布式技术的深度整合。利用该构架实现的分布式实时数据库管理系统已在某实际电网中得到应用。实际运行效果表明,该构架下的实时数据库具有实时性高、扩展性强、运行稳定可靠等优点,为坚强智能电网的建设和发展提供技术支撑。 展开更多

关键词 调度自动化系统 分布式实时数据库 数据分片 微服务 云计算

在线阅读 下载PDF 职称材料

应用半连接的分布式数据库查询优化算法 被引量：4

19

作者 李川 《重庆理工大学学报（自然科学）》 CAS 2013年第11期74-77,共4页

分布式数据库具有分布性和冗余性,导致分布式查询处理比较复杂,因此查询优化是一个非常重要的问题。针对大规模数据分析分布式数据库的数据分片机制,建立改进的数据分片模型,并根据分布式数据库的查询优化目标分析查询优化算法,对半连... 分布式数据库具有分布性和冗余性,导致分布式查询处理比较复杂,因此查询优化是一个非常重要的问题。针对大规模数据分析分布式数据库的数据分片机制,建立改进的数据分片模型,并根据分布式数据库的查询优化目标分析查询优化算法,对半连接查询优化算法进行改进。实例分析表明:改进的半连接查询算法极大地降低了传输代价,提高了查询效率。 展开更多

关键词 分布式数据库 大规模数据 查询优化 数据分片 半连接

在线阅读 下载PDF 职称材料

检查复杂分片模式完整性的有效算法

20

作者 周娅 楼荣生 《计算机工程》 CAS CSCD 北大核心 1995年第4期31-36,共6页

对ＭｅｇｈｉｎｉＣ和ＴｈａｎｏｓＣ在《ＴｈｅＣｏｍｐｌｅｘｉｔｙｏｆｏｐｅｒａｔｉｏｎｓｏｎａＦｒａｇｍｅｎｔｅｄＲｅｌａｔｉｏｎ》一文中提出的检查复杂分片模式完整性的算法表示疑问，提出算法失败的一个反倒，并对原算法... 对ＭｅｇｈｉｎｉＣ和ＴｈａｎｏｓＣ在《ＴｈｅＣｏｍｐｌｅｘｉｔｙｏｆｏｐｅｒａｔｉｏｎｓｏｎａＦｒａｇｍｅｎｔｅｄＲｅｌａｔｉｏｎ》一文中提出的检查复杂分片模式完整性的算法表示疑问，提出算法失败的一个反倒，并对原算法进行修改，证明其正确性。 展开更多

关键词 数据分布 数据分片模式 算法 数据库 完整性

在线阅读 下载PDF 职称材料