期刊文献+
共找到62篇文章
< 1 2 4 >
每页显示 20 50 100
面向分布式数据库的算子并行优化策略 被引量:3
1
作者 刘文洁 吕靖超 《西北工业大学学报》 EI CAS CSCD 北大核心 2024年第3期453-459,共7页
随着网络技术的不断发展,数据规模呈现爆发式增长,使得传统的单机数据库逐步被分布式数据库所取代。分布式数据库采用节点协同工作方式解决了大规模数据存储问题,但由于增加了节点间通信开销,查询效率却不如单机数据库。分布式架构下,... 随着网络技术的不断发展,数据规模呈现爆发式增长,使得传统的单机数据库逐步被分布式数据库所取代。分布式数据库采用节点协同工作方式解决了大规模数据存储问题,但由于增加了节点间通信开销,查询效率却不如单机数据库。分布式架构下,存储节点的数据仅用作多备份的冗余,为系统故障时提供数据恢复,并未被利用起来改善查询效率。针对上述问题,提出了一种面向分布式数据库的算子并行优化策略,通过对关键物理算子进行拆分,将拆分后的子请求均匀分配到存储层多个节点,由多个节点并行处理,从而减少查询响应时间。上述策略已经在分布式数据库CBase上进行了应用,实验表明,提出的并行优化策略可显著缩短SQL请求查询时间,并提高系统资源利用率。 展开更多
关键词 分布式数据库 并行查询 查询优化 负载均衡 数据分区
在线阅读 下载PDF
一种并行XML数据库分片策略 被引量:7
2
作者 王国仁 汤南 +2 位作者 于亚新 孙冰 于戈 《软件学报》 EI CSCD 北大核心 2006年第4期770-781,共12页
主要研究XML文档的并行数据分片策略,以便能够并行处理XML查询.为了描述XML数据分片,提出了媒介节点的概念.一组媒介节点的集合可以将一棵XML数据树分割成一棵根树和一组子树的集合:根树将在所有站点中复制;而子树集合则可以根据用户查... 主要研究XML文档的并行数据分片策略,以便能够并行处理XML查询.为了描述XML数据分片,提出了媒介节点的概念.一组媒介节点的集合可以将一棵XML数据树分割成一棵根树和一组子树的集合:根树将在所有站点中复制;而子树集合则可以根据用户查询的工作负载被均匀地分片到各个站点中.对于同一棵XML数据树,会有很多种媒介节点的集合;而不同的媒介节点集合会产生不同的数据分片结果.然后,依据各个数据分片中的用户查询工作量是否均衡,来衡量一个分片的好坏.选择一组最佳的媒介节点集合是一个NP-hard问题.为了解决此问题,设计了一组启发式优化规则.基于这一思想,提出并实现了一种基于媒介节点的XML数据分片算法WIN(workload-awareintermediarynodesdataplacementstrategy).大量实验结果证明:WIN算法的性能要优于以往的并行XML数据分片策略. 展开更多
关键词 并行数据库 XML文档 工作负载 数据分片 媒介节点
在线阅读 下载PDF
一种实现拓扑关系高效并行计算的矢量数据划分方法 被引量:9
3
作者 杨宜舟 吴立新 +2 位作者 郭甲腾 李志锋 刘善军 《地理与地理信息科学》 CSCD 北大核心 2013年第4期25-29,共5页
分析了拓扑关系并行算法的特点,为实现拓扑关系并行计算进程间的任务均衡与负载均衡,提出了一种矢量目标集的数据均衡划分方法,基于该划分方法设计了拓扑关系并行算法并测试了算法性能。测试表明:利用该方法可实现进程间计算负载的高度... 分析了拓扑关系并行算法的特点,为实现拓扑关系并行计算进程间的任务均衡与负载均衡,提出了一种矢量目标集的数据均衡划分方法,基于该划分方法设计了拓扑关系并行算法并测试了算法性能。测试表明:利用该方法可实现进程间计算负载的高度均衡与数据负载的基本均衡,加速比随进程数基本呈线性增长,算法并行效率基本不随进程数增加而衰减,基本稳定在80%。该方法为面向单机多核、众核和高性能集群环境下的海量数据拓扑关系分析软件的开发与服务提供一种高效的矢量数据划分方法。 展开更多
关键词 拓扑关系 并行计算 数据划分 负载均衡 任务均衡
在线阅读 下载PDF
并行数据库的改进Hash划分方法及并行Join算法 被引量:4
4
作者 陆丽娜 孟虹 +1 位作者 魏恒义 杨麦顺 《计算机研究与发展》 EI CSCD 北大核心 2000年第2期159-163,共5页
文中提出了Hash 划分的改进方法——IH 划分. IH划分为结点扩充时数据的重新划分提供了方便.在论述IH 划分的基础上,给出了基于该数据划分方法的并行Join 算法.利用已有的数据分布,文中提出的并行Join 算法提高... 文中提出了Hash 划分的改进方法——IH 划分. IH划分为结点扩充时数据的重新划分提供了方便.在论述IH 划分的基础上,给出了基于该数据划分方法的并行Join 算法.利用已有的数据分布,文中提出的并行Join 算法提高了算法的效率.最后,从理论上对以上并行算法的计算复杂性进行了分析. 展开更多
关键词 数据 并行数据库 数据划分 JOIN算法
在线阅读 下载PDF
大数据管理技术研究综述 被引量:14
5
作者 张滨 陈吉荣 乐嘉锦 《计算机应用与软件》 CSCD 北大核心 2014年第11期1-5,10,共6页
大数据具有规模大、深度大、宽度大、处理时间短、硬件系统普通化、软件系统开源化等特点。传统关系型数据库在对大数据进行操作时,系统性能严重下降。因此,大数据管理技术研究成为当前研究热点。分别从并行数据库,面向大数据处理的MapR... 大数据具有规模大、深度大、宽度大、处理时间短、硬件系统普通化、软件系统开源化等特点。传统关系型数据库在对大数据进行操作时,系统性能严重下降。因此,大数据管理技术研究成为当前研究热点。分别从并行数据库,面向大数据处理的MapReduce模型,NoSQL与数据库技术的对比以及MapReduce与数据库技术相结合四个方面,对国内外的研究发展状况进行分析和评述,最后展望了未来大数据研究发展方向。 展开更多
关键词 大数据 数据库 MAPREDUCE 并行数据库系统 非关系型数据库
在线阅读 下载PDF
大规模数据密集型系统中的去重查询优化 被引量:6
6
作者 宋怀明 安明远 +2 位作者 王洋 袁春阳 孙凝晖 《计算机研究与发展》 EI CSCD 北大核心 2010年第4期581-588,共8页
针对shared-nothing结构下大规模数据密集型系统去重查询的挑战,提出了一种有效的数据分布策略和并行处理方法分别对相关属性和无关属性去重进行优化:即自适应的散列和直方图相结合的数据分布策略,以及异步式并行查询中间件.前者在数据... 针对shared-nothing结构下大规模数据密集型系统去重查询的挑战,提出了一种有效的数据分布策略和并行处理方法分别对相关属性和无关属性去重进行优化:即自适应的散列和直方图相结合的数据分布策略,以及异步式并行查询中间件.前者在数据写入时保证数据均衡,并在数据量发生倾斜时自动调整数据的分布;后者充分发掘了去重查询处理中的粗粒度流水级并行,并消除了多节点同步等待的开销,尽早地返回结果.在生产系统DBroker上的测试表明,数据分布策略极大地改善相关属性的去重查询性能,而异步式并行查询引擎能够充分发掘并行性,对不相关属性的去重查询具有显著的性能提升. 展开更多
关键词 去重查询 数据划分 大规模数据密集型系统 异步查询 并行查询引擎
在线阅读 下载PDF
基于数据中心的企业应用系统整合平台架构的研究和设计 被引量:5
7
作者 王柯柯 崔英志 +1 位作者 黄贤英 黄丽丰 《西南大学学报(自然科学版)》 CAS CSCD 北大核心 2009年第11期129-132,共4页
讨论了数据中心的基本功能和设计原则,并以此为基础提出了面向企业的应用系统整合平台架构,详细分析了应用系统平台集群结构.该体系有助于提高企业信息化建设的水平、保障业务数据安全、构建一体化系统平台.
关键词 数据中心 系统集群 并行数据库
在线阅读 下载PDF
并行数据库系统的数据重组研究 被引量:3
8
作者 金树东 冯玉才 王元珍 《小型微型计算机系统》 EI CSCD 北大核心 1998年第3期28-33,共6页
数据倾斜对并行数据库系统性能的影响极大。本文提出解决初始数据倾斜的记录移动法 ,确定了数据平衡的记录移动法、负载平衡的记录移动法 ,及通常的重新划分法之间取舍的界线 ,并举例进行模拟研究。
关键词 并行数据库 数据划分 数据重组 数据库系统
在线阅读 下载PDF
调度自动化系统增强型数据仓库平台构建及应用 被引量:11
9
作者 何晓峰 王钢 李海锋 《电力系统自动化》 EI CSCD 北大核心 2008年第4期81-84,102,共5页
数据仓库是信息管理和分析型应用的有效平台。文中针对目前数据仓库不能支持实时数据存储处理和短时战术决策的局限性,提出了一种调度自动化系统增强型数据仓库平台体系结构,主要由信息一体化节点、实时数据处理中心、主动数据仓库和系... 数据仓库是信息管理和分析型应用的有效平台。文中针对目前数据仓库不能支持实时数据存储处理和短时战术决策的局限性,提出了一种调度自动化系统增强型数据仓库平台体系结构,主要由信息一体化节点、实时数据处理中心、主动数据仓库和系统管理工具等构成,从而实现了数据抽取和转换能力、实时响应性能以及对突发事件捕获能力的增强。在已投入电网运行的自开发SCUT2008电网调度自动化系统中的应用与测试,证明了其性能的增强。 展开更多
关键词 调度自动化系统 数据仓库 抽取 转换和加载(ETL) 实时数据库 主动规则
在线阅读 下载PDF
矢量多边形并行栅格化数据划分方法 被引量:4
10
作者 周琛 李满春 +2 位作者 陈振杰 姜朋辉 陈东 《国防科技大学学报》 EI CAS CSCD 北大核心 2015年第5期21-28,共8页
针对多边形并行栅格化中的负载不均衡问题提出一种新的数据划分方法,主要包括:迭代计算划分线的位置,在每次迭代中保证分块间的计算量大致均衡,完成数据划分、实现负载均衡;提出基于二叉树的划分结果融合策略,以解决跨边界多边形的融合... 针对多边形并行栅格化中的负载不均衡问题提出一种新的数据划分方法,主要包括:迭代计算划分线的位置,在每次迭代中保证分块间的计算量大致均衡,完成数据划分、实现负载均衡;提出基于二叉树的划分结果融合策略,以解决跨边界多边形的融合问题。在多核CPU环境下实现并行算法,选用多个典型土地利用现状数据集进行测试。结果表明:针对不同类型多边形数据集,所提方法较传统方法可获得更高的并行加速比和更好的负载均衡;针对大数据量数据集,以多边形节点数为度量标准可更精确地估算分块计算量,从而更好地实现负载均衡。 展开更多
关键词 地理信息系统 并行计算 多边形栅格化 数据划分 负载均衡
在线阅读 下载PDF
一个用于数据并行语言计算划分的时序优化模型(英文) 被引量:2
11
作者 余华山 胡长军 +2 位作者 黄其军 丁文魁 许卓群 《软件学报》 EI CSCD 北大核心 2001年第10期1434-1446,共13页
一个程序中数据并行语句的计算划分 (CP)对该程序的运行性能有决定性的作用 .尽管人们对这一问题已经进行了广泛的研究 ,但这些研究的重点都集中在如何提高被选择计算划分的空间局部性上 .针对并行循环结构的计算划分问题 ,提出了一个... 一个程序中数据并行语句的计算划分 (CP)对该程序的运行性能有决定性的作用 .尽管人们对这一问题已经进行了广泛的研究 ,但这些研究的重点都集中在如何提高被选择计算划分的空间局部性上 .针对并行循环结构的计算划分问题 ,提出了一个时序优化模型 .在该模型中 ,一个计算划分被表示成一个有向图 ,在把并行语句中的操作映射到各个处理器的同时 ,给出了被分配到不同处理器上的操作之间的相关性 .对于一条数据并行语句 ,时序优化模型对它的每个计算划分选择方案分别采用多种有效的优化策略进行优化 ;并综合考虑各个计算划分选择方案的负载平衡性、处理器间的操作依赖性、数据访问的空间局部性和时间局部性四个方面的因素 ,估算每个方案的执行效率 ;最后从这些方案中选择一个执行效率最优的方案作为该语句的计算划分 .作者已在 HPF编译器 p-HPF采用时序优化模型实现了对 FORAL L结构的支持 .实验结果表明 ,该模型具有非常好的通用性 ,对不同领域多种数据并行问题均取得了理想的加速比 .同时 ,只需略微改动 ,该模型也可用于其他类型数据并行语句的计算划分 . 展开更多
关键词 计算划分 数据相关 数据重用 时序优化模型 数据并行语言 程序
在线阅读 下载PDF
并行数据库系统原型PARO 被引量:12
12
作者 金树东 冯玉才 《计算机科学》 CSCD 北大核心 1997年第3期41-45,共5页
PARO系统是一个基于无共享硬件结构的并行数据库系统的原型。
关键词 PARO 并行数据库系统 设计
在线阅读 下载PDF
基于代理的并行空间查询语言 被引量:2
13
作者 范协裕 任应超 +1 位作者 邓富亮 王庆刚 《计算机工程》 CAS CSCD 2013年第11期61-64,共4页
目前针对并行空间数据处理的研究主要集中在空间数据划分及其在其基础上的并行空间算法,对空间并行数据库平台本身的可用性,如应用程序的开发模式、高并发请求支持等研究较少。为此,对开源并行关系数据库查询语言进行空间查询扩展,提出... 目前针对并行空间数据处理的研究主要集中在空间数据划分及其在其基础上的并行空间算法,对空间并行数据库平台本身的可用性,如应用程序的开发模式、高并发请求支持等研究较少。为此,对开源并行关系数据库查询语言进行空间查询扩展,提出一种基于代理的并行空间查询语言,并实现相应的并行数据库平台原型。基于该平台开发标准的网络地图绘图服务,在高并发环境下使用该服务对海量矢量数据进行实时渲染。实验结果表明,该平台具有与传统关系数据库一致的开发应用模式,可提供无缝的衔接方式,在海量数据高并发的情况下具有较高的可用性及查询性能。 展开更多
关键词 空间查询语言 并行空间数据处理 网络地图服务 并行数据库 空间查询 空间数据划分
在线阅读 下载PDF
云环境下地籍数据高效并行化的拓扑检查 被引量:2
14
作者 何群 杨宜舟 +2 位作者 郭甲腾 吴立新 刘善军 《测绘通报》 CSCD 北大核心 2018年第12期74-78,共5页
对于大规模空间数据集,当前拓扑关系串行算法的计算效率已提升至极限,需利用更多的计算资源实现拓扑关系的高效并行计算。本文在分析拓扑关系计算层次特征与拓扑计算特点的基础上,引入Q&R索引实现矢量数据集的划分与非相交矢量数据... 对于大规模空间数据集,当前拓扑关系串行算法的计算效率已提升至极限,需利用更多的计算资源实现拓扑关系的高效并行计算。本文在分析拓扑关系计算层次特征与拓扑计算特点的基础上,引入Q&R索引实现矢量数据集的划分与非相交矢量数据集过滤,研发了拓扑关系并行算法中间件,在云环境下进行了部署,并应用于大规模宗地数据的质量检查。应用结果表明:在云环境的虚拟化集群资源中,利用本文方法可实现进程间计算任务负载的高度均衡与数据负载的基本均衡;加速比与进程数呈线性正相关,拓扑并行算法的计算效率稳定在80%。本文为基于云环境虚拟化的各种高性能计算环境下海量地籍数据库的拓扑关系质量检查服务提供了一种高效可用的并行计算算法与并行计算中间件。 展开更多
关键词 拓扑关系 并行计算 云计算 数据划分 负载均衡
在线阅读 下载PDF
数据不规则问题并行计算的负载平衡策略的研究 被引量:7
15
作者 刘鑫 陆林生 《计算机应用》 CSCD 北大核心 2004年第10期108-111,共4页
讨论以边缘通信为特征的数据不规则问题并行计算的静态负载平衡策略。从图论的角度讨论了静态负载平衡问题,给出三个优化目标,即点集等分,最短通路和通信量最小。对于以边缘通信为特征的一般数值计算问题,论述了二维问题正方形划分总通... 讨论以边缘通信为特征的数据不规则问题并行计算的静态负载平衡策略。从图论的角度讨论了静态负载平衡问题,给出三个优化目标,即点集等分,最短通路和通信量最小。对于以边缘通信为特征的一般数值计算问题,论述了二维问题正方形划分总通信量最小、并行效率最高,三维问题立方体划分总通信量最小、并行效率最高的结论。基于以上结论和实际课题特点,提出一种一维优先的规则分块算法和基于自动重分块的不规则分块算法相结合的方法。实验证明,该方法实现简单,能够处理不同规模的数据不规则问题,达到较优的负载平衡和较高的通信效率,提高并行程序的整体效率。 展开更多
关键词 数据不规则问题 并行计算 静态负载平衡 规则划分 自动重分
在线阅读 下载PDF
Shared-nothing并行事务数据库系统中规则的挖掘与更新算法 被引量:3
16
作者 朱玉全 陈耿 +1 位作者 宋余庆 孙志挥 《小型微型计算机系统》 CSCD 北大核心 2003年第8期1499-1502,共4页
关联规则是数据挖掘中的一个重要研究内容 .本文提出了 Shared- nothing并行事务数据库系统 (简称SNPDBS)中一种快速的关联规则挖掘算法 SNPMAR,并考虑当最小支持度发生变化后 SNPDBS中关联规则的高效更新问题 ,提出了一种有效的关联规... 关联规则是数据挖掘中的一个重要研究内容 .本文提出了 Shared- nothing并行事务数据库系统 (简称SNPDBS)中一种快速的关联规则挖掘算法 SNPMAR,并考虑当最小支持度发生变化后 SNPDBS中关联规则的高效更新问题 ,提出了一种有效的关联规则更新算法 SNPIUA. 展开更多
关键词 数据挖掘 关联规则 shared—nothing 并行事务数据库系统 增量式更新
在线阅读 下载PDF
基于数据动态冗余的分布式并行系统重构机制 被引量:3
17
作者 陈建英 刘心松 +1 位作者 左朝树 陈小辉 《计算机应用研究》 CSCD 北大核心 2004年第11期229-231,256,共4页
设计高可用分布式并行数据库系统,系统重构不能只局限于单节点状态变化,为此提出了基于数据动态冗余的分布式并行系统重构机制。该机制通过相关事件触发系统检测,及时分布采集节点状态信息,借助数据的再生和转移,在各节点并行完成负载... 设计高可用分布式并行数据库系统,系统重构不能只局限于单节点状态变化,为此提出了基于数据动态冗余的分布式并行系统重构机制。该机制通过相关事件触发系统检测,及时分布采集节点状态信息,借助数据的再生和转移,在各节点并行完成负载失衡和节点状态变化下的系统自动重构。实际应用表明,该机制解决了多节点状态同时变化的系统资源和数据资源的重构问题,保证了数据库系统的高可用性。 展开更多
关键词 分布式并行数据库系统 系统重构 数据动态冗余 高可用性
在线阅读 下载PDF
地籍数据库点线拓扑一致性并行检查方法 被引量:3
18
作者 杨宜舟 吴立新 +1 位作者 郭甲腾 刘善军 《国防科技大学学报》 EI CAS CSCD 北大核心 2015年第5期40-46,共7页
针对拓扑检查算法复杂、计算量大,串行计算已远不能满足海量地籍数据高效拓扑检查需求的问题,在分析了点线拓扑关系的并行特点基础上,将界址点的数据划分方法与界址线的Q&R空间索引方法相结合,实现了界址点与界址线的并行拓扑计算... 针对拓扑检查算法复杂、计算量大,串行计算已远不能满足海量地籍数据高效拓扑检查需求的问题,在分析了点线拓扑关系的并行特点基础上,将界址点的数据划分方法与界址线的Q&R空间索引方法相结合,实现了界址点与界址线的并行拓扑计算。用某地区实际的界址点集与界址线集对点线拓扑并行检查进行实验。测试结果表明:并行检查算法的并行效率随着进程数的增加而有所衰减,但稳定在30%以上,加速比达到5以上,且相比于Arc GIS效率提升了30倍以上。并行检查方法以工具的方式集成应用于高性能地理计算平台中,应用效果良好。 展开更多
关键词 地籍数据库 拓扑关系 数据质量 并行计算 高性能地理计算平台
在线阅读 下载PDF
并行点面叠加算法在动态调度和静态调度中的对比研究 被引量:3
19
作者 邱强 曹磊 方金云 《地理与地理信息科学》 CSCD 北大核心 2013年第4期35-38,共4页
矢量数据叠加分析是空间分析的一种基础算法,该文基于MPI在Linux集群环境下,采用基于平均条带划分法进行点包含性测试。通过R-tree对数据进行划分,保证了数据的空间邻近性;通过动态调度或静态调度,保证了各个子节点之间的负载均衡。实... 矢量数据叠加分析是空间分析的一种基础算法,该文基于MPI在Linux集群环境下,采用基于平均条带划分法进行点包含性测试。通过R-tree对数据进行划分,保证了数据的空间邻近性;通过动态调度或静态调度,保证了各个子节点之间的负载均衡。实验结果表明,动态调度策略总体优于静态调度策略,但也存在诸如数据划分粒度以及I/O瓶颈的问题。 展开更多
关键词 并行点面叠加 动态负载均衡 数据划分 MPI LINUX集群
在线阅读 下载PDF
基于热点内容的动态数据调整方法 被引量:1
20
作者 曹忠升 杨良聪 唐曙光 《计算机工程与应用》 CSCD 北大核心 2006年第19期174-176,共3页
数据倾斜和热点的存在对并行数据库系统的性能有极大影响,目前国内外对这类问题的研究主要着眼于让数据均匀地分布在各节点上。但这些方法均无法避免由于某些节点访问过于频繁而导致的热点问题。文章提出的方法将目标放在解决热点问题上... 数据倾斜和热点的存在对并行数据库系统的性能有极大影响,目前国内外对这类问题的研究主要着眼于让数据均匀地分布在各节点上。但这些方法均无法避免由于某些节点访问过于频繁而导致的热点问题。文章提出的方法将目标放在解决热点问题上,通过在过载节点上寻找那些对负载影响最大的热点数据并对其分解,来达到平衡负载的目的。 展开更多
关键词 并行数据库 数据划分 热点 负载平衡
在线阅读 下载PDF
上一页 1 2 4 下一页 到第
使用帮助 返回顶部