期刊文献+
共找到1,353篇文章
< 1 2 68 >
每页显示 20 50 100
并行数据库中JOIN运算的并行算法 被引量:2
1
作者 黄明和 钟萃相 《计算机工程与科学》 CSCD 2006年第2期90-92,共3页
JOIN运算的并行算法一直是并行数据库领域中研究的热点问题,先后出现了一系列并行JOIN算法或改进算法,但它们都存在着通信效率较低、负载调度频繁等问题。本文针对这些问题,在分析比较前人工作的基础上对SABJ+算法与ABJ+算法加以改进,... JOIN运算的并行算法一直是并行数据库领域中研究的热点问题,先后出现了一系列并行JOIN算法或改进算法,但它们都存在着通信效率较低、负载调度频繁等问题。本文针对这些问题,在分析比较前人工作的基础上对SABJ+算法与ABJ+算法加以改进,得到了效率更高的并行JOIN算法ABJ++。 展开更多
关键词 串行join算法 并行join算法 并行Hash join算法 分桶
在线阅读 下载PDF
并行数据库上的并行CMD-Join算法 被引量:5
2
作者 李建中 都薇 《软件学报》 EI CSCD 北大核心 1998年第4期256-262,共7页
并行数据库在多处理机之间的分布方法(简称数据分布方法)对并行数据操作算法的性能影响很大.如果在设计并行数据操作算法时充分利用数据分布方法的特点,可以得到十分有效的并行算法.本文研究如何充分利用数据分布方法的特点,设计... 并行数据库在多处理机之间的分布方法(简称数据分布方法)对并行数据操作算法的性能影响很大.如果在设计并行数据操作算法时充分利用数据分布方法的特点,可以得到十分有效的并行算法.本文研究如何充分利用数据分布方法的特点,设计并行数据操作算法的问题,提出了基于CMD多维数据分布方法的并行CMD-Join算法.理论分析和实验结果表明。 展开更多
关键词 并行数据库 并行join算法 CMD-join算法
在线阅读 下载PDF
NES-Join算法的改进算法
3
作者 柯莉珍 苏厚勤 《计算机应用与软件》 CSCD 北大核心 2007年第9期175-178,共4页
NES-Join算法是一种无需外排序的连接运算算法,其复杂性优于经典的Sort-Merge Join算法及改进后的SDC-Join算法。在NES-Join算法基础上提出一种改进算法,该算法能够有效压缩原算法中未匹配记录暂存块中的空记录信息,从而使NES-Join算法... NES-Join算法是一种无需外排序的连接运算算法,其复杂性优于经典的Sort-Merge Join算法及改进后的SDC-Join算法。在NES-Join算法基础上提出一种改进算法,该算法能够有效压缩原算法中未匹配记录暂存块中的空记录信息,从而使NES-Join算法更具实用性。通过实验和分析表明,改进后的NES-Join算法与原算法时间复杂性相当,但显著提高了磁盘空间的使用率。 展开更多
关键词 join运算 join算法 NES-join算法
在线阅读 下载PDF
CPU和DRAM加速任务划分方法:大数据处理中Hash Joins的加速实例 被引量:3
4
作者 吴林阳 罗蓉 +1 位作者 郭雪婷 郭崎 《计算机研究与发展》 EI CSCD 北大核心 2018年第2期289-304,共16页
硬件加速器能够有效地提高当前计算机系统的能效.然而,传统的硬件加速器(如GPU,FPGA和定制的加速器)和内存是相互分离的,加速器和内存之间的数据移动难以避免,这使得如何降低加速器和内存之间数据移动的开销成为极具挑战性的问题.随着... 硬件加速器能够有效地提高当前计算机系统的能效.然而,传统的硬件加速器(如GPU,FPGA和定制的加速器)和内存是相互分离的,加速器和内存之间的数据移动难以避免,这使得如何降低加速器和内存之间数据移动的开销成为极具挑战性的问题.随着靠近数据的处理技术(near-dataprocessing)和3D堆叠DRAM的出现,我们能够将硬件加速器集成到3D堆叠DRAM中,使得数据移动的开销大大降低.然而,由于3D堆叠DRAM对面积、功耗和散热具有严格的限制,所以不可能将一个功能复杂的硬件加速器完整地集成到DRAM中.因此,在设计内存端的硬件加速器时,应该考虑将加速任务在CPU和加速器之间合理地进行划分.以加速大数据系统中的一个关键操作hash joins为例子,阐述了CPU和内存端加速任务划分的设计思想.以减少数据移动为出发点,设计了一个包含内存端定制加速器和处理器端SIMD加速单元的混合加速系统,并对应用进行分析,将加速任务划分到不同的加速器.其中,内存端的加速器用于加速数据移动受限的执行阶段,而处理器端SIMD加速单元则用于加速数据移动开销较低成本的执行阶段.实验结果表明:与英特尔的Haswell处理器和Xeon Phi相比,设计的混合加速系统的能效分别提升了47.52倍和19.81倍.此外,提出的以数据移动为驱动的方法很容易扩展于指导其他应用的加速设计. 展开更多
关键词 3D堆叠内存 加速器 大数据 HASH joins RADIX joins算法的优化版本 hash分区加速器
在线阅读 下载PDF
Spark查询引擎中Join操作的优化 被引量:1
5
作者 赵丽梅 黄小菊 宫学庆 《计算机应用与软件》 北大核心 2022年第8期44-50,共7页
Spark是基于Map/Reduce计算模型进行大规模数据处理的分布式系统,每个任务都会被分为很多Map处理和Reduce处理在各个节点上并行执行。Shuffle操作是用于连接Map处理和Reduce处理的桥梁。在对两个大表进行Join操作的过程中,如果两表Join... Spark是基于Map/Reduce计算模型进行大规模数据处理的分布式系统,每个任务都会被分为很多Map处理和Reduce处理在各个节点上并行执行。Shuffle操作是用于连接Map处理和Reduce处理的桥梁。在对两个大表进行Join操作的过程中,如果两表Join列不完全匹配,Spark中现有的Join实现算法会对大量数据进行shuffle操作,严重影响执行效率。提出一种基于Semi Join思想的Join实现算法——Semi Sort Merge Join,通过对左表Join列数据所构建的HashMap对右表数据进行过滤,可以有效减少Shuffle操作过程中所需传输的数据量。算法分析和实验结果表明,对于Join列数据不完全匹配的大表间Join操作,该算法能有效减少Shuffle操作的开销,右表与左表匹配数据量越少,算法优化的效果越明显。 展开更多
关键词 SPARK join SHUFFLE Semi join
在线阅读 下载PDF
调度Fork-Join任务图的贪心算法 被引量:6
6
作者 杨斌 张建军 杨峰 《计算机工程与设计》 CSCD 北大核心 2008年第15期3864-3866,3894,共4页
任务调度算法的目标是把组成并行程序的一组任务分配到多个处理器以使得程序的完成时间最短,这是一个NP完全问题。虽然许多算法在任务满足某些条件时能产生最优调度,但大多都忽略了节省处理器个数和最小化程序总的完成时间等问题。Fork-... 任务调度算法的目标是把组成并行程序的一组任务分配到多个处理器以使得程序的完成时间最短,这是一个NP完全问题。虽然许多算法在任务满足某些条件时能产生最优调度,但大多都忽略了节省处理器个数和最小化程序总的完成时间等问题。Fork-Join结构是一种并行处理的基本结构。因此,专门针对Fork-Join任务图,提出了一个能产生最优调度的新的贪心调度算法,该算法具有高的加速比和总体效率,时间复杂度为2,其中,表示任务集中任务的个数。实验结果表明,相比其它算法,该算法具有较短的调度长度、较短的完成时间,使用的处理器数较少。 展开更多
关键词 最优调度算法 任务复制 Fork—join任务图 关键任务 加速比
在线阅读 下载PDF
一个调度Fork-Join任务图的最优算法(英文) 被引量:8
7
作者 李庆华 阮幼林 +2 位作者 刘干 蒋盛益 杨世达 《软件学报》 EI CSCD 北大核心 2005年第5期684-690,共7页
Fork-Join任务图是一种并行处理的基本结构.虽然许多算法在任务满足某些条件时能产生最优调度,但往往没有考虑节省处理器个数和减少任务集的总完成时间,从而降低算法的加速比和效率.因此,提出一种基于任务复制的平衡调度算法,其时间复... Fork-Join任务图是一种并行处理的基本结构.虽然许多算法在任务满足某些条件时能产生最优调度,但往往没有考虑节省处理器个数和减少任务集的总完成时间,从而降低算法的加速比和效率.因此,提出一种基于任务复制的平衡调度算法,其时间复杂度为O(vq+vlogv),v和q分别表示任务集中任务的个数和使用的处理器个数.通过分析已用处理器的负载和空闲时间段,把任务尽量分配到已用的处理器上以均衡负载,从而提高其利用率.实验结果表明,该算法的加速比和总体效率优于其他算法.因此,该算法对于高性能应用程序的调度是一个较好的选择. 展开更多
关键词 任务调度 任务复制 FORK-join任务图 加速比
在线阅读 下载PDF
并行数据库的改进Hash划分方法及并行Join算法 被引量:4
8
作者 陆丽娜 孟虹 +1 位作者 魏恒义 杨麦顺 《计算机研究与发展》 EI CSCD 北大核心 2000年第2期159-163,共5页
文中提出了Hash 划分的改进方法——IH 划分. IH划分为结点扩充时数据的重新划分提供了方便.在论述IH 划分的基础上,给出了基于该数据划分方法的并行Join 算法.利用已有的数据分布,文中提出的并行Join 算法提高... 文中提出了Hash 划分的改进方法——IH 划分. IH划分为结点扩充时数据的重新划分提供了方便.在论述IH 划分的基础上,给出了基于该数据划分方法的并行Join 算法.利用已有的数据分布,文中提出的并行Join 算法提高了算法的效率.最后,从理论上对以上并行算法的计算复杂性进行了分析. 展开更多
关键词 数据 并行数据库 数据划分 join算法
在线阅读 下载PDF
排序合并Join算法的新结果 被引量:5
9
作者 孙文隽 李建中 《软件学报》 EI CSCD 北大核心 1999年第3期264-269,共6页
Join操作是数据库中最昂贵和最常用的操作.排序合并Join算法是实现Join操作的重要算法,得到了普遍接受并广为应用.在重新研究了排序合并Join算法后发现,同时对两个Join关系进行外排序是不必要的,会带来很大的... Join操作是数据库中最昂贵和最常用的操作.排序合并Join算法是实现Join操作的重要算法,得到了普遍接受并广为应用.在重新研究了排序合并Join算法后发现,同时对两个Join关系进行外排序是不必要的,会带来很大的额外开销.针对这个问题,提出了一种基于单关系外排序的分治Join算法,并在该算法的基础上提出了基于单关系外排序的并行分治Join算法.理论和实验结果证明,基于单关系排序的分治Join算法高于排序合并Join算法.特别是在并行计算环境下,基于单关系排序的并行分治Join算法的效率远远高于排序合并Join算法的并行版本. 展开更多
关键词 join操作 排序合并 Joni算法 数据库系统
在线阅读 下载PDF
WPDL中的JOIN语义问题和分区解决方案 被引量:11
10
作者 郝克刚 王斌君 安贵 《计算机科学》 CSCD 北大核心 2003年第7期122-125,共4页
The semantic of JOIN in workflow process definition language WPDL is analyzed and studied. It points outthat there is a problem about AND-JOIN. To solve the problem, the synchronized semantic of AND-JOIN in extend-ed ... The semantic of JOIN in workflow process definition language WPDL is analyzed and studied. It points outthat there is a problem about AND-JOIN. To solve the problem, the synchronized semantic of AND-JOIN in extend-ed Xinpai-driven model is defined formally. It puts forward the concepts of synchronizedarea and asynchronizedarea. It gives the solution of true-and-false token rules in synchronized area and true token rules in asychronized area,and some other issues arisen from the solution are studied systematically and completely. The constrain issues of con-trol structures in synchronized area and asynchronized area are discussed, and its solution is put forward. Finally, thealgorithm of how to find the focus point and synchronized area is given. 展开更多
关键词 工作流管理系统 软件系统 join语义 WPDL 人机界面管理系统
在线阅读 下载PDF
面向Fork/Join框架的软件重构及性能分析 被引量:2
11
作者 张冬雯 柳晨光 张杨 《计算机应用》 CSCD 北大核心 2015年第11期3172-3177,共6页
针对目前对于Fork/Join框架应用和性能分析的相关工作还不多的现状,以JGF基准测试程序套件为基础,对其中的series、crypt、sparsematmult和sor等程序使用Fork/Join框架进行重构,并以series程序为例,详细地说明了重构的过程。在实验中,首... 针对目前对于Fork/Join框架应用和性能分析的相关工作还不多的现状,以JGF基准测试程序套件为基础,对其中的series、crypt、sparsematmult和sor等程序使用Fork/Join框架进行重构,并以series程序为例,详细地说明了重构的过程。在实验中,首先,测试了每个程序在不同阈值下使用Fork/Join框架分别递归1、2、3次执行程序的时间,进而选择相对较好的阈值;然后,对每个程序使用Fork/Join框架和使用Thread的执行时间进行了对比;此外,测试了重构后的程序在执行过程中任务窃取的情况。实验结果表明,Fork/Join框架执行时间与多线程执行时间相比,平均降低了14.2%;对于series程序,当数据大小为size C且线程个数为2时,Fork/Join框架执行时间比多线程执行时间降低高达40%,可见,在多核处理器平台上应用Fork/Join框架比使用多线程将获得更好的性能。 展开更多
关键词 Fork/join框架 软件重构 工作窃取 性能分析
在线阅读 下载PDF
基于并行B^+-树的并行Join算法的设计、分析与实现 被引量:2
12
作者 孙文隽 李建中 常红 《计算机学报》 EI CSCD 北大核心 1998年第1期10-17,共8页
B+-树是一种有效的数据库存储结构,被普遍应用于各种关系数据库系统.把B+-树并行化,使之用于并行数据库系统显然是一项很有意义的重要工作.本文研究了适用于并行数据库的并行B+-树存储结构,提出两类基于并行B+-树的并行Join算... B+-树是一种有效的数据库存储结构,被普遍应用于各种关系数据库系统.把B+-树并行化,使之用于并行数据库系统显然是一项很有意义的重要工作.本文研究了适用于并行数据库的并行B+-树存储结构,提出两类基于并行B+-树的并行Join算法.理论和实验结果表明,这些算法效率高于其它并行Join算法. 展开更多
关键词 并行数据库 并行B^+-树 并行join算法 数据库
在线阅读 下载PDF
后期负载调整:一个并行JOIN动态负载平衡算法 被引量:2
13
作者 葛芝宾 谢立 金志权 《小型微型计算机系统》 CSCD 北大核心 1995年第4期27-31,共5页
本文针对以往的并行JOIN负载平衡策略所存在的缺陷,根据并行JOIN负载平衡的特点和要求,提出一个在JOIN操作后期对负载动态调整的算法。通过性能评估说明,该算法具有预处理开销少、灵活的自适应能力、负载平衡效果理想等... 本文针对以往的并行JOIN负载平衡策略所存在的缺陷,根据并行JOIN负载平衡的特点和要求,提出一个在JOIN操作后期对负载动态调整的算法。通过性能评估说明,该算法具有预处理开销少、灵活的自适应能力、负载平衡效果理想等特点,同时算法简捷、易于实现。 展开更多
关键词 join 后期负载调整 负载平衡 数据库系统
在线阅读 下载PDF
基于三级存储器的Join算法 被引量:3
14
作者 李建中 张冬冬 张艳秋 《软件学报》 EI CSCD 北大核心 2003年第5期947-954,共8页
研究了基于三级存储器的海量关系数据库的Join算法.目前,在所有磁带数据Join算法中,基于Hash思想的算法是最优的.但是,这些算法没有考虑从第三级存储器中读取数据时,磁带定位时间对算法性能的影响.磁带的磁头随机定位耗时大,是影响基于... 研究了基于三级存储器的海量关系数据库的Join算法.目前,在所有磁带数据Join算法中,基于Hash思想的算法是最优的.但是,这些算法没有考虑从第三级存储器中读取数据时,磁带定位时间对算法性能的影响.磁带的磁头随机定位耗时大,是影响基于三级存储器的数据操作算法时间复杂性的关键因素.针对这个问题,提出了两种新的基于三级存储器的海量关系数据库连接算法,即Disk-Based-Hash-Join算法和Tertiary-Only-Hash-Join算法.这两种算法采用了磁盘缓冲技术和散列数据集中存储方法,降低了算法的磁带磁头随机定位时间复杂性,提高了基于三级存储器的连接算法的性能.理论分析和实验结果表明,提出的基于三级存储器连接算法的性能高于目前所有同类算法的性能,可以有效地应用于海量数据管理系统. 展开更多
关键词 三级存储器 join算法 数据库管理系统 关系数据库 数据操作算法
在线阅读 下载PDF
一个基于Semijoin的并行join算法SBABJ 被引量:3
15
作者 陈佩佩 蒋蜀 谢立 《计算机研究与发展》 EI CSCD 北大核心 1995年第5期46-51,共6页
本文在并行join算法ABJ+的基础上提出了一个基于Semijoin的改进算法SBABJ+。我们在多台Sun工作站上实现了该算法,并对ABJ十和SBABJ十进行了性能测试。算法分析和实验结果表明了并行join算法SB... 本文在并行join算法ABJ+的基础上提出了一个基于Semijoin的改进算法SBABJ+。我们在多台Sun工作站上实现了该算法,并对ABJ十和SBABJ十进行了性能测试。算法分析和实验结果表明了并行join算法SBABJ+优于ABJ+算法。 展开更多
关键词 并行数据库 并行join算法 并行处理 数据库
在线阅读 下载PDF
DBCC-Join:一种新的高速缓存敏感的磁盘连接算法 被引量:4
16
作者 韩希先 杨东华 李建中 《计算机学报》 EI CSCD 北大核心 2010年第8期1500-1511,共12页
随着CPU和内存的性能差距越来越大,系统设计者在CPU寄存器和内存之间插入高速缓存来弥补这个差距.高速缓存的数据存取速度远高于内存,所以数据库操作要获得更好的性能就必须考虑充分利用高速缓存.基于磁盘的连接操作是一种常用并且耗时... 随着CPU和内存的性能差距越来越大,系统设计者在CPU寄存器和内存之间插入高速缓存来弥补这个差距.高速缓存的数据存取速度远高于内存,所以数据库操作要获得更好的性能就必须考虑充分利用高速缓存.基于磁盘的连接操作是一种常用并且耗时的数据库查询操作,可是大多数传统的连接算法在设计时都没有考虑高速缓存的使用,从而使得这些连接算法无法充分利用CPU的能力.文中分析了传统的连接算法在高速缓存利用方面的问题,并且提出了一种新的可以充分利用高速缓存的磁盘连接算法DBCC-Join.连接位置索引对表JPIPT是用到的数据结构,说明了每个连接结果元组在各自表中的位置索引对.DBCC-Join的执行包括两个阶段:JPIPT构建阶段和结果输出阶段.JPIPT构建阶段对列存储化的连接属性执行高速缓存敏感的算法来构建连接位置索引对表.利用获得的JPIPT,结果输出阶段只需要对数据表执行一遍顺序扫描就可以获得结果.该文是第一篇提出利用高速缓存的磁盘连接算法的文章.实验表明,和传统磁盘连接算法相比,DBCC-Join算法可以获得一个数量级的加速比. 展开更多
关键词 DBCC-join JPIPT构建阶段 结果输出阶段 缓存敏感算法
在线阅读 下载PDF
同构环境中Join任务图的一个调度算法 被引量:1
17
作者 张建军 杨峰 纪祥鲲 《计算机应用与软件》 CSCD 2010年第7期14-16,23,共4页
任务调度问题是一个NP完全问题。Join结构是一种并行处理的基本结构,虽然许多算法对Join任务图能产生最优调度,但大多都忽略了节省处理机个数和最小化程序总的完成时间等问题。因此,专门针对Join任务图,提出一个能产生最优调度的同构贪... 任务调度问题是一个NP完全问题。Join结构是一种并行处理的基本结构,虽然许多算法对Join任务图能产生最优调度,但大多都忽略了节省处理机个数和最小化程序总的完成时间等问题。因此,专门针对Join任务图,提出一个能产生最优调度的同构贪心调度算法,该算法具有高的加速比和总体效率,时间复杂度为O(v2),其中,v表示任务集中任务的个数。实验结果表明,相比其他算法,该算法具有较短的调度长度、较短的完成时间,使用的处理机数较少。 展开更多
关键词 任务调度 调度算法 join任务图 关键任务
在线阅读 下载PDF
PipelineJoin:一种新的基于MapReduce的多表连接算法 被引量:3
18
作者 林子雨 李雨倩 +1 位作者 李粲 赖永炫 《中国科学技术大学学报》 CAS CSCD 北大核心 2015年第10期836-845,共10页
MapReduce是一个并行分布式计算模型,已经被广泛应用于处理两个或多个大型表的连接操作.现有的基于MapReduce的多表连接算法,在处理链式连接时,不能处理多个大表的连接,或者需要顺序运行较多的MapReduce任务,效率较低.为此提出了一种基... MapReduce是一个并行分布式计算模型,已经被广泛应用于处理两个或多个大型表的连接操作.现有的基于MapReduce的多表连接算法,在处理链式连接时,不能处理多个大表的连接,或者需要顺序运行较多的MapReduce任务,效率较低.为此提出了一种基于MapReduce的多表连接算法——PipelineJoin,高效地实现任意多个大表的链式连接.PipelineJoin采用流水线模型和调度器来实现MapReduce任务的流水线式执行,从而有效提高多表连接的效率,同时可以较好地克服链式多表连接算法的缺陷.最后,在不同规模的数据集上进行了大量实验,实验结果表明PipelineJoin算法与原有链式多表连接算法相比,可以有效减少连接所需的时间. 展开更多
关键词 连接 多表 MAPREDUCE Pipelinejoin
在线阅读 下载PDF
广义Fork-Join任务图的调度问题研究 被引量:2
19
作者 杨峰 张建军 《兵工自动化》 2009年第12期37-40,共4页
Fork-Join结构是一种并行处理的基本结构。为处理传统方法难以解决的复杂和非线性问题,缩短整个程序的总完成时间,针对广义Fork-Join任务图提出了基于遗传算法的调度算法,该算法将遗传算法和任务复制相结合,有效地缩短了得到最优结果的... Fork-Join结构是一种并行处理的基本结构。为处理传统方法难以解决的复杂和非线性问题,缩短整个程序的总完成时间,针对广义Fork-Join任务图提出了基于遗传算法的调度算法,该算法将遗传算法和任务复制相结合,有效地缩短了得到最优结果的时间。实验结果表明,与其他算法相比,该算法具有较短的调度长度。 展开更多
关键词 任务调度 任务复制 遗传算法 广义Fork—join任务图
在线阅读 下载PDF
异构环境中Fork-Join任务图的调度算法 被引量:2
20
作者 张建军 宋业新 黄登斌 《计算机工程与设计》 CSCD 北大核心 2010年第3期486-490,共5页
目前已有的Fork-Join任务图的调度算法大多假定处理机为同构的,而没有考虑实际应用中处理机的异构性以及节省处理机的问题,导致算法在具体应用中效率较低。因此,对Fork-Join任务图的调度问题进行研究,提出了一个基于异构环境的贪心调度... 目前已有的Fork-Join任务图的调度算法大多假定处理机为同构的,而没有考虑实际应用中处理机的异构性以及节省处理机的问题,导致算法在具体应用中效率较低。因此,对Fork-Join任务图的调度问题进行研究,提出了一个基于异构环境的贪心调度算法,该算法具有高的加速比和总体效率,其时间复杂度为2,其中,表示任务集中任务的个数。实验结果表明,相比其它算法,该算法具有较短的调度长度、较短的完成时间,使用的处理机数较少,具有更强的实用性。 展开更多
关键词 FORK-join任务图 异构性 任务复制 贪心算法 调度长度 关键任务 加速比
在线阅读 下载PDF
上一页 1 2 68 下一页 到第
使用帮助 返回顶部