排序合并连接是数据库系统一种重要的连接实现方式,比哈希连接有更广泛的应用.分布式环境下,数据分片、分布存储,面对昂贵的网络代价,进行高效排序合并连接的挑战巨大.传统策略首先针对连接数据进行排序,然后基于排好序的数据执行合并连...排序合并连接是数据库系统一种重要的连接实现方式,比哈希连接有更广泛的应用.分布式环境下,数据分片、分布存储,面对昂贵的网络代价,进行高效排序合并连接的挑战巨大.传统策略首先针对连接数据进行排序,然后基于排好序的数据执行合并连接.这两部分操作均基于原始数据进行操作,通常情况下,原始连接数据存在无用数据块,这些数据块无需连接,但会增加额外开销,包括网络开销.随着数据量的增多,出现无用数据块的概率增大,额外开销随之增多.传统策略没有预先处理这些无用数据块.针对这个问题,提出一种分布式环境下基于剪枝的并行排序合并连接策略(parallel sort-merge join based on prune,简称Pr_PSMJ).其特点是,连接发生之前高效完成对连接对象无用数据块的剪枝处理,提高整体连接效率.基本思想是,根据连接对象对应的连接分区数据统计信息,构造一种双边邻接表(bilateral adjacency list,简称BAL),用来对连接数据中无用数据块进行剪枝,并保证最终连接结果的正确性;剪枝完成后,利用BAL计算出各个最佳本地连接执行点,并指导分区数据的迁移,使数据移动量最小;在连接阶段,由于BAL保证本地连接执行节点的独立性,因此能够轻松并行执行整个连接过程,并在每个连接点本地利用多核环境完成局部并行排序合并连接;最后,将局部结果合并成最终结果.由于Pr_PSMJ中的高效剪枝策略是在连接执行之前完成的,因此几乎适合任何合并连接操作,并且对于其他连接策略也有借鉴作用.给出了基于Pr_PSMJ的算法的正确性、效率性以及适应性分析,并且给出实验验证,证明了在分布式大数据量排序合并连接情况下,Pr_PSMJ相对于其他策略能够有效减少网络开销,并提高连接效率.展开更多
与其它排序算法相比,二路归并最适合于对两个有序子表进行排序。归并长度分别为 m 和 n 的两个有序子表,经典算法有两种。第一种算法完成归并需要○(m+n)的附加空间,○(m+n)次比较和移动。第二种算法是原地的,但完成归并需要○(m+n)次...与其它排序算法相比,二路归并最适合于对两个有序子表进行排序。归并长度分别为 m 和 n 的两个有序子表,经典算法有两种。第一种算法完成归并需要○(m+n)的附加空间,○(m+n)次比较和移动。第二种算法是原地的,但完成归并需要○(m+n)次比较和○(m×n)次移动。经过长期研究,提出了一种基于数据分块的快速原地归并算法。新算法通过将数据分块、对数据块排序等方法最多用○((m+n)log_2 (m+n)^(1/2)次比较和○((m+n)^(3/2))次移动完成两个有序子表的原地归并。实验证明,该算法与经典的原地算法相比,极大地降低了元素的移动次数和算法的运行时间。展开更多
文摘排序合并连接是数据库系统一种重要的连接实现方式,比哈希连接有更广泛的应用.分布式环境下,数据分片、分布存储,面对昂贵的网络代价,进行高效排序合并连接的挑战巨大.传统策略首先针对连接数据进行排序,然后基于排好序的数据执行合并连接.这两部分操作均基于原始数据进行操作,通常情况下,原始连接数据存在无用数据块,这些数据块无需连接,但会增加额外开销,包括网络开销.随着数据量的增多,出现无用数据块的概率增大,额外开销随之增多.传统策略没有预先处理这些无用数据块.针对这个问题,提出一种分布式环境下基于剪枝的并行排序合并连接策略(parallel sort-merge join based on prune,简称Pr_PSMJ).其特点是,连接发生之前高效完成对连接对象无用数据块的剪枝处理,提高整体连接效率.基本思想是,根据连接对象对应的连接分区数据统计信息,构造一种双边邻接表(bilateral adjacency list,简称BAL),用来对连接数据中无用数据块进行剪枝,并保证最终连接结果的正确性;剪枝完成后,利用BAL计算出各个最佳本地连接执行点,并指导分区数据的迁移,使数据移动量最小;在连接阶段,由于BAL保证本地连接执行节点的独立性,因此能够轻松并行执行整个连接过程,并在每个连接点本地利用多核环境完成局部并行排序合并连接;最后,将局部结果合并成最终结果.由于Pr_PSMJ中的高效剪枝策略是在连接执行之前完成的,因此几乎适合任何合并连接操作,并且对于其他连接策略也有借鉴作用.给出了基于Pr_PSMJ的算法的正确性、效率性以及适应性分析,并且给出实验验证,证明了在分布式大数据量排序合并连接情况下,Pr_PSMJ相对于其他策略能够有效减少网络开销,并提高连接效率.
文摘与其它排序算法相比,二路归并最适合于对两个有序子表进行排序。归并长度分别为 m 和 n 的两个有序子表,经典算法有两种。第一种算法完成归并需要○(m+n)的附加空间,○(m+n)次比较和移动。第二种算法是原地的,但完成归并需要○(m+n)次比较和○(m×n)次移动。经过长期研究,提出了一种基于数据分块的快速原地归并算法。新算法通过将数据分块、对数据块排序等方法最多用○((m+n)log_2 (m+n)^(1/2)次比较和○((m+n)^(3/2))次移动完成两个有序子表的原地归并。实验证明,该算法与经典的原地算法相比,极大地降低了元素的移动次数和算法的运行时间。
