基于EMD的概率数据top-k相似性连接 被引量：1

1

作者 许嘉 于戈 +1 位作者 谷峪 白秋石 《东北大学学报（自然科学版）》 EI CAS CSCD 北大核心 2011年第5期634-637,共4页

选取EMD(earth mover’s distance)作为度量概率数据相似性的标准.EMD具有抗噪性好,对概率分布间的微小偏移不敏感等优良特性,但却具有三次方的复杂度.针对此问题,提出EMD-kJoin算法,在相似性搜索方面,基于线性规划的对偶理论为概率数... 选取EMD(earth mover’s distance)作为度量概率数据相似性的标准.EMD具有抗噪性好,对概率分布间的微小偏移不敏感等优良特性,但却具有三次方的复杂度.针对此问题,提出EMD-kJoin算法,在相似性搜索方面,基于线性规划的对偶理论为概率数据构建索引,避免不必要的EMD求精计算;在处理流程方面,以复杂度较低的范围查询为主要操作,并逐步缩小搜索阈值.通过使用真实数据集对EMD-k Join进行测试,证明EMD-k Join极大提高了基于EMD的概率数据top-k相似性连接操作的执行效率. 展开更多

关键词 top-k相似性连接 概率数据管理 EMD 对偶理论 B+树索引

在线阅读 下载PDF 职称材料

基于MapReduce框架的海量数据相似性连接研究进展 被引量：16

2

作者 庞俊 于戈 +1 位作者 许嘉 谷峪 《计算机科学》 CSCD 北大核心 2015年第1期1-5,27,共6页

海量数据相似性连接作为海量数据处理的基本操作,在文本聚类、剽窃检测、实体解析等研究领域具有重要作用。另一方面,MapReduce编程模型因为具有良好的可扩放性、容错性和易用性,被广泛地应用于海量数据处理。因此,基于MapReduce框架的... 海量数据相似性连接作为海量数据处理的基本操作,在文本聚类、剽窃检测、实体解析等研究领域具有重要作用。另一方面,MapReduce编程模型因为具有良好的可扩放性、容错性和易用性,被广泛地应用于海量数据处理。因此,基于MapReduce框架的海量数据相似性连接查询技术成为海量数据处理领域的热点问题之一。首先,概括了海量数据固有特点和MapReduce编程框架的缺陷给现有相似性连接查询技术带来的巨大挑战;其次,提出了海量数据相似性连接的定义,按3种不同的分类标准对其进行了分类;接着,重点分析了集合、字符串和向量数据类型的海量相似性连接查询最新技术,并从效率和适用范围等方面分别对这些技术进行了比较;最后,讨论了海量数据相似性连接查询技术亟待解决的关键问题,并提出了一些有前景的解决方案。 展开更多

关键词 海量数据 相似性连接 MAPREDUCE top-k

在线阅读 下载PDF 职称材料

相似性连接查询技术研究进展 被引量：15

3

作者 庞俊 谷峪 +1 位作者 许嘉 于戈 《计算机科学与探索》 CSCD 2013年第1期1-13,共13页

相似性连接查询,即查找相似的数据对象对,具有广泛的应用领域,例如相似网页检测、实体解析、数据清洗和相似图像检索等。相似性连接查询是当前大数据处理领域的热点问题之一。讨论了相似性连接查询面临的挑战;根据不同的标准对现有的相... 相似性连接查询,即查找相似的数据对象对,具有广泛的应用领域,例如相似网页检测、实体解析、数据清洗和相似图像检索等。相似性连接查询是当前大数据处理领域的热点问题之一。讨论了相似性连接查询面临的挑战;根据不同的标准对现有的相似性连接查询进行了分类;总结并比较了现有的字符串、集合、向量和图相似性连接算法;探讨了今后的研究重点和发展趋势。 展开更多

关键词 相似性连接查询 相似性度量 海量数据

在线阅读 下载PDF 职称材料

基于实体的相似性连接算法 被引量：8

4

作者 刘雪莉 王宏志 +1 位作者 李建中 高宏 《软件学报》 EI CSCD 北大核心 2015年第6期1421-1437,共17页

按照元组描述的实体对其进行组织和查询处理,是一种管理劣质数据的有效方法.考虑到同一个实体的同一属性存在多个描述的值,因此,基于实体的数据库上的连接是支持多个值的相似性连接.与字符串的相似性连接相比较,实体的相似性连接在数据... 按照元组描述的实体对其进行组织和查询处理,是一种管理劣质数据的有效方法.考虑到同一个实体的同一属性存在多个描述的值,因此,基于实体的数据库上的连接是支持多个值的相似性连接.与字符串的相似性连接相比较,实体的相似性连接在数据清洗、信息集成、模糊关键字查询、诈骗检测和文本聚集等领域有着更好的应用效果.通过建立双层索引结构,提出了实体数据库上相似性连接算法ES-JOIN.同时,该方法适用于解决集合中字符串模糊匹配的相似性连接问题,而传统的集合相似性连接只针对集合中元素精确匹配的情况.为了加速连接,还提出了过滤措施对算法进行优化,进一步给出了优化算法OPT_ES-JOIN.实验验证了ES-JOIN算法和OPT_ES-JOIN算法具有很好的效率和可扩展性.实验结果表明,过滤措施具有很好的过滤效果. 展开更多

关键词 实体 相似性连接 劣质数据

在线阅读 下载PDF 职称材料

Top-k相似连接算法性能优化 被引量：4

5

作者 王洪亚 杨利宏 刘晓强 《软件学报》 EI CSCD 北大核心 2016年第12期3051-3066,共16页

相似连接算法在数据清理、数据集成和重复网页检测等领域有着广泛的应用.现有相似连接算法有两种类型：基于相似度阈值的相似连接和Top-k相似连接.Top-k连接算法非常适合于相似度阈值未知的应用场景,目前最为有效的Top-k相似连接算法是X... 相似连接算法在数据清理、数据集成和重复网页检测等领域有着广泛的应用.现有相似连接算法有两种类型：基于相似度阈值的相似连接和Top-k相似连接.Top-k连接算法非常适合于相似度阈值未知的应用场景,目前最为有效的Top-k相似连接算法是Xiao等人提出的Topk-join.为了解决Topk-join中存在的性能问题,提出了一种Top-k相似连接算法Opt-join,该算法将Token批处理技术集成在现有的事件驱动框架中,以降低前缀事件的处理代价;通过置换哈希查找与过滤操作的执行位置来降低哈希查找代价,并理论证明了该置换的正确性.实验结果表明：与Topk-join算法相比,Opt-join取得了1.28倍~3.09倍的性能提升.实验数据还显示：随着数据长度的增加或k值的增长,Opt-join的性能优势有不断增加的趋势. 展开更多

关键词 top-k相似连接 事件驱动框架 Token批处理 哈希查找优化

在线阅读 下载PDF 职称材料

大数据相似性连接查询技术研究进展 被引量：15

6

作者 马友忠 张智辉 林春杰 《计算机应用》 CSCD 北大核心 2018年第4期978-986,1006,共10页

为了深入理解和全面把握大数据相似性连接查询技术的研究进展,更好地促进其在图片聚类、实体解析、相似文档检测、相似轨迹检索等领域的广泛应用,对大数据相似性连接查询技术相关研究工作进行了深入调研和分析。首先对相似性连接查询的... 为了深入理解和全面把握大数据相似性连接查询技术的研究进展,更好地促进其在图片聚类、实体解析、相似文档检测、相似轨迹检索等领域的广泛应用,对大数据相似性连接查询技术相关研究工作进行了深入调研和分析。首先对相似性连接查询的基本概念进行了介绍,然后分别对集合、向量、空间数据、概率数据、字符串等不同类型大数据的相似性连接查询相关研究工作进行了深入研究,对其优缺点进行了分析和总结。最后,指出了大数据相似性连接查询面临的若干挑战性问题及未来的研究重点。 展开更多

关键词 大数据 相似性连接查询 MAPREDUCE框架 K最近邻

在线阅读 下载PDF 职称材料

基于EMD距离的数据流分布式相似性连接技术 被引量：4

7

作者 许嘉 宋超 +1 位作者 吕品 李陶深 《计算机学报》 EI CSCD 北大核心 2019年第8期1779-1796,共18页

随着数据获取设备的不断进步和数据获取技术的快速发展,如何分析和挖掘应用中快速产生的数据流成为亟待解决的问题.数据流的相似性连接返回两个数据流上相似的数据对,是分析和挖掘数据流的重要操作.相比于Lp范式距离,例如曼哈顿距离和... 随着数据获取设备的不断进步和数据获取技术的快速发展,如何分析和挖掘应用中快速产生的数据流成为亟待解决的问题.数据流的相似性连接返回两个数据流上相似的数据对,是分析和挖掘数据流的重要操作.相比于Lp范式距离,例如曼哈顿距离和欧氏距离,EMD距离(Earth Mover’s Distance)因其可以更准确地量化直方图元组之间的相似性而受到广泛关注,被广泛应用于解决基于内容的图像检索、冗余图像识别以及视频对象跟踪等重要应用问题.然而EMD距离的计算复杂度却高达三次方,阻碍了EMD距离在数据流相似性连接问题中的应用.该文基于开源的Apache Storm数据流分布式并行处理框架,设计并实现了基于EMD距离的数据流分布式相似性连接技术,命名为EMD-DDSJ技术.该技术在数据分发时维护了连接计算节点上的数据局部性,并基于该数据局部性增强了连接算法对不相似直方图元组对间EMD计算的过滤性能,提高了各个连接计算节点的执行效率.同时基于连接计算节点的代价模型,提出了基于反馈的负载均衡策略,有效提升EMD-DDSJ技术的整体执行性能.在真实数据集上的实验结果展示了该文提出的EMD-DDSJ技术的高效性和可扩展性,比相关最好的技术在处理吞吐率上最高提升了1.4倍,在元组平均处理延迟上最多降低了44%,并且随着相似性阈值或滑动窗口大小的增大该提升比率还会进一步增大. 展开更多

关键词 EMD距离 相似性连接 数据流 APACHE Storm框架 数据局部性

在线阅读 下载PDF 职称材料

基于卡方分布的高维数据相似性连接查询算法 被引量：2

8

作者 马友忠 贾世杰 张永新 《计算机应用》 CSCD 北大核心 2016年第7期1993-1997,2037,共6页

为了解决高维数据相似性连接查询中存在的维度灾难和计算代价高等问题,基于p-稳态分布,将高维数据映射到低维空间。根据卡方分布的性质,证明了如果低维空间的距离大于kε,则原始空间距离大于ε的概率具有一定的下界,从而可以在低维空间... 为了解决高维数据相似性连接查询中存在的维度灾难和计算代价高等问题,基于p-稳态分布,将高维数据映射到低维空间。根据卡方分布的性质,证明了如果低维空间的距离大于kε,则原始空间距离大于ε的概率具有一定的下界,从而可以在低维空间以较低的计算代价进行有效过滤。在此基础上,提出了基于卡方分布的高维数据相似性连接查询算法。为了进一步提高查询效率,提出了基于双重过滤的高维数据相似性连接查询算法。利用真实数据集进行了实验,实验结果表明所提方法具有较好的性能。基于卡方分布的相似性连接查询算法召回率可以达到90%以上。基于双重过滤的相似性连接查询算法可以进一步提高性能,但是会损失一定的召回率。对时间性能要求比较高、对召回率要求不太严格的查询任务可以采用基于双重过滤的相似性连接查询算法;反之,可以采用基于卡方分布的相似性连接查询算法。 展开更多

关键词 相似性连接查询 高维数据 卡方分布 p-稳态分布 召回率

在线阅读 下载PDF 职称材料

基于连接位MinwiseHash的三者相似性估计算法 被引量：1

9

作者 袁鑫攀 盛鑫海 +2 位作者 龙军 张祖平 桂卫华 《上海交通大学学报》 EI CAS CSCD 北大核心 2014年第7期936-941,共6页

计算相似性是信息检索的一个核心基础问题,二者、三者甚至更多集合的相似性估计在相似文档检测、词语相关性、聚类、数据清理等领域有着广泛的应用.连接位Minwise Hash算法作为一种高效、准确的相似性估计算法,能够成倍地减少比对的次数... 计算相似性是信息检索的一个核心基础问题,二者、三者甚至更多集合的相似性估计在相似文档检测、词语相关性、聚类、数据清理等领域有着广泛的应用.连接位Minwise Hash算法作为一种高效、准确的相似性估计算法,能够成倍地减少比对的次数,提升算法性能.通过理论推导,给出基于连接位Minwise Hash的三者相似度无偏估计公式.实验结果显示,在样本大小k=500、相似度阈值R0=0.8时,算法的准确率和召回率均能达到95%以上,并且所需的CPU运行时间仅为b位Minwise Hash三者估计算法的50%. 展开更多

关键词 三者相似度 三者相似性估计 连接位 信息检索

在线阅读 下载PDF 职称材料

基于相似性连接的时间序列Shapelets提取 被引量：3

10

作者 张振国 王超 +1 位作者 温延龙 袁晓洁 《计算机研究与发展》 EI CSCD 北大核心 2019年第3期594-610,共17页

在时间序列分类问题中,以Shapelets特征为基础的分类算法具有很高的分类准确率和良好的可解释性,因此,高辨别能力Shapelets的提取已成为时间序列研究领域重要的研究热点之一.对于Shapelets提取的研究已取得了很多优秀的成果,但仍存在一... 在时间序列分类问题中,以Shapelets特征为基础的分类算法具有很高的分类准确率和良好的可解释性,因此,高辨别能力Shapelets的提取已成为时间序列研究领域重要的研究热点之一.对于Shapelets提取的研究已取得了很多优秀的成果,但仍存在一些问题,主要是由于通过遍历所有子序列来获取Shapelets的方式非常耗时.尽管可以采取剪枝策略优化该过程,但往往会损失分类准确率.为此,提出一种基于相似性连接的Shapelets提取方法,该方法舍弃逐一判断子序列分类能力的策略,而是以子序列为单位,通过相似性连接的思想构建时序数据间的相似性向量.对于不同类别的时序数据,计算每一对时序数据间的差异向量,进而得到表示时序数据集中不同类别间差异的候选矩阵,然后根据候选矩阵的数值差异,快速筛选出具有高分类能力的Shapelets集合.在真实数据集上的大量实验表明:相比于现有的Shapelets提取方法,这种相似性连接方法所得到的Shapelets在分类任务中不仅具有很好的时间效率,而且能保证高分类准确率. 展开更多

关键词 时间序列 Shapelets 相似性连接 差异向量 候选矩阵

在线阅读 下载PDF 职称材料

基于划分的增量式字符串相似性连接方法

11

作者 燕彩蓉 朱斌 +1 位作者 王健 黄永锋 《计算机应用》 CSCD 北大核心 2016年第1期27-32,共6页

字符串相似性连接是数据质量管理的基本操作,也是数据价值发现的关键步骤。针对目前已有的方法不能满足面向大数据的增量式处理需求的问题,提出一种面向流式数据的增量式字符串相似性连接方法——IncJoin,并对方法的索引技术进行了优化... 字符串相似性连接是数据质量管理的基本操作,也是数据价值发现的关键步骤。针对目前已有的方法不能满足面向大数据的增量式处理需求的问题,提出一种面向流式数据的增量式字符串相似性连接方法——IncJoin,并对方法的索引技术进行了优化。该方法以Pass-Join字符串连接算法为基础,首先,采用字符串划分技术将字符串划分成多个互不相交的子串;然后,建立字符串的反向索引列表并将其作为状态;最后,新增数据只需根据状态进行相似性计算,每次连接操作结束后都对状态进行更新。实验结果表明,Inc-Join方法在不影响连接准确率的同时,有效将长、短字符串重复匹配次数减少为n^(1/2)(n是批处理方式的匹配次数)。实验对3种数据集进行处理,发现使用批处理方式进行相似性连接的响应时间是Inc-Join的1至4.7倍,并呈现急剧递增的趋势;而且优化后Inc-Join方法的响应时间最小只占优化前的3/4,并随处理数据的增多所占比例越来越小。同时优化后的Inc-Join不需要保存状态,再一次减小了算法执行的时间和空间开销。 展开更多

关键词 字符串相似性连接 增量处理 划分 字符串匹配 反向索引

在线阅读 下载PDF 职称材料

双缀过滤的大数据相似性连接处理算法 被引量：4

12

作者 邓诗卓 信俊昌 +1 位作者 聂铁铮 王国仁 《计算机科学与探索》 CSCD 北大核心 2017年第8期1235-1245,共11页

相似性连接技术是实体识别和数据集成的关键技术之一,是挖掘数据中有价值信息的重要手段。随着大数据发展,传统的集中式相似性连接已经无法满足人们对数据处理的时效性需求,并且利用分布式计算可以提高相似性连接的执行效率。因此,深入... 相似性连接技术是实体识别和数据集成的关键技术之一,是挖掘数据中有价值信息的重要手段。随着大数据发展,传统的集中式相似性连接已经无法满足人们对数据处理的时效性需求,并且利用分布式计算可以提高相似性连接的执行效率。因此,深入研究了基于Spark的分布式相似性连接处理算法。针对仅使用后缀位置信息过滤方法的不足,提出了利用一条记录前缀与另一条记录后缀间共同元素位置信息来进行过滤的分布式相似性连接PSJoin,提高了相似性连接的处理效率,减少了相似性连接的执行时间。同时,针对基于权重的相似度连接算法的过滤问题,结合双缀过滤原理,通过一条记录前缀共同元素之后的第一个元素的权重与另一条记录后缀中元素权重大小的关系,提出了基于双缀过滤的分布式权重相似性连接WTPSJoin。为面向大数据的相似性连接计算提供了两种可靠的解决方案。两种算法在多数据源混合数据集上进行测试实验,实验结果表明,所提算法相对于已有的过滤算法过滤效果好,执行时间少,同时具有良好的加速比。 展开更多

关键词 相似性连接 权重相似性连接 大数据 过滤 SPARK

在线阅读 下载PDF 职称材料

基于MapReduce的增量式数据集的相似性连接 被引量：2

13

作者 徐媛媛 陈华辉 《计算机应用研究》 CSCD 北大核心 2014年第11期3369-3374,3384,共7页

相似性连接,即利用相似函数度量数据之间的相似程度,满足条件后进行连接操作。MapReduce框架下已存在很多相似性连接算法,但仍然存在一些不足,如大量的索引加大时间、空间的开销;现有算法不能有效地完成增量式数据集的相似性连接等。针... 相似性连接,即利用相似函数度量数据之间的相似程度,满足条件后进行连接操作。MapReduce框架下已存在很多相似性连接算法,但仍然存在一些不足,如大量的索引加大时间、空间的开销;现有算法不能有效地完成增量式数据集的相似性连接等。针对海量增量式数据集进行了研究,采用抽样技术得到有效中枢,形成更为合理的分区,建立分区索引和分配原则,完成新增数据的相似性连接操作。实验证明,该算法能够有效地解决海量增量式数据集的相似性连接问题,验证了分区索引的建立,可以提高新增数据的相似性连接操作的效率。 展开更多

关键词 海量增量式数据集 划分 相似性连接 MAPREDUCE

在线阅读 下载PDF 职称材料

一种基于R*树的自相似性连接算法 被引量：1

14

作者 周健雯 李聪聪 +1 位作者 熊赟 朱扬勇 《计算机应用与软件》 CSCD 北大核心 2014年第8期50-53,185,共5页

相似性连接是很多研究问题的基础,不少实际问题也都可以归结为相似性连接。针对两个输入集合相同的相似性连接问题,以R*树作为索引结构,提出一种高效的自相似性连接算法Self-SJ,返回最相似的k个对象对。该算法利用了分支界限思想,在使... 相似性连接是很多研究问题的基础,不少实际问题也都可以归结为相似性连接。针对两个输入集合相同的相似性连接问题,以R*树作为索引结构,提出一种高效的自相似性连接算法Self-SJ,返回最相似的k个对象对。该算法利用了分支界限思想,在使用剪枝策略减少候选对象对的同时,也避免了重复节点对的计算,因而比传统的基于R*树的算法更加快速。在真实数据集上的实验表明,Self-SJ不仅具有更短的运行时间,对于参数k也具有良好的可扩展性。 展开更多

关键词 相似性连接 R＊树 欧氏距离 MBR

在线阅读 下载PDF 职称材料

一种不确定图数据库上的相似性连接方法 被引量：1

15

作者 缪丰羽 王宏志 《软件学报》 EI CSCD 北大核心 2018年第10期3150-3163,共14页

在确定图上进行的相似性连接已有许多研究成果.然而,在实际应用中会有许多因素使得图结构数据变得不确定.研究了不确定图数据库上的相似性连接问题.采用联合概率分布表示法来描述图中边的不确定性,结合一种新的图的相似性度量方法,给出... 在确定图上进行的相似性连接已有许多研究成果.然而,在实际应用中会有许多因素使得图结构数据变得不确定.研究了不确定图数据库上的相似性连接问题.采用联合概率分布表示法来描述图中边的不确定性,结合一种新的图的相似性度量方法,给出了不确定图数据库上的相似性连接的形式化定义,并设计了一组过滤策略来减少连接过程中候选图对的数量.大量的实验数据表明,所提出的方法具有较好的可行性和准确性. 展开更多

关键词 不确定图 联合概率分布 相似性连接 过滤策略

在线阅读 下载PDF 职称材料

基于索引的内存相似性连接算法

16

作者 董明秀 王鹏 +2 位作者 汪洋 李秋虹 汪卫 《计算机工程》 CAS CSCD 北大核心 2016年第1期18-24,30,共8页

在传统的相似性连接算法中,精确计算和分区阶段互相独立,精确计算时需要对每个分区中的所有数据进行两两比较,计算量较大。针对该问题,设计一种新的内存索引——距离树,并在其基础上提出两结构内存相似性连接算法。根据数据的潜在分布... 在传统的相似性连接算法中,精确计算和分区阶段互相独立,精确计算时需要对每个分区中的所有数据进行两两比较,计算量较大。针对该问题,设计一种新的内存索引——距离树,并在其基础上提出两结构内存相似性连接算法。根据数据的潜在分布将其分发到不同的分区中,保证具有一定相似度的数据对分配在同个或相邻的分区内,同时通过树节点之间的位置信息保存分区阶段的计算结果,使精确计算阶段仅需对每个分区中相邻的叶节点数据进行比较计算。实验结果表明,与TOUCH算法相比,基于距离树的算法可使运行速度提高2倍~3倍,并具有更好的可扩展性。 展开更多

关键词 相似性连接 磁盘 查询 内存 索引 分区

在线阅读 下载PDF 职称材料

Part-Join:基于划分的字符串相似性连接

17

作者 陈懿诚 骆吉洲 李建中 《计算机应用研究》 CSCD 北大核心 2014年第10期3002-3006,共5页

目前，已有许多高效的字符串相似性连接算法被提出，但是这些算法在过滤的过程中利用的往往是字符串本身的局部信息，而忽略了字符串集合的整体信息，故性能没有得到充分的提高。为此，提出了一种基于划分的算法Part—Join，它从频率向... 目前，已有许多高效的字符串相似性连接算法被提出，但是这些算法在过滤的过程中利用的往往是字符串本身的局部信息，而忽略了字符串集合的整体信息，故性能没有得到充分的提高。为此，提出了一种基于划分的算法Part—Join，它从频率向量、字母袁、频率分布三方面对数据集进行子集划分，并给出子集间的过滤策略用于排除不相似的字符串对。扩展实验表明，Part—Join比已有算法Pass—Join效率提高了10％～15％。 展开更多

关键词 相似性连接 划分 频率 编辑距离

在线阅读 下载PDF 职称材料

Pass-Join-K:多分段匹配的相似性连接算法

18

作者 余海洋 林琛 +2 位作者 陈珂 江弋 邹权 《计算机科学与探索》 CSCD 2013年第10期924-932,共9页

相似性连接是数据清理工作的基本模型，获得了大量数据库工作者的关注。研究了基于编辑距离的相似性连接问题，即在两个字符串集合中寻找编辑距离小于一个阈值的字符串对，并在Pass-Join算法的基础上，提出了一个新的Pass-Join-K算法。P... 相似性连接是数据清理工作的基本模型，获得了大量数据库工作者的关注。研究了基于编辑距离的相似性连接问题，即在两个字符串集合中寻找编辑距离小于一个阈值的字符串对，并在Pass-Join算法的基础上，提出了一个新的Pass-Join-K算法。Pass-Join—K算法在长短字符串上都有很好的表现。该算法的主要思想是利用Pass-Join算法的划分原理，以多次匹配的方式，达到更加严格地选取候选配对的目的。实验结果显示，Pass-Join-K算法减少了候选对的数量，在实际数据集上相比元算法在运行时间上有2～5倍的提升。 展开更多

关键词 编辑距离 相似性连接 多次匹配 数据清理 Pass—Join—K算法

在线阅读 下载PDF 职称材料

基于CPU-GPU异构体系结构的并行字符串相似性连接方法 被引量：4

19

作者 徐坤浩 聂铁铮 +2 位作者 申德荣 寇月 于戈 《计算机研究与发展》 EI CSCD 北大核心 2021年第3期598-608,共11页

相似性连接技术在数据清洗、数据集成等领域中具有重要意义,近年来引起了学术界的广泛关注.随着数据量的不断增大、数据处理实时性的要求逐渐提高以及处理器性能提升瓶颈的出现,传统的串行相似性连接方法已经不能满足当前大数据处理的需... 相似性连接技术在数据清洗、数据集成等领域中具有重要意义,近年来引起了学术界的广泛关注.随着数据量的不断增大、数据处理实时性的要求逐渐提高以及处理器性能提升瓶颈的出现,传统的串行相似性连接方法已经不能满足当前大数据处理的需求.近些年,GPU作为协处理器在机器学习等领域取得了良好的加速效果,因此基于GPU的并行算法开始成为解决各类性能问题的有效解决方案.为此,提出了基于CPU-GPU异构体系的并行相似性连接方法.首先,方法使用GPU构建倒排索引,索引采用SoA(struct of arrays)结构,从而解决了传统索引结构在并行模式下读写效率低的问题.其次,针对串行算法的性能问题,提出基于过滤验证框架的并行双重长度过滤算法,其中利用前缀过滤和构建好的倒排索引提升过滤效果.方法中相似度精确计算验证过程使用CPU计算执行,从而充分利用CPU-GPU的异构计算资源.最后,在多个数据集上进行实验验证性能.通过与串行相似性连接算法进行对比,实验结果表明所提出方法相对于已有方法具有更好的过滤效果和更低的索引生成代价,并在相似性连接上具有更好的性能和良好的加速比. 展开更多

关键词 相似性连接 过滤验证框架 倒排索引 GPU并行处理 异构体系结构

在线阅读 下载PDF 职称材料

一种基于MapReduce的不确定图上的相似性连接方法

20

作者 缪丰羽 王宏志 阮群生 《计算机科学》 CSCD 北大核心 2018年第12期298-307,共10页

相比于确定图上的相似性连接,不确定图上的相似性连接通常具有更大的实际应用价值以及计算复杂性。文中研究了基于MapReduce分布式编程框架的不确定图上的相似性连接问题,提出了基于概率和的Map方剪枝和Reduce方剪枝的两种剪枝策略。Ma... 相比于确定图上的相似性连接,不确定图上的相似性连接通常具有更大的实际应用价值以及计算复杂性。文中研究了基于MapReduce分布式编程框架的不确定图上的相似性连接问题,提出了基于概率和的Map方剪枝和Reduce方剪枝的两种剪枝策略。Map方剪枝策略在映射过程中过滤掉了不可能具有相似图的不确定图。Reduce方剪枝策略用于减少约减过程中的候选图对。基于这两种剪枝策略,文中提出了一种基于MapReduce框架的不确定图上的相似性连接算法MUGSJoin。实验结果证明,该算法与同类算法相比具有更好的性能和可扩展性。 展开更多

关键词 MAPREDUCE 不确定图 相似性连接

在线阅读 下载PDF 职称材料