基于DSVM的并行Hash连接算法及其性能评价

1

作者 王国仁 于戈 +1 位作者 叶峰 郑怀远 《计算机学报》 EI CSCD 北大核心 1999年第10期1032-1041,共10页

提出了一个基于分布式共享虚拟存储器技术（ＤＳＶＭ）的并行Ｈａｓｈ 连接算法，然后设计了一个并行连接算法的测试评价基准，并评价和分析了该算法在均匀数据分布情况下３ 种不同负载的性能比较和Ｚｉｐｆ倾斜数据分布情况下两种调度... 提出了一个基于分布式共享虚拟存储器技术（ＤＳＶＭ）的并行Ｈａｓｈ 连接算法，然后设计了一个并行连接算法的测试评价基准，并评价和分析了该算法在均匀数据分布情况下３ 种不同负载的性能比较和Ｚｉｐｆ倾斜数据分布情况下两种调度策略的算法性能． 展开更多

关键词 hash连接算法 DSVM 并行算法 数据库系统

在线阅读 下载PDF 职称材料

阵列众核结构上的一种多层分区Hash连接算法

2

作者 石嵩 宁永波 +1 位作者 李宏亮 郑方 《计算机科学》 CSCD 北大核心 2016年第3期18-22,共5页

连接是数据查询处理中最耗时、使用最频繁的操作之一,对提高连接操作的速率具有重要意义。阵列众核处理器是一类重要的众核处理器,具有强大的并行能力,可用来加速并行计算。基于阵列众核处理器的结构,设计和优化了一种高效的多层分区Has... 连接是数据查询处理中最耗时、使用最频繁的操作之一,对提高连接操作的速率具有重要意义。阵列众核处理器是一类重要的众核处理器,具有强大的并行能力,可用来加速并行计算。基于阵列众核处理器的结构,设计和优化了一种高效的多层分区Hash连接算法。该算法通过多层划分的策略大大降低了主存访问次数,通过分区重排方法有效消除了数据倾斜的影响,获得了很高的性能。在异构融合阵列众核处理器DFMC(Deeply-Fused Many Core)原型系统上的实验结果表明,DFMC上多层分区Hash连接算法的性能是CPU-GPU耦合结构上最快的连接算法的8.0倍,表明利用阵列众核处理器加速数据查询应用具有优势。 展开更多

关键词 阵列众核 hash连接 数据倾斜 并行算法

在线阅读 下载PDF 职称材料

基于Hash散列分布的数字信息并行存贮

3

作者 李耀辉 刘保军 《燕山大学学报》 CAS 2004年第1期86-89,共4页

针对数字图书馆信息资源的日益庞大,单服务器不能满足信息存贮的要求,提出了采用Hash并行分布方法对信息在层次数据库上进行分布,以保证数字信息的聚集存贮及在服务器上的分布近似达到均衡,从而满足海量信息存贮以提高信息检索的效率。... 针对数字图书馆信息资源的日益庞大,单服务器不能满足信息存贮的要求,提出了采用Hash并行分布方法对信息在层次数据库上进行分布,以保证数字信息的聚集存贮及在服务器上的分布近似达到均衡,从而满足海量信息存贮以提高信息检索的效率。同时,根据分布方法给出在对数字信息进行检索时服务器端执行的算法、时间复杂度,最后对算法的影响时间进行分析。 展开更多

关键词 数字图书馆 信息资源 存贮模式 层次数据库 hash并行分布方法

在线阅读 下载PDF 职称材料

HASH线性探测并行算法

4

作者 钟诚 《广西大学学报（自然科学版）》 CAS CSCD 1989年第2期58-62,共5页

本文设计了一个在P台处理机运行环境下的HASH线性探测并行算法,其并行计算模型为CREW[1];该算法既保持传统串行算法的优点又使速度提高P倍,并且没有聚集问题。

关键词 并行算法 CREW hash线性探测 聚集 速度倍数「2」

在线阅读 下载PDF 职称材料

基于关键属性索引HASH函数的星型模型构造算法 被引量：1

5

作者 蚁平 汤泽滢 曹先彬 《计算机工程与应用》 CSCD 北大核心 2006年第21期143-145,共3页

针对数据仓库的一种典型应用,论文提出了利用关键属性索引作为HASH函数变元的数据仓库星型模型构造算法;在此基础上,通过区分两种不同类型的关键属性,进一步提出了以静态属性索引HASH函数值和动态属性索引值作为查找关键字的模型构造算... 针对数据仓库的一种典型应用,论文提出了利用关键属性索引作为HASH函数变元的数据仓库星型模型构造算法;在此基础上,通过区分两种不同类型的关键属性,进一步提出了以静态属性索引HASH函数值和动态属性索引值作为查找关键字的模型构造算法。最后以实际应用数据论证了算法的实用性。 展开更多

关键词 关键属性 星型模型 hash函数 并行算法

在线阅读 下载PDF 职称材料

二级Hash全局和局部索引筛选的长序列比对并行算法 被引量：3

6

作者 潘登 钟诚 《小型微型计算机系统》 CSCD 北大核心 2022年第9期1999-2004,共6页

通过构建参考基因组的二级Hash索引,以快速筛选出测序长序列在参考基因组中可能匹配的候选区域;建立测序序列局部索引,以加速测序序列和参考基因组候选区域之间的映射定位;对每个候选区域里的k-mer与测序序列的索引命中进行左右扩展获... 通过构建参考基因组的二级Hash索引,以快速筛选出测序长序列在参考基因组中可能匹配的候选区域;建立测序序列局部索引,以加速测序序列和参考基因组候选区域之间的映射定位;对每个候选区域里的k-mer与测序序列的索引命中进行左右扩展获得比对种子;采用等距离抽样方式对种子抽取多个位置,利用抽样结果建立判断依据来过滤掉那些不可能匹配的种子;建立处理包含“均聚物”类型错误的序列片段全局比对得分方程,并行填补比对骨架的空隙,并采取GPU显存预分配和后释放独立的并行比对策略,以提升序列片段全局并行比对效率.模拟与真实数据的实验结果表明,相较于已有同类的长序列比对并行算法,本文提出的并行算法获得整体上较高的比对敏感度、碱基层次灵敏度和准确度,且可有效处理第3代测序长序列含有的“均聚物”类型错误,显著加速了大规模长序列与参考基因组比对的完成. 展开更多

关键词 序列比对 并行算法 hash索引 动态规划 筛选

在线阅读 下载PDF 职称材料

RC4密码的改进方法及其性能分析 被引量：7

7

作者 李琴 曾凡平 《计算机工程》 CAS CSCD 北大核心 2008年第18期181-183,共3页

针对RC4密码技术在工程应用中存在的弱密钥和相关密钥攻击、不变性弱点、数据流偏向性弱点等安全问题,提出一种将ECC技术与RC4技术相结合的方法。对改进后的RC4的数据处理效率、密钥管理、安全性能进行研究和分析。改进后的RC4技术在保... 针对RC4密码技术在工程应用中存在的弱密钥和相关密钥攻击、不变性弱点、数据流偏向性弱点等安全问题,提出一种将ECC技术与RC4技术相结合的方法。对改进后的RC4的数据处理效率、密钥管理、安全性能进行研究和分析。改进后的RC4技术在保证与RC4数据处理效率相近的同时,对当前针对RC4流密码的密码分析方法具有一定的抗攻击性。该技术较好地解决了密钥的共享和更新问题,具有重要的工程应用意义。 展开更多

关键词 RC4技术 改进的RC4 密钥协商 并行的类FPK散列算法

在线阅读 下载PDF 职称材料

网络群体心理趋势智能分析模型研究 被引量：3

8

作者 靳宇倡 秦启文 安俊秀 《计算机科学》 CSCD 北大核心 2010年第6期273-277,共5页

网络群体是随着互联网网民的飞速膨胀而出现的虚拟聚集但真实存在的群体现象。由于互联网的隐秘性、自由性,使得网络群体能针对某一事物现象更真实地表述自己的观点。网络群体心理趋势分析是综合心理学、云计算、信息检索、自然语言处... 网络群体是随着互联网网民的飞速膨胀而出现的虚拟聚集但真实存在的群体现象。由于互联网的隐秘性、自由性,使得网络群体能针对某一事物现象更真实地表述自己的观点。网络群体心理趋势分析是综合心理学、云计算、信息检索、自然语言处理、统计学等多学科理论和方法设计的智能模型。构建了以程序流为核心的网络群体心理趋势智能分析模型架构,突破了数据流方案,解决了云计算软件技术模式瓶颈。进一步研究了智能分析模型架构中核心模块的设计与实现,并以大学生网络群体的3万篇文本来检验该模型。结果表明,该模型能高效地实现网络群体心理趋势特征分析,能通过云图及结构方程模型给用户一个真实的感受。 展开更多

关键词 网络群体 管道并行集成切词算法 哈希(hash)散列算法 程序流 中文云图

在线阅读 下载PDF 职称材料

并行数据库中JOIN运算的并行算法 被引量：2

9

作者 黄明和 钟萃相 《计算机工程与科学》 CSCD 2006年第2期90-92,共3页

JOIN运算的并行算法一直是并行数据库领域中研究的热点问题,先后出现了一系列并行JOIN算法或改进算法,但它们都存在着通信效率较低、负载调度频繁等问题。本文针对这些问题,在分析比较前人工作的基础上对SABJ+算法与ABJ+算法加以改进,... JOIN运算的并行算法一直是并行数据库领域中研究的热点问题,先后出现了一系列并行JOIN算法或改进算法,但它们都存在着通信效率较低、负载调度频繁等问题。本文针对这些问题,在分析比较前人工作的基础上对SABJ+算法与ABJ+算法加以改进,得到了效率更高的并行JOIN算法ABJ++。 展开更多

关键词 串行JOIN算法 并行JOIN算法 并行hash JOIN算法 分桶

在线阅读 下载PDF 职称材料

基于DSVM和消息传递的并行哈希连接算法的性能分析 被引量：1

10

作者 方强 王国仁 +1 位作者 叶峰 于戈 《东北大学学报（自然科学版）》 EI CAS CSCD 北大核心 1999年第6期583-586,共4页

基于分布式共享虚拟存储器（ＤＳＶＭ） 的软件设计方法是运行在网络工作站（ＮＯＷ） 上的支持并行计算与分布处理的新途径，它与传统的消息传递的编程方法不同·描述了在面向对象的分布式数据库系统ＳｈｕｓｓｅＵｏ 上，用Ｄ... 基于分布式共享虚拟存储器（ＤＳＶＭ） 的软件设计方法是运行在网络工作站（ＮＯＷ） 上的支持并行计算与分布处理的新途径，它与传统的消息传递的编程方法不同·描述了在面向对象的分布式数据库系统ＳｈｕｓｓｅＵｏ 上，用ＤＳＶＭ 和消息传递两种方式分别实现并行哈希连接操作的３种算法；设计了测试数据库和３ 种不同的负载；并分析了ＤＳＶＭ 和消息传递这两种设计方法的性能·大量的测试结果表明，基于ＤＳＶＭ 的算法的性能比传统的消息传递的算法稍差，但ＤＳＶＭ 具有易编程等优点，因此在并行处理上仍是一项很有研究和开发价值的技术· 展开更多

关键词 哈希连接算法 并行连接算法 DSVM 消息传递

在线阅读 下载PDF 职称材料

基于散列和归并技术的有效并行排序方法 被引量：2

11

作者 钟诚 《计算机工程与科学》 CSCD 1998年第4期42-45,共4页

本文提出一个在共享存储多处理机系统上实现的快速、有效的并行排序算法：将长度为ｎ的待排序数据划分成ｐ个长度为ｎ／ｐ的子序列，引入散列技术并行地对这ｐ个子序列的数据进行二次散列排序，这一阶段所需的平均时间为Ｏ（ｎ／ｐ）；... 本文提出一个在共享存储多处理机系统上实现的快速、有效的并行排序算法：将长度为ｎ的待排序数据划分成ｐ个长度为ｎ／ｐ的子序列，引入散列技术并行地对这ｐ个子序列的数据进行二次散列排序，这一阶段所需的平均时间为Ｏ（ｎ／ｐ）；最后并行地将ｐ个有序子序列归并成一个长度为ｎ的有序序列，归并阶段所需的时间为Ｏ（ｎ－ｎ／ｐ）。整个排序算法的并行执行代价为Ｏ（ｎｐ）。本排序方法可以拓广到网络并行机群环境。 展开更多

关键词 排序 散列 归并 并行算法 计算机

在线阅读 下载PDF 职称材料

加密环境下大数据特征集并行存储方法研究 被引量：1

12

作者 李蓉蓉 《现代电子技术》 北大核心 2019年第18期69-72,共4页

针对传统方法存在数据存储速度慢,容量小的问题,提出一种加密环境下大数据特征集并行存储方法.采用MMSE算法对大数据特征集进行优化处理,以获得并行的大数据特征集.在加密环境下,当内存中保留数据记录达到一定数量时,在并行处理后的数... 针对传统方法存在数据存储速度慢,容量小的问题,提出一种加密环境下大数据特征集并行存储方法.采用MMSE算法对大数据特征集进行优化处理,以获得并行的大数据特征集.在加密环境下,当内存中保留数据记录达到一定数量时,在并行处理后的数据中插入批量Hash索引.以此为基础,基于Map函数对数据进行映射处理,进而完成对大数据特征集的并行存储.实验结果表明,利用所提方法的存储过程中数据分布通道具有较好的一致性,且存储速度约为传统方法的3倍,存储容量大. 展开更多

关键词 大数据特征集 并行存储 MMSE算法 hash索引 结果分析 映射处理

在线阅读 下载PDF 职称材料

并行散列选择算法

13

作者 钟诚 《计算机工程与科学》 CSCD 2000年第3期32-35,共4页

基于散列方法、分组原理和弃大留小筛选原理 ,通过构造线性单调的散列函数 ,给出一种 ( m,n)选择问题的并行算法 ,并分析算法在具有 p个处理机的共享存储并行系统模型上实现的复杂性。理论分析和仿真实验结果表明 ,本算法是一种可伸缩... 基于散列方法、分组原理和弃大留小筛选原理 ,通过构造线性单调的散列函数 ,给出一种 ( m,n)选择问题的并行算法 ,并分析算法在具有 p个处理机的共享存储并行系统模型上实现的复杂性。理论分析和仿真实验结果表明 ,本算法是一种可伸缩、简明实用、快速的并行选择算法。 展开更多

关键词 并行散列选择算法 算法复杂性 微机

在线阅读 下载PDF 职称材料

基于散列函数加速的并行遗传算法 被引量：6

14

作者 陆鹏 肖晓强 +1 位作者 王济瑾 宁伟勋 《计算机应用》 CSCD 北大核心 2020年第S01期124-127,共4页

针对新一代种群在并行遗传算法收敛过程中产生旧的个体可能性逐渐增大导致重复计算适应度的问题,提出一种基于散列函数加速的并行遗传算法(HPGA)。一方面利用散列函数查表时间复杂度低的优势,在散列表中存储算法运行中产生的个体以及其... 针对新一代种群在并行遗传算法收敛过程中产生旧的个体可能性逐渐增大导致重复计算适应度的问题,提出一种基于散列函数加速的并行遗传算法(HPGA)。一方面利用散列函数查表时间复杂度低的优势,在散列表中存储算法运行中产生的个体以及其相应的适应度,减少个体适应度的重复计算;另一方面利用时间戳替代键,改进散列表存储方式,从而解决散列函数处理冲突的问题。通过求解集合覆盖问题对比了原始并行遗传算法和HPGA,结果表明HPGA在不影响求解精度的情况下,运行速度提升了3倍以上。 展开更多

关键词 并行遗传算法 散列函数 集合覆盖问题

在线阅读 下载PDF 职称材料

无损高压缩率电路设计 被引量：2

15

作者 朱嘉 刘红侠 《西安电子科技大学学报》 EI CAS CSCD 北大核心 2019年第2期35-40,共6页

为了节省传输系统数据带宽,满足实时压缩要求,通过对Deflate算法硬件实现,设计了一种无损高压缩率电路。通过4列双哈希并行匹配,采用静态哈夫曼编码技术,发挥硬件流水结构和并行计算优势,提升了压缩速度及压缩率。该硬件电路由系统硬件... 为了节省传输系统数据带宽,满足实时压缩要求,通过对Deflate算法硬件实现,设计了一种无损高压缩率电路。通过4列双哈希并行匹配,采用静态哈夫曼编码技术,发挥硬件流水结构和并行计算优势,提升了压缩速度及压缩率。该硬件电路由系统硬件描述语言设计,使用现场可编程阵列进行测试并验证,最终应用于基带追踪数据进行流片,压缩模块面积为0.022 mm2。测试数据表明:该压缩电路获得了56.68%的高平均压缩率,压缩速率提高至1039Mbit/s。该压缩模块速率及压缩率可满足基带数据追踪系统实时压缩要求。 展开更多

关键词 无损压缩 Deflate算法 双哈希 并行匹配 哈夫曼编码

在线阅读 下载PDF 职称材料

基于GPU的可扩展哈希方法

16

作者 胡学萱 奚建清 林妙 《华南理工大学学报（自然科学版）》 EI CAS CSCD 北大核心 2015年第1期111-117,共7页

为了使用可扩展哈希表进行快速的数据访问,需要高效地更新索引以维护哈希表.文中提出了一种基于GPU的可扩展哈希算法g EHT.该算法充分利用GPU的并行计算能力,并采用表重用、预分裂技术,无锁地扩展和收缩表、插入和删除数据,实现了高并... 为了使用可扩展哈希表进行快速的数据访问,需要高效地更新索引以维护哈希表.文中提出了一种基于GPU的可扩展哈希算法g EHT.该算法充分利用GPU的并行计算能力,并采用表重用、预分裂技术,无锁地扩展和收缩表、插入和删除数据,实现了高并发地创建哈希表、更新索引和检索数据.实验结果表明,该算法的查询数据、维护哈希表和更新索引性能优于其他多核CPU的线性哈希及可扩展哈希算法,尤其是在高负载的情况下. 展开更多

关键词 可扩展哈希 并行计算 GPU 算法 多核CPU

在线阅读 下载PDF 职称材料

基于FPGA的SM3算法快速实现方案 被引量：11

17

作者 方轶 丛林虎 +1 位作者 邓建球 陈泽宇 《计算机应用与软件》 北大核心 2020年第6期259-262,共4页

SM3算法是我国商用密码杂凑算法标准。为了提高SM3算法的吞吐量,减少运算资源占用,使其更好地应用于硬件加密场景,提高执行效率与速度,进行流水线结构设计,在其基础上对关键运算路径进行并行计算设计。同时采用进位保留加法器(CSA)进行... SM3算法是我国商用密码杂凑算法标准。为了提高SM3算法的吞吐量,减少运算资源占用,使其更好地应用于硬件加密场景,提高执行效率与速度,进行流水线结构设计,在其基础上对关键运算路径进行并行计算设计。同时采用进位保留加法器(CSA)进行关键路径的压缩,使完成一次压缩函数中关键路径计算所需的时钟周期明显减少。基于FPGA对方案进行实现,并与其他几种实现方案进行性能对比,结果表明该方案的吞吐量为80.43 Gbit/s,更易于在对吞吐量有较高需求的场景中使用。 展开更多

关键词 SM3算法 FPGA hash函数 流水线结构 并行计算

在线阅读 下载PDF 职称材料

基于MapReduce的相似矩阵并行构造 被引量：3

18

作者 罗莉霞 蒋盛益 《计算机工程与设计》 北大核心 2021年第5期1368-1375,共8页

随着用户数量与数据体量的飞速增长,传统基于相似性矩阵构造的协同过滤算法求解效率低下。针对这一问题,提出一种基于MapReduce框架下的并行相似矩阵构造算法。依据基于改进的局部敏感哈希(locality sensitive Hashing,LSH)算法将项目... 随着用户数量与数据体量的飞速增长,传统基于相似性矩阵构造的协同过滤算法求解效率低下。针对这一问题,提出一种基于MapReduce框架下的并行相似矩阵构造算法。依据基于改进的局部敏感哈希(locality sensitive Hashing,LSH)算法将项目集合划分为不相交的组,基于MapReduce框架进行组内部相似度和组间相似度计算,采用MovieLens数据集进行算例实验对比。实验结果表明,与传统串行和两轮次MapReduce构造方法相比,在相同的实验条件下,所提方法的平均执行时间分别节约26.4%和14.4%以上。所提方法在大规模数据集场景下具有更好的经济性与扩展性,改进的LSH算法有效提升了后续轮次的计算效率。 展开更多

关键词 相似矩阵构造 相似度计算 MAPREDUCE框架 协同过滤推荐算法 并行计算 局部敏感哈希算法

在线阅读 下载PDF 职称材料