期刊文献+
共找到2篇文章
< 1 >
每页显示 20 50 100
基于Hadoop平台的并行DHP数据分析方法 被引量:4
1
作者 杨燕霞 冯林 《计算机应用》 CSCD 北大核心 2016年第12期3280-3284,3291,共6页
由候选项集G2生成频繁2-项集岛是关联规则Apriori算法的一个瓶颈。直接哈希修剪(DHP)算法利用一个生成的Hash表见H2减G2中无用的候选项集,以此提高厶的生成效率。但传统DHP算法是一个串行算法,不能有效处理较大规模数据。针对这一... 由候选项集G2生成频繁2-项集岛是关联规则Apriori算法的一个瓶颈。直接哈希修剪(DHP)算法利用一个生成的Hash表见H2减G2中无用的候选项集,以此提高厶的生成效率。但传统DHP算法是一个串行算法,不能有效处理较大规模数据。针对这一问题,提出DHP的并行化算法——H_DHP。首先,对DHP算法并行化策略的可行性进行了理论分析与证明;其次,基于Hadoop平台,把Hash表以的生成以及频繁项集L1、L3~Lk的生成方法进行了并行实现,并借助Hbase数据库生成关联规则。仿真实验结果表明:与传统DHP算法相比,H_DHP算法在数据的处理时间效率、处理数据集的规模大小,以及加速比和可扩展性等方面都有较好的性能。 展开更多
关键词 HADOOP hash APRIORI算法 直接哈希修剪算法
在线阅读 下载PDF
动车组运维效率关联规则挖掘优化算法 被引量:4
2
作者 张春 周静 《计算机研究与发展》 EI CSCD 北大核心 2017年第9期1958-1965,共8页
随着动车组运营时间和运营里程的增长,动车组运维系统积累了大量的数据.利用高效的关联规则挖掘算法从动车组运维数据中快速发现有用的信息,对于提高动车组关键部件运维效率具有重要意义.针对动车组运维数据的数据量巨大、价值密度低的... 随着动车组运营时间和运营里程的增长,动车组运维系统积累了大量的数据.利用高效的关联规则挖掘算法从动车组运维数据中快速发现有用的信息,对于提高动车组关键部件运维效率具有重要意义.针对动车组运维数据的数据量巨大、价值密度低的特点,设计一种基于近似最小完美Hash函数的AMPHP(approximate minimum perfect hashing and pruning)算法,相较于传统的直接Hash和修剪(direct hashing and pruning,DHP)算法,它可以过滤掉所有的非频繁项集,无需额外的数据库扫描.为了突破单机算法的性能限制,借鉴SON算法思想对AMPHP算法进行并行化改进,提出AMPHPSON算法,进一步提高算法性能.使用实际的动车组牵引电机运维数据进行测试分析,实验结果表明,AMPHP-SON算法具有很好的时间性能,且挖掘出的规则可以有效地指导动车组修程修制优化,从而达到提高动车组运维效率的目的. 展开更多
关键词 关联规则挖掘 dhp算法 近似最小完美hash函数 SON算法 动车组
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部