基于Spark的并行FP-Growth算法优化与实现 被引量：8

1

作者 陆可 桂伟 +1 位作者 江雨燕 杜萍萍 《计算机应用与软件》 2017年第9期273-278,共6页

频繁模式挖掘作为模式识别的重要问题,一直受到研究者的广泛关注。FP-Growth算法因其高效快速的特点,被大量应用于频繁模式的挖掘任务中。然而,该算法依赖于内存运行的特性,使其难以适应大规模数据计算。针对上述问题,围绕大规模数据集... 频繁模式挖掘作为模式识别的重要问题,一直受到研究者的广泛关注。FP-Growth算法因其高效快速的特点,被大量应用于频繁模式的挖掘任务中。然而,该算法依赖于内存运行的特性,使其难以适应大规模数据计算。针对上述问题,围绕大规模数据集下频繁模式挖掘展开研究,基于Spark框架,通过对支持度计数和分组过程的优化改进了FP-Growth算法,并实现了算法的分布式计算和计算资源的动态分配。运算过程中产生的中间结果均保存在内存中,因此有效减少数据的I/O消耗,提高算法的运行效率。实验结果表明,经优化后的算法在面向大规模数据时要优于传统的FP-Growth算法。 展开更多

关键词 频繁模式挖掘 fp-growth算法 分布式计算 Spark框架

在线阅读 下载PDF 职称材料

负载均衡的FP-growth并行算法研究 被引量：10

2

作者 曾志勇 杨呈智 陶冶 《计算机工程与应用》 CSCD 北大核心 2010年第4期125-126,229,共3页

针对在大数据量频繁模式挖掘的时候,有效地利用空闲的计算资源,提出一种基于FP-growth算法的并行算法。该算法有效地将FP-growth主要的计算部分合理地分配到各个计算节点上,各个节点独立完成挖掘后返回结果,从而缩短总计算时间。实验证... 针对在大数据量频繁模式挖掘的时候,有效地利用空闲的计算资源,提出一种基于FP-growth算法的并行算法。该算法有效地将FP-growth主要的计算部分合理地分配到各个计算节点上,各个节点独立完成挖掘后返回结果,从而缩短总计算时间。实验证明,该算法可以完整高效地挖掘频繁模式,并且实现均衡负载。 展开更多

关键词 数据挖掘 并行算法 fp—growth 频繁模式

在线阅读 下载PDF 职称材料

基于Spark的并行FP-Growth算法优化及实现 被引量：10

3

作者 顾军华 武君艳 +2 位作者 许馨匀 谢志坚 张素琪 《计算机应用》 CSCD 北大核心 2018年第11期3069-3074,共6页

为了进一步提高在Spark平台上的频繁模式增长(FP-Growth)算法执行效率,提出一种新的基于Spark的并行FP-Growth算法——BFPG。首先,从频繁模式树(FP-Tree)规模大小和分区计算量对F-List分组策略进行改进,保证每个分区负载总和近似相等;然... 为了进一步提高在Spark平台上的频繁模式增长(FP-Growth)算法执行效率,提出一种新的基于Spark的并行FP-Growth算法——BFPG。首先,从频繁模式树(FP-Tree)规模大小和分区计算量对F-List分组策略进行改进,保证每个分区负载总和近似相等;然后,通过创建列表P-List对数据集划分策略进行优化,减少遍历次数,降低时间复杂度。实验结果表明,BFPG算法提高了并行FP-Growth算法挖掘效率,且算法具有良好的扩展性。 展开更多

关键词 大数据平台 关联规则 频繁项集 频繁模式增长算法 SPARK

在线阅读 下载PDF 职称材料

基于改进的FP-tree的频繁模式挖掘算法 被引量：21

4

作者 李也白 唐辉 +1 位作者 张淳 贺玉明 《计算机应用》 CSCD 北大核心 2011年第1期101-103,共3页

FP-growth算法是一种基于FP-tree数据结构的高效的频繁模式挖掘算法,它不产生候选集。构造频繁模式树FP-tree需扫描数据库两次,在第二遍扫描中还扫描了那些仅包含了非频繁项的事务,针对此问题,在深入分析了FP-tree特性的基础上,改进了FP... FP-growth算法是一种基于FP-tree数据结构的高效的频繁模式挖掘算法,它不产生候选集。构造频繁模式树FP-tree需扫描数据库两次,在第二遍扫描中还扫描了那些仅包含了非频繁项的事务,针对此问题,在深入分析了FP-tree特性的基础上,改进了FP-tree构造过程,同时用一种基于Hash表的辅助存储结构,节省了项目查找时间,提高了挖掘效率。 展开更多

关键词 数据挖掘 关联规则 频繁模式 fp—growth算法 fp—tree

在线阅读 下载PDF 职称材料

压缩FP-Tree的改进搜索算法 被引量：8

5

作者 吴倩 罗健旭 《计算机工程与设计》 北大核心 2015年第7期1771-1777,共7页

为克服Apriori算法候选频繁项集的支持数计算效率过低和频繁模式增长算法FP-Growth多次建立条件模式树时内存耗费大的问题,提出基于压缩频繁模式树(CFP-Tree)的改进搜索算法(MCFP-Tree)。利用Apriori算法候选项集生成的思想和压缩频繁... 为克服Apriori算法候选频繁项集的支持数计算效率过低和频繁模式增长算法FP-Growth多次建立条件模式树时内存耗费大的问题,提出基于压缩频繁模式树(CFP-Tree)的改进搜索算法(MCFP-Tree)。利用Apriori算法候选项集生成的思想和压缩频繁模式树紧凑的数据结构,采用自底向上的搜索策略,快速挖掘压缩频繁模式树及其子树,更快得到候选项集的支持数。实验结果表明,该算法可以高效计算出候选频繁项集出现的频次,挖掘效率明显优于Apriori和FPGrowth算法。 展开更多

关键词 数据挖掘 关联规则 压缩频繁模式树 APRIORI算法 频繁模式增长算法

在线阅读 下载PDF 职称材料

基于逆向FP-树的频繁模式挖掘算法 被引量：8

6

作者 赵艳铎 宋斌恒 《计算机应用》 CSCD 北大核心 2005年第6期1385-1387,共3页

提出了一种称为逆向FP 合并的算法,该算法逆向构造FP 树并通过在其中寻找频繁扩展项集与合并子树来挖掘频繁模式。新算法在时空效率方面均优于FP 增长算法,其中时间效率提高了2倍以上。此外,新算法还具有良好的伸缩性。

关键词 数据挖掘 频繁模式 逆向fp-树 逆向fp-合并算法 频繁扩展项

在线阅读 下载PDF 职称材料

基于FP-参考树/表的频繁模式挖掘算法 被引量：2

7

作者 石巍 傅彦 《计算机科学》 CSCD 北大核心 2006年第6期206-209,共4页

通分析FP-growth算法中包含的冗余操作,引入数据结构FP参考树/表,改变FP-growth算法中条件模式基的存储和生成方式,提出了新的FPRSG算法,高效地解决了频繁模式挖掘问题。理论分析与实验结果表明,FPRSG算法优于FP-growth算法。

关键词 关联规则 频繁模式 fp参考树/表 fp参考收缩/增长算法 条件模式基

在线阅读 下载PDF 职称材料

改进的关联规则挖掘算法——MIFP-Apriori算法 被引量：33

8

作者 曾子贤 巩青歌 张俊 《科学技术与工程》 北大核心 2019年第16期216-220,共5页

Apriori算法是关联规则挖掘的经典算法,具有原理简洁、易编程实现等优点,得到广泛应用。针对该算法扫描数据库次数过多,产生大量冗余候选集的缺陷,在现有Apriori算法改进优化思想的基础上,结合矩阵、改进频繁模式树和计算候选集频数优... Apriori算法是关联规则挖掘的经典算法,具有原理简洁、易编程实现等优点,得到广泛应用。针对该算法扫描数据库次数过多,产生大量冗余候选集的缺陷,在现有Apriori算法改进优化思想的基础上,结合矩阵、改进频繁模式树和计算候选集频数优化策略提出了一种改进的关联规则挖掘算法——MIFP-Apriori算法。实验表明,该算法能够将扫描数据库次数降低到一次,有效解决产生大量冗余候选集的缺陷,提高算法效率。 展开更多

关键词 数据挖掘 关联规则挖掘 APRIORI算法 频繁模式树(fp-Tree) 改进的频繁模式树 MIfp-Apriori算法

在线阅读 下载PDF 职称材料

基于特征挖掘的电网故障诊断方法 被引量：46

9

作者 李再华 白晓民 +5 位作者 周子冠 许婧 李晓珺 张霖 孟珺遐 朱宁辉 《中国电机工程学报》 EI CSCD 北大核心 2010年第10期16-22,共7页

专家系统在应用方面的主要瓶颈是:规则库的维护;推理的速度和准确度的协调。分析了故障信息序列中必有或特有的信息,提出了基于特征挖掘的关联规则挖掘方法。结合电网故障信息的特征,改进了频繁模式(frequent pattern,FP)–算法:考虑了... 专家系统在应用方面的主要瓶颈是:规则库的维护;推理的速度和准确度的协调。分析了故障信息序列中必有或特有的信息,提出了基于特征挖掘的关联规则挖掘方法。结合电网故障信息的特征,改进了频繁模式(frequent pattern,FP)–算法:考虑了故障信息的特征,如时序和因果关联关系、故障性质、严重故障、稀有故障等因素;增加了规则的"或"逻辑;改进了FP-树的修剪技术。算例表明该算法能够大量减少无效挖掘,推理速度和准确度显著提高,适用于在线诊断。 展开更多

关键词 数据挖掘 关联规则 特征挖掘 频繁模式一算法 故障诊断 专家系统

在线阅读 下载PDF 职称材料

挖掘数据流中的频繁模式 被引量：25

10

作者 刘学军 徐宏炳 +2 位作者 董逸生 王永利 钱江波 《计算机研究与发展》 EI CSCD 北大核心 2005年第12期2192-2198,共7页

发现数据流中的频繁项是数据流挖掘中最基本的问题之一·数据流的无限性和流动性使得传统的频繁模式挖掘算法难以适用·针对数据流的特点,在借鉴FP-growth算法的基础上,提出了一种数据流频繁模式挖掘的新方法:FP-DS算法·... 发现数据流中的频繁项是数据流挖掘中最基本的问题之一·数据流的无限性和流动性使得传统的频繁模式挖掘算法难以适用·针对数据流的特点,在借鉴FP-growth算法的基础上,提出了一种数据流频繁模式挖掘的新方法:FP-DS算法·算法采用数据分段的思想,逐段挖掘频繁项集,用户可以连续在线获得当前的频繁项集,可以有效地挖掘所有的频繁项集,算法尤其适合长频繁项集的挖掘·通过引入误差ε,裁减了大量的非频繁项集,减少了数据的存储量,也能保证整个数据集中项目集支持度误差不超过ε·分析和实验表明算法有较好的性能· 展开更多

关键词 数据流 频繁模式 fp—DS算法 流数据挖掘

在线阅读 下载PDF 职称材料

基于IS~±树模型的频繁模式挖掘 被引量：3

11

作者 马海兵 张成洪 +1 位作者 张锦 胡运发 《计算机研究与发展》 EI CSCD 北大核心 2005年第4期588-593,共6页

IS-树是一种新型的全文存储索引模型.提出一种基于扩展I-S树模型的频繁模式挖掘算法.和FPgrowth方法一样,算法直接构造频繁项集,不进行Apriori算法所采用的代价很高的候选集产生与测试操作.然而它比FP-树模型具有更多的优点:只需扫描一... IS-树是一种新型的全文存储索引模型.提出一种基于扩展I-S树模型的频繁模式挖掘算法.和FPgrowth方法一样,算法直接构造频繁项集,不进行Apriori算法所采用的代价很高的候选集产生与测试操作.然而它比FP-树模型具有更多的优点:只需扫描一遍事务库;挖掘任务只局部关联于一棵根树;动态更新性好,仅做增量变化.实验表明,其具有与FP-growth算法相当甚至更高的效率.更重要的是,IS+树模型同时是一种事务库的良好索引形式,具有高效支持事务查询的能力. 展开更多

关键词 频繁模式 APRIORI算法 fp—growth算法 IS-树 IS^+-树

在线阅读 下载PDF 职称材料

基于加权频繁模式树的通信网络告警规则挖掘方法 被引量：14

12

作者 罗明 孟传伟 黄海量 《计算机工程》 CAS CSCD 北大核心 2016年第4期190-196,共7页

传统通信网络告警处理方法主要由维护专家依据经验判断形成处理规则并固化在网络告警系统中进行实现,然而该人工维护方式难以适应海量数据环境下实时通信告警规则的处理需求。为此,提出一种基于加权频繁模式树(WFP-tree)算法的告警规则... 传统通信网络告警处理方法主要由维护专家依据经验判断形成处理规则并固化在网络告警系统中进行实现,然而该人工维护方式难以适应海量数据环境下实时通信告警规则的处理需求。为此,提出一种基于加权频繁模式树(WFP-tree)算法的告警规则自动挖掘方法,将原始告警数据按时间窗口方式进行分段处理,通过BP神经网络、支持向量机、层次分析法生成告警设备的权重信息,并采用WFP-tree算法自动挖掘加权频繁项集。实验结果表明,与传统Apriori和FP-growth算法相比,WFP-tree算法在通信网络告警分析方面具有更好的频繁项压缩效果及更强的重要关联规则发现能力。 展开更多

关键词 通信网络告警 关联规则 权重因子 加权频繁项集 fp-growth算法 加权频繁模式树算法 支持度

在线阅读 下载PDF 职称材料

基于关联规则的船员不安全行为发展路径分析 被引量：2

13

作者 胡甚平 谢莹 +2 位作者 张欣欣 江帅 席永涛 《上海海事大学学报》 北大核心 2022年第3期62-68,共7页

为研究船员不安全行为间的不确定性关联特征,运用关联规则对船员的不安全行为进行支持度和关联度评估。考虑到船员不安全行为表现的复杂性和不确定性,对船舶航行事故中船员的不安全行为进行辨识,并提出船员不安全行为的基本组成和关联... 为研究船员不安全行为间的不确定性关联特征,运用关联规则对船员的不安全行为进行支持度和关联度评估。考虑到船员不安全行为表现的复杂性和不确定性,对船舶航行事故中船员的不安全行为进行辨识,并提出船员不安全行为的基本组成和关联因素。引入频繁模式增长(frequent pattern growth,FP-growth)算法,分析船员的不安全行为关联规则。结合某港口水域安全事故数据,通过置信度和支持度分析,揭示船员不安全行为致因事故路径。应用结果表明,船员不安全行为导致事故发生的主要路径为:瞭望疏忽→安全航速失误→危险判断过失→避让行动过失→应急操作不当。自然环境和交通密度对船员不安全行为的产生具有较强的关联性。 展开更多

关键词 水路运输 船员不安全行为 关联规则 不确定性 频繁模式增长(fp-growth)算法

在线阅读 下载PDF 职称材料

数据流上一种单遍扫描频繁模式树结构 被引量：1

14

作者 谭军 卜英勇 陈爱斌 《计算机工程与应用》 CSCD 2013年第2期152-154,共3页

针对频繁模式增长算法无法适应数据流的无限性和流动性的特点,提出一种新颖的FP-tree的变形结构——FPS-tree,只需单遍扫描便能获取当前窗口的全部数据库信息。为了在滑动窗口时有效地删除过期窗格和插入新窗格,提出一个新颖的概念——&... 针对频繁模式增长算法无法适应数据流的无限性和流动性的特点,提出一种新颖的FP-tree的变形结构——FPS-tree,只需单遍扫描便能获取当前窗口的全部数据库信息。为了在滑动窗口时有效地删除过期窗格和插入新窗格,提出一个新颖的概念——"尾结点",FPS-tree中每条路径上的窗格信息只保持在尾结点里。实验结果表明FPS-tree的压缩性能要优于其他单遍扫描的前缀树结构。 展开更多

关键词 数据流 频繁模式增长算法 单遍扫描模式树 尾结点

在线阅读 下载PDF 职称材料

利用CUDA提高内存数据聚类效能的研究

15

作者 董丽丽 董玮 张翔 《计算机工程与应用》 CSCD 北大核心 2015年第22期243-251,共9页

提出一种新的聚类算法AIK-Means,利用CUDA技术加速算法执行效率,并优化内存方法,可在有限时间内进行多次聚类;将Chameleon层次聚类算法用于解决K-Means算法的初始聚类中心敏感问题;在多次聚类结果中用FP-Tree进行关联分析,提高聚类有效... 提出一种新的聚类算法AIK-Means,利用CUDA技术加速算法执行效率,并优化内存方法,可在有限时间内进行多次聚类;将Chameleon层次聚类算法用于解决K-Means算法的初始聚类中心敏感问题;在多次聚类结果中用FP-Tree进行关联分析,提高聚类有效性。将算法应用到某集团心理学MMPI数据测试,实验结果表明AIK-Means算法在执行效率和聚类有效性上具有良好的效果。 展开更多

关键词 统一计算设备架构(CUDA) Chameleon层次聚类算法 K-Means聚类算法 频繁模式树(fp-Tree) 明尼苏达多项人格测验(MMPI)

在线阅读 下载PDF 职称材料

基于矩阵技术的频繁项目集挖掘算法 被引量：4

16

作者 田王君 蒋军辉 陈士慧 《计算机工程》 CAS CSCD 北大核心 2011年第16期80-81,97,共3页

频繁模式挖掘算法FP-growth算法需递归地生成大量的条件FP-树,且耗费大量存储空间和时间。为此,采用矩阵技术统计约束子树中的频繁项集和频繁项集的支持度,以进行数据挖掘。实验结果表明,该频繁模式挖掘算法是有效的,具有较高的时间效... 频繁模式挖掘算法FP-growth算法需递归地生成大量的条件FP-树,且耗费大量存储空间和时间。为此,采用矩阵技术统计约束子树中的频繁项集和频繁项集的支持度,以进行数据挖掘。实验结果表明,该频繁模式挖掘算法是有效的,具有较高的时间效率及空间效率。 展开更多

关键词 频繁模式 fp-growth算法 矩阵技术 数据挖掘 约束子树方法

在线阅读 下载PDF 职称材料

航天侦察装备体系指标关联信息挖掘研究 被引量：13

17

作者 韩驰 熊伟 《系统仿真学报》 CAS CSCD 北大核心 2021年第10期2372-2380,共9页

航天侦察装备体系的体系效能和体系贡献率影响因素指标数量多,指标间关系复杂。如何识别关联,优选关键性能指标并明确性能指标与体系贡献率之间的关系是体系效能及贡献率评估问题的关键。通过MATLAB与STK联合仿真获取航天侦察装备底层... 航天侦察装备体系的体系效能和体系贡献率影响因素指标数量多,指标间关系复杂。如何识别关联,优选关键性能指标并明确性能指标与体系贡献率之间的关系是体系效能及贡献率评估问题的关键。通过MATLAB与STK联合仿真获取航天侦察装备底层指标数据,基于FP-Tree(Frequent Pattern-Tree)算法发现指标间关联信息,去除冗余,确定指标关联类型,并结合Marichal熵建立优化模型确定关键性能指标的贡献度。仿真实验结果表明,通过FP-Tree算法可挖掘航天侦察装备初始评价指标体系间的关联性及关联类型,确定指标贡献度并实现指标体系的精简。 展开更多

关键词 航天侦察 关联规则 指标关联 数据挖掘 fp-Tree(frequent pattern-Tree)算法

在线阅读 下载PDF 职称材料