云制造环境下并行频繁模式增长算法优化 被引量：5

1

作者 王洁 戴清灏 +1 位作者 曾宇 杨东日 《计算机集成制造系统》 EI CSCD 北大核心 2012年第9期2124-2129,共6页

针对云制造环境下的海量数据挖掘,分析了现有并行频繁模式增长算法的实现和不足。研究了利用键值存储系统对其中的计数和分组部分进行优化。利用键值型数据库存储简单、自动增长且有序的方式,将计数和分组的信息存储在了键值型数据库上... 针对云制造环境下的海量数据挖掘,分析了现有并行频繁模式增长算法的实现和不足。研究了利用键值存储系统对其中的计数和分组部分进行优化。利用键值型数据库存储简单、自动增长且有序的方式,将计数和分组的信息存储在了键值型数据库上。通过减少对分布式文件系统的读写,并将计数过程和排序过程并行化执行,优化后的算法减小了存储节点的网络及内存开销。在真实数据集上,通过实验对比了优化前后算法的性能以及对于文件系统I/O的开销。 展开更多

关键词 云制造 并行频繁模式增长算法 键值存储系统 数据挖掘 算法优化

在线阅读 下载PDF 职称材料

基于分布式协调系统的并行频繁模式增长算法的优化 被引量：1

2

作者 王洁 戴清灏 李环 《计算机科学》 CSCD 北大核心 2012年第3期170-173,共4页

频繁模式挖掘可以发现数据中频繁出现的模式,是关联规则挖掘的重要步骤。并行频繁模式算法将其应用到并行环境中,以对海量数据进行挖掘。在Apache软件基金会的Mahout项目实现的基础上,对计数和排序阶段以及算法的执行顺序提出了新的优... 频繁模式挖掘可以发现数据中频繁出现的模式,是关联规则挖掘的重要步骤。并行频繁模式算法将其应用到并行环境中,以对海量数据进行挖掘。在Apache软件基金会的Mahout项目实现的基础上,对计数和排序阶段以及算法的执行顺序提出了新的优化策略。优化后的设计将计数信息存储在分布式协调系统上,充分地利用了分布式协调系统的高可用性、适宜存储元数据信息的特点。该设计减小了小文件在分布式文件系统(HDFS)上的开销,同时保留了其优点,还能使计数过程和排序过程并行执行,减小了计算节点的内存开销。对比了文件系统I/O的开销,并分析了实现设计中的难点,为未来的工作打下了基础。 展开更多

关键词 频繁模式增长算法 并行数据挖掘 分布式协调系统 性能优化

在线阅读 下载PDF 职称材料

动车组故障诊断知识挖掘中改进的并行频繁模式增长算法 被引量：4

3

作者 周斌 徐文胜 《计算机集成制造系统》 EI CSCD 北大核心 2016年第10期2450-2457,共8页

针对动车组历史运维数据的知识挖掘问题,从有效利用动车组历史运维数据来指导动车组故障诊断的角度出发,分析了现有并行频繁模式增长算法的实现形式和不足。结合动车组故障诊断的要求,提出利用局部频繁模式树代替全局频繁模式树的数据... 针对动车组历史运维数据的知识挖掘问题,从有效利用动车组历史运维数据来指导动车组故障诊断的角度出发,分析了现有并行频繁模式增长算法的实现形式和不足。结合动车组故障诊断的要求,提出利用局部频繁模式树代替全局频繁模式树的数据挖掘算法。该算法在各主要步骤上均实现了并行处理,优化了局部频繁模式树生成规则,对频繁模式的搜索策略进行了改进。改进后的算法大大提高了关联规则挖掘的效率,挖掘结果很好地保留了故障信息与状态信息之间的关联关系,并合理去除了无效规则。通过对该算法的具体分析与实际测试,表明该算法在动车组故障诊断知识获取过程中具有快速、高效、准确的特点。 展开更多

关键词 故障诊断 动车组 关联规则 并行频繁模式增长算法 局部频繁模式树 MAPREDUCE

在线阅读 下载PDF 职称材料

基于FP-tree频集模式的FP-Growth算法对关联规则挖掘的影响 被引量：25

4

作者 陆楠 王喆 周春光 《吉林大学学报（理学版）》 CAS CSCD 北大核心 2003年第2期180-185,共6页

通过对两个有代表性的算法Apriori和FP-Growth的剖析,说明频集模式挖掘的过程,比较有候选项集产生和无候选项集产生算法的特点,并给出FP-tree结构的构造方法以及对挖掘关联规则的影响,提出了对算法的改进方法.

关键词 数据挖掘 关联规则 频繁项集 无候选项集 FP-tree频集模式 fp-growth算法

在线阅读 下载PDF 职称材料

基于排序FP-树的频繁模式高效挖掘算法 被引量：13

5

作者 秦亮曦 李谦 史忠植 《计算机科学》 CSCD 北大核心 2005年第4期31-33,共3页

FP-growth算法是目前较高效的频繁模式挖掘算法之一。在FP-growth算法中,FP-树及条件FP-树的构造和遍历占了算法绝大部分的时间,如果能减少这方面的时间,则有望进一步改善算法的效率。本文给出了一个频繁模式挖掘算法SFP-growth。算法... FP-growth算法是目前较高效的频繁模式挖掘算法之一。在FP-growth算法中,FP-树及条件FP-树的构造和遍历占了算法绝大部分的时间,如果能减少这方面的时间,则有望进一步改善算法的效率。本文给出了一个频繁模式挖掘算法SFP-growth。算法通过将FP-树有序化及采用高效排序算法等措施来提高FP-树构造的效率,从而使算法达到较高的效率。实验结果表明,SFP-growth是一个高效的频繁模式挖掘算法,其性能优于Apriori、Eclat和FP-growtn算法。 展开更多

关键词 FP-树 挖掘算法 频繁模式 fp-growth算法 高效 APRIORI 排序算法 有序化 时间 构造 遍历

在线阅读 下载PDF 职称材料

一种高效的闭频繁模式挖掘算法 被引量：4

6

作者 谭军 卜英勇 杨勃 《计算机工程与应用》 CSCD 北大核心 2010年第6期130-132,共3页

为了构造条件FP树,必须两次遍历FP树。提出一种FP阵列技术,直接从FP阵列得到频繁项的计数,从而省略了第一次遍历。为了检查闭频繁项集,采用FP树的一种变形结构,并将它与FP阵列结合起来,提出了一种高效的闭频繁模式挖掘算法。实验表明,... 为了构造条件FP树,必须两次遍历FP树。提出一种FP阵列技术,直接从FP阵列得到频繁项的计数,从而省略了第一次遍历。为了检查闭频繁项集,采用FP树的一种变形结构,并将它与FP阵列结合起来,提出了一种高效的闭频繁模式挖掘算法。实验表明,该算法具有很好的性能。 展开更多

关键词 闭频繁模式增长算法 闭频繁模式树 FP阵列

在线阅读 下载PDF 职称材料

一种基于FP阵列技术的频繁模式挖掘算法 被引量：2

7

作者 谭军 卜英勇 杨勃 《计算机科学》 CSCD 北大核心 2009年第7期208-210,共3页

在FP-growth算法中,为了产生条件FP树,必须扫描FP树两次。提出一种新颖的FP阵列技术,将FP-tree数据结构与FP阵列有效地结合起来,直接从FP阵列得到频繁项的计数,从而省略了第一次扫描,节省了时间。尤其对于稀疏数据库,该算法在执行时间... 在FP-growth算法中,为了产生条件FP树,必须扫描FP树两次。提出一种新颖的FP阵列技术,将FP-tree数据结构与FP阵列有效地结合起来,直接从FP阵列得到频繁项的计数,从而省略了第一次扫描,节省了时间。尤其对于稀疏数据库,该算法在执行时间上比原FP-growth算法具有更优的性能。 展开更多

关键词 频繁模式增长算法 频繁模式树 稀疏数据库 FP阵列

在线阅读 下载PDF 职称材料

一种基于新增阈值的频繁模式挖掘算法 被引量：1

8

作者 林景亮 董槐林 +1 位作者 姜青山 吴书 《计算机研究与发展》 EI CSCD 北大核心 2006年第z3期366-370,共5页

在FP-growth算法的基础上,结合新的阈值,提出了一种改进的频繁模式树构造算法(NCFP-growth).该算法通过兴趣度权重的引入,有效地对频繁项做了进一步的过滤,从而减少了系统在采用FP-growth算法时所产生的大量冗余虚假的规则.对于FP-growt... 在FP-growth算法的基础上,结合新的阈值,提出了一种改进的频繁模式树构造算法(NCFP-growth).该算法通过兴趣度权重的引入,有效地对频繁项做了进一步的过滤,从而减少了系统在采用FP-growth算法时所产生的大量冗余虚假的规则.对于FP-growth算法而言,该算法在构建频繁模式树时,有效地减小了树的规模,降低了系统存储空间,算法的搜索空间也得到了有效压缩. 展开更多

关键词 关联规则 频繁模式 FP-增长算法 NCFP-增长算法 数据库

在线阅读 下载PDF 职称材料

基于FP-参考树/表的频繁模式挖掘算法 被引量：2

9

作者 石巍 傅彦 《计算机科学》 CSCD 北大核心 2006年第6期206-209,共4页

通分析FP-growth算法中包含的冗余操作,引入数据结构FP参考树/表,改变FP-growth算法中条件模式基的存储和生成方式,提出了新的FPRSG算法,高效地解决了频繁模式挖掘问题。理论分析与实验结果表明,FPRSG算法优于FP-growth算法。

关键词 关联规则 频繁模式 FP参考树/表 FP参考收缩/增长算法 条件模式基

在线阅读 下载PDF 职称材料

频繁模式集挖掘算法TFPDM的研究

10

作者 林红飞 庄卫华 《计算机工程与应用》 CSCD 北大核心 2006年第32期160-163,共4页

受经典的Apriori算法思想和FP-Growth算法思想的启发,在结合两者优点的基础上提出了一种新的算法思想,它是对传统的FP-Growth算法的变形。该算法只需对数据库扫描一次,可以同时对全局和局部频繁模式集进行挖掘,减少了对发生增益数据库... 受经典的Apriori算法思想和FP-Growth算法思想的启发,在结合两者优点的基础上提出了一种新的算法思想,它是对传统的FP-Growth算法的变形。该算法只需对数据库扫描一次,可以同时对全局和局部频繁模式集进行挖掘,减少了对发生增益数据库挖掘的费用。理论分析表明算法是有效的、可行的。 展开更多

关键词 全局和局部频繁模式集 变形的频繁集挖掘算法 fp-growth算法 APRIORI算法

在线阅读 下载PDF 职称材料

基于FP-Growth的目标编队规律挖掘模型

11

作者 徐秋坪 孙耀宗 《系统工程与电子技术》 北大核心 2025年第5期1620-1626,共7页

面向目标间编队协同作战运用规律分析挖掘需求,考虑目标编队样本存在一型多架、同类样本目标关联顺序不同等特征,提出一种基于频繁模式树的编队协同规律挖掘算法模型。模型中设计样本格式化预处理方法和频繁项分拣策略,运用频繁模式增... 面向目标间编队协同作战运用规律分析挖掘需求,考虑目标编队样本存在一型多架、同类样本目标关联顺序不同等特征,提出一种基于频繁模式树的编队协同规律挖掘算法模型。模型中设计样本格式化预处理方法和频繁项分拣策略,运用频繁模式增长算法挖掘目标编组规律知识,从编组运用样式、作战运用样式等维度分析典型编队规律运用特征。该模型易于工程实现,能够基于积累的编队样本数据,挖掘形成典型目标协同作战运用规律知识,通过案例分析介绍该模型的可行性和有效性,可为实时战场编队识别研判、目标态势变化趋势预测、临机动态规划等作战应用提供高价值情报支撑。 展开更多

关键词 编队规律 作战运用特征 频繁模式增长算法

在线阅读 下载PDF 职称材料

改进的FP-growth算法及其在TE过程故障诊断中的应用 被引量：6

12

作者 李宏光 夏丽君 《北京工业大学学报》 CAS CSCD 北大核心 2016年第5期697-706,共10页

为了解决频繁模式增长(frequent pattern growth,FP-growth)算法因多次遍历频繁集列表而产生庞大频繁模式树需占用大量内存降低了运行效率的问题,提出一种改进的FP-growth(upgraded FP-growth,UFP)算法.首先,构造支持度函数实现各项与... 为了解决频繁模式增长(frequent pattern growth,FP-growth)算法因多次遍历频繁集列表而产生庞大频繁模式树需占用大量内存降低了运行效率的问题,提出一种改进的FP-growth(upgraded FP-growth,UFP)算法.首先,构造支持度函数实现各项与其支持度的映射,使算法的运行效率得到提高;其次,利用关键字筛选技术,把频繁项分成关键项表、非关键项表两部分,保证了最终获取的每条关联规则都是人们关注的有效信息;最后,根据频繁1-项集划分数据库子集并直接构造每一项的条件模式树,节省了内存空间.将UFP算法应用于Tenessee Eastman(TE)过程的故障诊断,通过与主成分分析(principal component analysis,PCA)、核主成分分析(kernel principal component analysis,KPCA)算法在多种故障下的诊断结果对比实验验证了算法的优越性. 展开更多

关键词 频繁模式增长(fp-growth)算法 关联规则 Tenessee Eastman(TE)过程 故障诊断

在线阅读 下载PDF 职称材料

基于加权频繁模式树的通信网络告警规则挖掘方法 被引量：14

13

作者 罗明 孟传伟 黄海量 《计算机工程》 CAS CSCD 北大核心 2016年第4期190-196,共7页

传统通信网络告警处理方法主要由维护专家依据经验判断形成处理规则并固化在网络告警系统中进行实现,然而该人工维护方式难以适应海量数据环境下实时通信告警规则的处理需求。为此,提出一种基于加权频繁模式树(WFP-tree)算法的告警规则... 传统通信网络告警处理方法主要由维护专家依据经验判断形成处理规则并固化在网络告警系统中进行实现,然而该人工维护方式难以适应海量数据环境下实时通信告警规则的处理需求。为此,提出一种基于加权频繁模式树(WFP-tree)算法的告警规则自动挖掘方法,将原始告警数据按时间窗口方式进行分段处理,通过BP神经网络、支持向量机、层次分析法生成告警设备的权重信息,并采用WFP-tree算法自动挖掘加权频繁项集。实验结果表明,与传统Apriori和FP-growth算法相比,WFP-tree算法在通信网络告警分析方面具有更好的频繁项压缩效果及更强的重要关联规则发现能力。 展开更多

关键词 通信网络告警 关联规则 权重因子 加权频繁项集 fp-growth算法 加权频繁模式树算法 支持度

在线阅读 下载PDF 职称材料

基于Spark的并行FP-Growth算法优化与实现 被引量：8

14

作者 陆可 桂伟 +1 位作者 江雨燕 杜萍萍 《计算机应用与软件》 2017年第9期273-278,共6页

频繁模式挖掘作为模式识别的重要问题,一直受到研究者的广泛关注。FP-Growth算法因其高效快速的特点,被大量应用于频繁模式的挖掘任务中。然而,该算法依赖于内存运行的特性,使其难以适应大规模数据计算。针对上述问题,围绕大规模数据集... 频繁模式挖掘作为模式识别的重要问题,一直受到研究者的广泛关注。FP-Growth算法因其高效快速的特点,被大量应用于频繁模式的挖掘任务中。然而,该算法依赖于内存运行的特性,使其难以适应大规模数据计算。针对上述问题,围绕大规模数据集下频繁模式挖掘展开研究,基于Spark框架,通过对支持度计数和分组过程的优化改进了FP-Growth算法,并实现了算法的分布式计算和计算资源的动态分配。运算过程中产生的中间结果均保存在内存中,因此有效减少数据的I/O消耗,提高算法的运行效率。实验结果表明,经优化后的算法在面向大规模数据时要优于传统的FP-Growth算法。 展开更多

关键词 频繁模式挖掘 fp-growth算法 分布式计算 Spark框架

在线阅读 下载PDF 职称材料

一种基于聚合链的改进FP-Growth算法 被引量：4

15

作者 焦明海 姜慧研 唐加福 《东北大学学报（自然科学版）》 EI CAS CSCD 北大核心 2006年第2期153-156,共4页

提出了一种基于聚合链挖掘频繁模式的改进FP-growth算法.该算法引入聚合链的单链表结构,改进了FP树结构.改进后的FP树是单向的,每个结点只保留指向父结点的指针,节省了树空间;相同项的不同节点的路径信息压缩进聚合链中,避免了生成节点... 提出了一种基于聚合链挖掘频繁模式的改进FP-growth算法.该算法引入聚合链的单链表结构,改进了FP树结构.改进后的FP树是单向的,每个结点只保留指向父结点的指针,节省了树空间;相同项的不同节点的路径信息压缩进聚合链中,避免了生成节点链和条件模式库.用Agrawa方法生成实验数据进行分析,实验结果验证了该算法在时间上的优势. 展开更多

关键词 数据挖掘 频繁模式 FP树 聚合链 fp-growth算法

在线阅读 下载PDF 职称材料

基于Spark的并行频繁项集挖掘算法 被引量：7

16

作者 毛伊敏 吴斌 +1 位作者 许春冬 张茂省 《计算机集成制造系统》 EI CSCD 北大核心 2023年第4期1267-1283,共17页

针对大数据环境下基于Spark的频繁模式增长(FP-Growth)算法存在创建条件频繁模式树(FP-tree)时空效率低,节点间通信开销大,以及冗余搜索等问题,提出了基于Spark的并行频繁项集挖掘算法(PAFMFI-Spark)。首先,该算法提出非负矩阵分解策略(... 针对大数据环境下基于Spark的频繁模式增长(FP-Growth)算法存在创建条件频繁模式树(FP-tree)时空效率低,节点间通信开销大,以及冗余搜索等问题,提出了基于Spark的并行频繁项集挖掘算法(PAFMFI-Spark)。首先,该算法提出非负矩阵分解策略(SNMF),通过提供支持度计数查询和分解储存支持度计数的矩阵,解决了创建条件FP-tree的时空效率低的问题;其次,提出基于遗传算法的分组策略(GS-GA),均衡分配频繁1项集至各节点,解决了节点间的通信开销大的问题;最后,提出高效缩减树结构策略(ERTSS),缩减FP-tree树结构,解决了冗余搜索的问题。实验结果验证了PAFMFI-Spark算法的可行性以及相较于其他挖掘算法的性能优势,所提算法能有效适应各种数据的频繁项集挖掘。 展开更多

关键词 大数据 Spark框架 并行频繁项集挖掘 频繁模式增长算法 非负矩阵分解

在线阅读 下载PDF 职称材料

一种单遍扫描频繁模式树结构 被引量：4

17

作者 谭军 卜英勇 杨勃 《计算机工程》 CAS CSCD 北大核心 2010年第14期32-33,共2页

针对频繁模式增长算法无法适应数据流的无限性和流动性的特点,提出一种新颖的FP-tree的变形结构-SP-tree,只需单遍扫描便能容纳全部数据库信息。为使SP-tree具有与FP-tree一样良好的压缩性能,给出一种有效的动态重构树的方法,称为宽度... 针对频繁模式增长算法无法适应数据流的无限性和流动性的特点,提出一种新颖的FP-tree的变形结构-SP-tree,只需单遍扫描便能容纳全部数据库信息。为使SP-tree具有与FP-tree一样良好的压缩性能,给出一种有效的动态重构树的方法,称为宽度排序方法,该方法能够在挖掘过程中动态地逐条分支地重构树,最终产生一棵频繁递减的前缀树。实验结果表明,SP-tree的压缩性能优于其他单遍扫描的前缀树结构。 展开更多

关键词 数据流 频繁模式增长算法 单遍扫描模式树 宽度排序方法

在线阅读 下载PDF 职称材料

基于FP-Growth算法及补偿性入侵证据的攻击意图识别 被引量：1

18

作者 白昊 王崑声 +2 位作者 胡昌振 张刚 经小川 《北京理工大学学报》 EI CAS CSCD 北大核心 2010年第8期930-934,共5页

针对现有方法的入侵证据单一,系统资源消耗大及最终结果不准确等问题,提出了一种新的攻击意图识别方法.将IDS的告警事件与其他安全工具如扫描器等的数据相融合,构成补偿性入侵证据,并在此基础上使用贝叶斯网络构建攻击场景;使用FP-Growt... 针对现有方法的入侵证据单一,系统资源消耗大及最终结果不准确等问题,提出了一种新的攻击意图识别方法.将IDS的告警事件与其他安全工具如扫描器等的数据相融合,构成补偿性入侵证据,并在此基础上使用贝叶斯网络构建攻击场景;使用FP-Growth算法从攻击场景中挖掘出频繁攻击模式;最终将产生的频繁攻击模式关联以重构攻击路径,从而推断最可能的攻击意图.实验结果表明,该方法可准确识别攻击意图并有效节省系统资源. 展开更多

关键词 攻击路径 攻击意图 补偿性入侵证据 频繁攻击模式 fp-growth算法

在线阅读 下载PDF 职称材料

数据流上一种单遍扫描频繁模式树结构 被引量：1

19

作者 谭军 卜英勇 陈爱斌 《计算机工程与应用》 CSCD 2013年第2期152-154,共3页

针对频繁模式增长算法无法适应数据流的无限性和流动性的特点,提出一种新颖的FP-tree的变形结构——FPS-tree,只需单遍扫描便能获取当前窗口的全部数据库信息。为了在滑动窗口时有效地删除过期窗格和插入新窗格,提出一个新颖的概念——&... 针对频繁模式增长算法无法适应数据流的无限性和流动性的特点,提出一种新颖的FP-tree的变形结构——FPS-tree,只需单遍扫描便能获取当前窗口的全部数据库信息。为了在滑动窗口时有效地删除过期窗格和插入新窗格,提出一个新颖的概念——"尾结点",FPS-tree中每条路径上的窗格信息只保持在尾结点里。实验结果表明FPS-tree的压缩性能要优于其他单遍扫描的前缀树结构。 展开更多

关键词 数据流 频繁模式增长算法 单遍扫描模式树 尾结点

在线阅读 下载PDF 职称材料

基于FP-Growth算法的毕业生管理系统应用

20

作者 张红荣 《郑州轻工业学院学报（自然科学版）》 CAS 2013年第5期59-61,共3页

将频繁项集挖掘算法中的FP-Growth算法应用到毕业生信息管理系统中,算法采用FP树对事务数据集进行压缩存储,然后再利用FP树得到所有的频繁项集.该系统可从大量的毕业生信息出发,找出就业信息与教育信息之间的关系,从而为决策者提供指导... 将频繁项集挖掘算法中的FP-Growth算法应用到毕业生信息管理系统中,算法采用FP树对事务数据集进行压缩存储,然后再利用FP树得到所有的频繁项集.该系统可从大量的毕业生信息出发,找出就业信息与教育信息之间的关系,从而为决策者提供指导或数据支持. 展开更多

关键词 频繁模式树增长算法 关联规则 毕业生管理系统

在线阅读 下载PDF 职称材料