基于FP-Growth的目标编队规律挖掘模型

1

作者 徐秋坪 孙耀宗 《系统工程与电子技术》 北大核心 2025年第5期1620-1626,共7页

面向目标间编队协同作战运用规律分析挖掘需求,考虑目标编队样本存在一型多架、同类样本目标关联顺序不同等特征,提出一种基于频繁模式树的编队协同规律挖掘算法模型。模型中设计样本格式化预处理方法和频繁项分拣策略,运用频繁模式增... 面向目标间编队协同作战运用规律分析挖掘需求,考虑目标编队样本存在一型多架、同类样本目标关联顺序不同等特征,提出一种基于频繁模式树的编队协同规律挖掘算法模型。模型中设计样本格式化预处理方法和频繁项分拣策略,运用频繁模式增长算法挖掘目标编组规律知识,从编组运用样式、作战运用样式等维度分析典型编队规律运用特征。该模型易于工程实现,能够基于积累的编队样本数据,挖掘形成典型目标协同作战运用规律知识,通过案例分析介绍该模型的可行性和有效性,可为实时战场编队识别研判、目标态势变化趋势预测、临机动态规划等作战应用提供高价值情报支撑。 展开更多

关键词 编队规律 作战运用特征 频繁模式增长算法

在线阅读 下载PDF 职称材料

基于改进FP-growth算法的食品风险因素关联分析方法

2

作者 于家斌 马欣玥 +5 位作者 赵峙尧 王小艺 张新 崔晓玉 白玉廷 陈帅祥 《食品科学》 EI CAS CSCD 北大核心 2024年第23期250-258,共9页

为解决传统食品安全监督抽检“随机抽”模式存在的抽检决策主观性强、靶向性不高的问题,本研究提出一种基于改进Frequent Pattern-growth(FP-growth)算法的食品风险因素关联分析方法。首先,采用熵权法分别对食品种类的风险指标进行权重... 为解决传统食品安全监督抽检“随机抽”模式存在的抽检决策主观性强、靶向性不高的问题,本研究提出一种基于改进Frequent Pattern-growth(FP-growth)算法的食品风险因素关联分析方法。首先,采用熵权法分别对食品种类的风险指标进行权重分配,以计算出不同食品种类的风险指数。其次,以风险指数为特征,基于小批量K均值算法(MiniBatchKmeans)进行风险聚类,得到食品的风险等级。最后,采用带约束的改进FP-growth算法进行食品风险因素关联规则挖掘,挖掘食品风险等级与食品种类、时间、地域属性信息之间的关联关系,并对挖掘出的结果进行关联分析,从而为精准靶向引导抽检决策提供指导。本研究依托2019年中国某些地区的食品抽检数据进行分析,对其进行指标赋权,计算风险指数;后经过风险聚类为低风险、中风险和高风险;最后,将数据导入改进FPgrowth算法,得到食品风险因素关联规则。通过对比实验得到结果:对于17214条抽检数据,本研究提出的改进FP-growth算法相较于Apriori算法运行时间短;相较于传统FP-growth算法,删除了无效规则,提高了对食品风险因素关联规则的分析效率,从而为食品监管部门抽检工作提供了准确、高效的决策依据。 展开更多

关键词 食品安全监督抽检 关联分析 熵权法 MinibatchKmeans聚类 frequent pattern-growth算法

在线阅读 下载PDF 职称材料

基于Spark的并行FP-Growth算法优化与实现 被引量：8

3

作者 陆可 桂伟 +1 位作者 江雨燕 杜萍萍 《计算机应用与软件》 2017年第9期273-278,共6页

频繁模式挖掘作为模式识别的重要问题,一直受到研究者的广泛关注。FP-Growth算法因其高效快速的特点,被大量应用于频繁模式的挖掘任务中。然而,该算法依赖于内存运行的特性,使其难以适应大规模数据计算。针对上述问题,围绕大规模数据集... 频繁模式挖掘作为模式识别的重要问题,一直受到研究者的广泛关注。FP-Growth算法因其高效快速的特点,被大量应用于频繁模式的挖掘任务中。然而,该算法依赖于内存运行的特性,使其难以适应大规模数据计算。针对上述问题,围绕大规模数据集下频繁模式挖掘展开研究,基于Spark框架,通过对支持度计数和分组过程的优化改进了FP-Growth算法,并实现了算法的分布式计算和计算资源的动态分配。运算过程中产生的中间结果均保存在内存中,因此有效减少数据的I/O消耗,提高算法的运行效率。实验结果表明,经优化后的算法在面向大规模数据时要优于传统的FP-Growth算法。 展开更多

关键词 频繁模式挖掘 FP-growth算法 分布式计算 Spark框架

在线阅读 下载PDF 职称材料

负载均衡的FP-growth并行算法研究 被引量：10

4

作者 曾志勇 杨呈智 陶冶 《计算机工程与应用》 CSCD 北大核心 2010年第4期125-126,229,共3页

针对在大数据量频繁模式挖掘的时候,有效地利用空闲的计算资源,提出一种基于FP-growth算法的并行算法。该算法有效地将FP-growth主要的计算部分合理地分配到各个计算节点上,各个节点独立完成挖掘后返回结果,从而缩短总计算时间。实验证... 针对在大数据量频繁模式挖掘的时候,有效地利用空闲的计算资源,提出一种基于FP-growth算法的并行算法。该算法有效地将FP-growth主要的计算部分合理地分配到各个计算节点上,各个节点独立完成挖掘后返回结果,从而缩短总计算时间。实验证明,该算法可以完整高效地挖掘频繁模式,并且实现均衡负载。 展开更多

关键词 数据挖掘 并行算法 FP—growth 频繁模式

在线阅读 下载PDF 职称材料

基于Spark的并行FP-Growth算法优化及实现 被引量：10

5

作者 顾军华 武君艳 +2 位作者 许馨匀 谢志坚 张素琪 《计算机应用》 CSCD 北大核心 2018年第11期3069-3074,共6页

为了进一步提高在Spark平台上的频繁模式增长(FP-Growth)算法执行效率,提出一种新的基于Spark的并行FP-Growth算法——BFPG。首先,从频繁模式树(FP-Tree)规模大小和分区计算量对F-List分组策略进行改进,保证每个分区负载总和近似相等;然... 为了进一步提高在Spark平台上的频繁模式增长(FP-Growth)算法执行效率,提出一种新的基于Spark的并行FP-Growth算法——BFPG。首先,从频繁模式树(FP-Tree)规模大小和分区计算量对F-List分组策略进行改进,保证每个分区负载总和近似相等;然后,通过创建列表P-List对数据集划分策略进行优化,减少遍历次数,降低时间复杂度。实验结果表明,BFPG算法提高了并行FP-Growth算法挖掘效率,且算法具有良好的扩展性。 展开更多

关键词 大数据平台 关联规则 频繁项集 频繁模式增长算法 SPARK

在线阅读 下载PDF 职称材料

基于改进的FP-tree的频繁模式挖掘算法 被引量：21

6

作者 李也白 唐辉 +1 位作者 张淳 贺玉明 《计算机应用》 CSCD 北大核心 2011年第1期101-103,共3页

FP-growth算法是一种基于FP-tree数据结构的高效的频繁模式挖掘算法,它不产生候选集。构造频繁模式树FP-tree需扫描数据库两次,在第二遍扫描中还扫描了那些仅包含了非频繁项的事务,针对此问题,在深入分析了FP-tree特性的基础上,改进了FP... FP-growth算法是一种基于FP-tree数据结构的高效的频繁模式挖掘算法,它不产生候选集。构造频繁模式树FP-tree需扫描数据库两次,在第二遍扫描中还扫描了那些仅包含了非频繁项的事务,针对此问题,在深入分析了FP-tree特性的基础上,改进了FP-tree构造过程,同时用一种基于Hash表的辅助存储结构,节省了项目查找时间,提高了挖掘效率。 展开更多

关键词 数据挖掘 关联规则 频繁模式 FP—growth算法 FP—tree

在线阅读 下载PDF 职称材料

改进模糊关联规则及其在电站锅炉运行优化中的应用 被引量：7

7

作者 刘延泉 刘欣 +1 位作者 宋云燕 许丹莉 《华北电力大学学报（自然科学版）》 CAS 北大核心 2011年第6期60-67,共8页

提出了一种改进的模糊关联规则挖掘算法对电厂运行优化目标值进行确定,首先利用竞争凝聚算法决定分类数、软化划分边界并构造优化的模糊数据集,再结合某300 MW机组的历史运行数据,以供电煤耗率作为优化目标,利用频繁模式树生成算法得到... 提出了一种改进的模糊关联规则挖掘算法对电厂运行优化目标值进行确定,首先利用竞争凝聚算法决定分类数、软化划分边界并构造优化的模糊数据集,再结合某300 MW机组的历史运行数据,以供电煤耗率作为优化目标,利用频繁模式树生成算法得到的频繁项集进行关联规则挖掘,最终得到运行参数最优值,实验结果和理论分析表明挖掘结果能够正确反映机组运行机理、可以作为指导机组优化运行的重要依据。 展开更多

关键词 运行优化目标值 模糊关联规则 竞争凝聚算法 频繁模式生成算法

在线阅读 下载PDF 职称材料

云制造环境下并行频繁模式增长算法优化 被引量：5

8

作者 王洁 戴清灏 +1 位作者 曾宇 杨东日 《计算机集成制造系统》 EI CSCD 北大核心 2012年第9期2124-2129,共6页

针对云制造环境下的海量数据挖掘,分析了现有并行频繁模式增长算法的实现和不足。研究了利用键值存储系统对其中的计数和分组部分进行优化。利用键值型数据库存储简单、自动增长且有序的方式,将计数和分组的信息存储在了键值型数据库上... 针对云制造环境下的海量数据挖掘,分析了现有并行频繁模式增长算法的实现和不足。研究了利用键值存储系统对其中的计数和分组部分进行优化。利用键值型数据库存储简单、自动增长且有序的方式,将计数和分组的信息存储在了键值型数据库上。通过减少对分布式文件系统的读写,并将计数过程和排序过程并行化执行,优化后的算法减小了存储节点的网络及内存开销。在真实数据集上,通过实验对比了优化前后算法的性能以及对于文件系统I/O的开销。 展开更多

关键词 云制造 并行频繁模式增长算法 键值存储系统 数据挖掘 算法优化

在线阅读 下载PDF 职称材料

基于Spark的并行频繁项集挖掘算法 被引量：7

9

作者 毛伊敏 吴斌 +1 位作者 许春冬 张茂省 《计算机集成制造系统》 EI CSCD 北大核心 2023年第4期1267-1283,共17页

针对大数据环境下基于Spark的频繁模式增长(FP-Growth)算法存在创建条件频繁模式树(FP-tree)时空效率低,节点间通信开销大,以及冗余搜索等问题,提出了基于Spark的并行频繁项集挖掘算法(PAFMFI-Spark)。首先,该算法提出非负矩阵分解策略(... 针对大数据环境下基于Spark的频繁模式增长(FP-Growth)算法存在创建条件频繁模式树(FP-tree)时空效率低,节点间通信开销大,以及冗余搜索等问题,提出了基于Spark的并行频繁项集挖掘算法(PAFMFI-Spark)。首先,该算法提出非负矩阵分解策略(SNMF),通过提供支持度计数查询和分解储存支持度计数的矩阵,解决了创建条件FP-tree的时空效率低的问题;其次,提出基于遗传算法的分组策略(GS-GA),均衡分配频繁1项集至各节点,解决了节点间的通信开销大的问题;最后,提出高效缩减树结构策略(ERTSS),缩减FP-tree树结构,解决了冗余搜索的问题。实验结果验证了PAFMFI-Spark算法的可行性以及相较于其他挖掘算法的性能优势,所提算法能有效适应各种数据的频繁项集挖掘。 展开更多

关键词 大数据 Spark框架 并行频繁项集挖掘 频繁模式增长算法 非负矩阵分解

在线阅读 下载PDF 职称材料

基于IS~±树模型的频繁模式挖掘 被引量：3

10

作者 马海兵 张成洪 +1 位作者 张锦 胡运发 《计算机研究与发展》 EI CSCD 北大核心 2005年第4期588-593,共6页

IS-树是一种新型的全文存储索引模型.提出一种基于扩展I-S树模型的频繁模式挖掘算法.和FPgrowth方法一样,算法直接构造频繁项集,不进行Apriori算法所采用的代价很高的候选集产生与测试操作.然而它比FP-树模型具有更多的优点:只需扫描一... IS-树是一种新型的全文存储索引模型.提出一种基于扩展I-S树模型的频繁模式挖掘算法.和FPgrowth方法一样,算法直接构造频繁项集,不进行Apriori算法所采用的代价很高的候选集产生与测试操作.然而它比FP-树模型具有更多的优点:只需扫描一遍事务库;挖掘任务只局部关联于一棵根树;动态更新性好,仅做增量变化.实验表明,其具有与FP-growth算法相当甚至更高的效率.更重要的是,IS+树模型同时是一种事务库的良好索引形式,具有高效支持事务查询的能力. 展开更多

关键词 频繁模式 APRIORI算法 FP—growth算法 IS-树 IS^+-树

在线阅读 下载PDF 职称材料

基于分布式协调系统的并行频繁模式增长算法的优化 被引量：1

11

作者 王洁 戴清灏 李环 《计算机科学》 CSCD 北大核心 2012年第3期170-173,共4页

频繁模式挖掘可以发现数据中频繁出现的模式,是关联规则挖掘的重要步骤。并行频繁模式算法将其应用到并行环境中,以对海量数据进行挖掘。在Apache软件基金会的Mahout项目实现的基础上,对计数和排序阶段以及算法的执行顺序提出了新的优... 频繁模式挖掘可以发现数据中频繁出现的模式,是关联规则挖掘的重要步骤。并行频繁模式算法将其应用到并行环境中,以对海量数据进行挖掘。在Apache软件基金会的Mahout项目实现的基础上,对计数和排序阶段以及算法的执行顺序提出了新的优化策略。优化后的设计将计数信息存储在分布式协调系统上,充分地利用了分布式协调系统的高可用性、适宜存储元数据信息的特点。该设计减小了小文件在分布式文件系统(HDFS)上的开销,同时保留了其优点,还能使计数过程和排序过程并行执行,减小了计算节点的内存开销。对比了文件系统I/O的开销,并分析了实现设计中的难点,为未来的工作打下了基础。 展开更多

关键词 频繁模式增长算法 并行数据挖掘 分布式协调系统 性能优化

在线阅读 下载PDF 职称材料

基于加权频繁模式树的通信网络告警规则挖掘方法 被引量：14

12

作者 罗明 孟传伟 黄海量 《计算机工程》 CAS CSCD 北大核心 2016年第4期190-196,共7页

传统通信网络告警处理方法主要由维护专家依据经验判断形成处理规则并固化在网络告警系统中进行实现,然而该人工维护方式难以适应海量数据环境下实时通信告警规则的处理需求。为此,提出一种基于加权频繁模式树(WFP-tree)算法的告警规则... 传统通信网络告警处理方法主要由维护专家依据经验判断形成处理规则并固化在网络告警系统中进行实现,然而该人工维护方式难以适应海量数据环境下实时通信告警规则的处理需求。为此,提出一种基于加权频繁模式树(WFP-tree)算法的告警规则自动挖掘方法,将原始告警数据按时间窗口方式进行分段处理,通过BP神经网络、支持向量机、层次分析法生成告警设备的权重信息,并采用WFP-tree算法自动挖掘加权频繁项集。实验结果表明,与传统Apriori和FP-growth算法相比,WFP-tree算法在通信网络告警分析方面具有更好的频繁项压缩效果及更强的重要关联规则发现能力。 展开更多

关键词 通信网络告警 关联规则 权重因子 加权频繁项集 FP-growth算法 加权频繁模式树算法 支持度

在线阅读 下载PDF 职称材料

基于关联规则的船员不安全行为发展路径分析 被引量：2

13

作者 胡甚平 谢莹 +2 位作者 张欣欣 江帅 席永涛 《上海海事大学学报》 北大核心 2022年第3期62-68,共7页

为研究船员不安全行为间的不确定性关联特征,运用关联规则对船员的不安全行为进行支持度和关联度评估。考虑到船员不安全行为表现的复杂性和不确定性,对船舶航行事故中船员的不安全行为进行辨识,并提出船员不安全行为的基本组成和关联... 为研究船员不安全行为间的不确定性关联特征,运用关联规则对船员的不安全行为进行支持度和关联度评估。考虑到船员不安全行为表现的复杂性和不确定性,对船舶航行事故中船员的不安全行为进行辨识,并提出船员不安全行为的基本组成和关联因素。引入频繁模式增长(frequent pattern growth,FP-growth)算法,分析船员的不安全行为关联规则。结合某港口水域安全事故数据,通过置信度和支持度分析,揭示船员不安全行为致因事故路径。应用结果表明,船员不安全行为导致事故发生的主要路径为:瞭望疏忽→安全航速失误→危险判断过失→避让行动过失→应急操作不当。自然环境和交通密度对船员不安全行为的产生具有较强的关联性。 展开更多

关键词 水路运输 船员不安全行为 关联规则 不确定性 频繁模式增长(FP-growth)算法

在线阅读 下载PDF 职称材料

数据流上一种单遍扫描频繁模式树结构 被引量：1

14

作者 谭军 卜英勇 陈爱斌 《计算机工程与应用》 CSCD 2013年第2期152-154,共3页

针对频繁模式增长算法无法适应数据流的无限性和流动性的特点,提出一种新颖的FP-tree的变形结构——FPS-tree,只需单遍扫描便能获取当前窗口的全部数据库信息。为了在滑动窗口时有效地删除过期窗格和插入新窗格,提出一个新颖的概念——&... 针对频繁模式增长算法无法适应数据流的无限性和流动性的特点,提出一种新颖的FP-tree的变形结构——FPS-tree,只需单遍扫描便能获取当前窗口的全部数据库信息。为了在滑动窗口时有效地删除过期窗格和插入新窗格,提出一个新颖的概念——"尾结点",FPS-tree中每条路径上的窗格信息只保持在尾结点里。实验结果表明FPS-tree的压缩性能要优于其他单遍扫描的前缀树结构。 展开更多

关键词 数据流 频繁模式增长算法 单遍扫描模式树 尾结点

在线阅读 下载PDF 职称材料

动车组故障诊断知识挖掘中改进的并行频繁模式增长算法 被引量：4

15

作者 周斌 徐文胜 《计算机集成制造系统》 EI CSCD 北大核心 2016年第10期2450-2457,共8页

针对动车组历史运维数据的知识挖掘问题,从有效利用动车组历史运维数据来指导动车组故障诊断的角度出发,分析了现有并行频繁模式增长算法的实现形式和不足。结合动车组故障诊断的要求,提出利用局部频繁模式树代替全局频繁模式树的数据... 针对动车组历史运维数据的知识挖掘问题,从有效利用动车组历史运维数据来指导动车组故障诊断的角度出发,分析了现有并行频繁模式增长算法的实现形式和不足。结合动车组故障诊断的要求,提出利用局部频繁模式树代替全局频繁模式树的数据挖掘算法。该算法在各主要步骤上均实现了并行处理,优化了局部频繁模式树生成规则,对频繁模式的搜索策略进行了改进。改进后的算法大大提高了关联规则挖掘的效率,挖掘结果很好地保留了故障信息与状态信息之间的关联关系,并合理去除了无效规则。通过对该算法的具体分析与实际测试,表明该算法在动车组故障诊断知识获取过程中具有快速、高效、准确的特点。 展开更多

关键词 故障诊断 动车组 关联规则 并行频繁模式增长算法 局部频繁模式树 MAPREDUCE

在线阅读 下载PDF 职称材料

基于矩阵技术的频繁项目集挖掘算法 被引量：4

16

作者 田王君 蒋军辉 陈士慧 《计算机工程》 CAS CSCD 北大核心 2011年第16期80-81,97,共3页

频繁模式挖掘算法FP-growth算法需递归地生成大量的条件FP-树,且耗费大量存储空间和时间。为此,采用矩阵技术统计约束子树中的频繁项集和频繁项集的支持度,以进行数据挖掘。实验结果表明,该频繁模式挖掘算法是有效的,具有较高的时间效... 频繁模式挖掘算法FP-growth算法需递归地生成大量的条件FP-树,且耗费大量存储空间和时间。为此,采用矩阵技术统计约束子树中的频繁项集和频繁项集的支持度,以进行数据挖掘。实验结果表明,该频繁模式挖掘算法是有效的,具有较高的时间效率及空间效率。 展开更多

关键词 频繁模式 FP-growth算法 矩阵技术 数据挖掘 约束子树方法

在线阅读 下载PDF 职称材料

基于语义串抽取及主题相似度度量的维吾尔文文本分类 被引量：4

17

作者 吐尔地.托合提 维尼拉.木沙江 艾斯卡尔.艾木都拉 《中文信息学报》 CSCD 北大核心 2017年第4期100-107,共8页

该文研究一种改进的n元递增算法来抽取维吾尔文本中表达关键信息的语义串,并用带权语义串集来刻画文本主题,提出了一种类似于Jaccard相似度的文本和类主题相似度度量方法,并实现了相应的维吾尔文分类算法。实验结果表明,该文提出的文本... 该文研究一种改进的n元递增算法来抽取维吾尔文本中表达关键信息的语义串,并用带权语义串集来刻画文本主题,提出了一种类似于Jaccard相似度的文本和类主题相似度度量方法,并实现了相应的维吾尔文分类算法。实验结果表明,该文提出的文本模型简单有效,分类算法计算量不高,而且还能达到或超过经典分类器的分类综合性能。 展开更多

关键词 维吾尔文 n元递增算法 语义串抽取 主题相似度 文本分类

在线阅读 下载PDF 职称材料

压缩FP-Tree的改进搜索算法 被引量：8

18

作者 吴倩 罗健旭 《计算机工程与设计》 北大核心 2015年第7期1771-1777,共7页

为克服Apriori算法候选频繁项集的支持数计算效率过低和频繁模式增长算法FP-Growth多次建立条件模式树时内存耗费大的问题,提出基于压缩频繁模式树(CFP-Tree)的改进搜索算法(MCFP-Tree)。利用Apriori算法候选项集生成的思想和压缩频繁... 为克服Apriori算法候选频繁项集的支持数计算效率过低和频繁模式增长算法FP-Growth多次建立条件模式树时内存耗费大的问题,提出基于压缩频繁模式树(CFP-Tree)的改进搜索算法(MCFP-Tree)。利用Apriori算法候选项集生成的思想和压缩频繁模式树紧凑的数据结构,采用自底向上的搜索策略,快速挖掘压缩频繁模式树及其子树,更快得到候选项集的支持数。实验结果表明,该算法可以高效计算出候选频繁项集出现的频次,挖掘效率明显优于Apriori和FPGrowth算法。 展开更多

关键词 数据挖掘 关联规则 压缩频繁模式树 APRIORI算法 频繁模式增长算法

在线阅读 下载PDF 职称材料