基于改进ECLAT算法的混凝土坝变形预测模型

1

作者 赵昕 苏怀智 方正 《中国农村水利水电》 北大核心 2025年第4期58-64,共7页

为提高大坝安全监测数据库的数据挖掘效率,引入改进的ECLAT关联规则算法。利用数据挖掘技术分析处理数量庞大的大坝安全监测数据,并建立大坝坝顶垂直位移预测模型。首先筛选出对大坝坝顶垂直位移的主要影响因素环境温度、坝前水温和坝... 为提高大坝安全监测数据库的数据挖掘效率,引入改进的ECLAT关联规则算法。利用数据挖掘技术分析处理数量庞大的大坝安全监测数据,并建立大坝坝顶垂直位移预测模型。首先筛选出对大坝坝顶垂直位移的主要影响因素环境温度、坝前水温和坝前水位,然后用Eclat算法对预处理后的基本资料进行数据挖掘,筛选出可以用于预测的强关联规则,最后利用坝顶垂直位移对温度变化反应的滞后性,建立坝顶垂直位移预测模型。将本模型应用于某混凝土拱坝中,试验表明该模型的本次预测结果具有一定的可靠性。 展开更多

关键词 大坝安全监测 坝顶垂直位移 关联规则 eclat算法 数据挖掘

在线阅读 下载PDF 职称材料

基于Eclat算法的八字门滑坡变形因素关联性分析 被引量：2

2

作者 李明亮 吕梅洁 +1 位作者 侯梦媛 朱昊 《长江科学院院报》 CSCD 北大核心 2024年第6期150-155,共6页

针对滑坡监测数据库数据量大,进行关联规则分析需要多次扫描数据库导致运行时间长的问题,将Eclat关联规则算法引入滑坡监测数据挖掘中,通过K-means聚类法和Eclat算法对八字门滑坡的变形进行了分析。通过综合研究,选择了降雨量监测值和... 针对滑坡监测数据库数据量大,进行关联规则分析需要多次扫描数据库导致运行时间长的问题,将Eclat关联规则算法引入滑坡监测数据挖掘中,通过K-means聚类法和Eclat算法对八字门滑坡的变形进行了分析。通过综合研究,选择了降雨量监测值和库水位监测值中的6种因素进行数据挖掘分析。分别挖掘了3种降雨因子和3种库水位因子与八字门滑坡多测点位移的关联性,并从八字门滑坡时空监测大数据挖掘出的全部关联规则中选择8个具有较高的置信水平的关联规则进行分析,发现降雨和库水位因素影响八字门滑坡运动的有效信息。结果表明,这种数据挖掘方法及其在监测数据研究中的高精度,有望广泛应用于库区堆积滑坡的数据分析和预测。 展开更多

关键词 八字门滑坡 eclat算法 关联规则 数据挖掘 三峡库区

在线阅读 下载PDF 职称材料

提高Eclat算法效率的策略 被引量：13

3

作者 冯培恩 刘屿 +1 位作者 邱清盈 李立新 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2013年第2期223-230,共8页

为了提高Eclat算法的效率,从剪枝、项集连接和交叉计数3方面对Eclat算法进行优化.将后缀相同的项集归为一个等价类,使剪枝更充分,剪枝时引入双层哈希表加快搜索候选项集子集的速度;提出项集集合划分链表,以减少项集连接过程中比较判断... 为了提高Eclat算法的效率,从剪枝、项集连接和交叉计数3方面对Eclat算法进行优化.将后缀相同的项集归为一个等价类,使剪枝更充分,剪枝时引入双层哈希表加快搜索候选项集子集的速度;提出项集集合划分链表,以减少项集连接过程中比较判断的环节;提出事务标识(Tid)失去阈值,以加快交叉计数的速度.在此基础上提出一种优化的Eclat_opt算法(ZAKI),把它与Eclat原算法以及其他2种Eclat改进算法Diffset(ZAKI),hEclat(熊忠阳)进行对比实验的结果表明,Eclat_opt算法的效率在稀疏数据集上最高,总体时间性能最好. 展开更多

关键词 eclat算法 剪枝 双层哈希表 划分链表 交叉计数

在线阅读 下载PDF 职称材料

Eclat算法的分析及改进 被引量：11

4

作者 张玉芳 熊忠阳 +1 位作者 耿晓斐 陈剑敏 《计算机工程》 CAS CSCD 北大核心 2010年第23期28-30,共3页

关联规则算法中的数据通常采用水平数据形式,而采用垂直数据表示的挖掘性能优于水平表示。Eclat算法在项集规模庞大时,交集操作消耗大量时间和系统内存。为此,结合划分思想和突出基于概率的先验约束方法,把数据库中的事务划分成多个非... 关联规则算法中的数据通常采用水平数据形式,而采用垂直数据表示的挖掘性能优于水平表示。Eclat算法在项集规模庞大时,交集操作消耗大量时间和系统内存。为此,结合划分思想和突出基于概率的先验约束方法,把数据库中的事务划分成多个非重叠部分,对每一部分采用Eclat算法,减少每次"交"操作时项集的规模,从而减少比较次数。通过基于概率的先验约束,减少产生的局部频繁项集数。实验结果表明,改进算法比原算法具有更高的效率。 展开更多

关键词 关联规则 eclat算法 划分 概率先验

在线阅读 下载PDF 职称材料

并行挖掘频繁项目集新算法——MREclat 被引量：4

5

作者 章志刚 吉根林 唐梦梦 《计算机应用》 CSCD 北大核心 2014年第8期2175-2178,共4页

针对Eclat算法在挖掘海量数据中的频繁项目集时存在的内存和计算资源不足等问题,提出了基于Map/Reduce计算模型的并行挖掘算法——MREclat。首先,将水平型数据库转换成垂直型数据库;然后,将转换后的数据按2-项集的前缀分发到各个计算节... 针对Eclat算法在挖掘海量数据中的频繁项目集时存在的内存和计算资源不足等问题,提出了基于Map/Reduce计算模型的并行挖掘算法——MREclat。首先,将水平型数据库转换成垂直型数据库;然后,将转换后的数据按2-项集的前缀分发到各个计算节点上,且在分发数据时引入了均衡策略;接着,在各个计算节点上求出以某一前缀开头的所有频繁项目集;最后,合并各个节点的结果得到所有频繁项目集。介绍了MREclat的设计思想,研究了算法的运行性能。实验结果表明,MREclat算法效率大约是PEclat算法的2倍,加速比性能比PEclat算法提高了64%。 展开更多

关键词 频繁项目集 并行挖掘算法 列存储 MAP REDUCE eclat算法

在线阅读 下载PDF 职称材料

基于改进Eclat算法的资源池节点异常模式挖掘 被引量：3

6

作者 高强 张凤荔 +3 位作者 陈学勤 王馨云 耿贞伟 周帆 《计算机应用研究》 CSCD 北大核心 2018年第2期333-338,共6页

云计算环境中,资源池节点异常模式挖掘对于快速诊断节点状态具有重要作用。针对云环境下计算资源池、存储资源池、网络资源池节点数据特征,对资源池节点状态信息进行预处理,利用关联规则算法挖掘资源池节点参数状态信息之间的关联关系,... 云计算环境中,资源池节点异常模式挖掘对于快速诊断节点状态具有重要作用。针对云环境下计算资源池、存储资源池、网络资源池节点数据特征,对资源池节点状态信息进行预处理,利用关联规则算法挖掘资源池节点参数状态信息之间的关联关系,如高位—高位和低位—高位模式等。提出了一种基于限制属性连接并具有垂直数据格式的关联规则算法i-Eclat算法。i-Eclat算法通过转换资源池节点状态数据格式、建立非频繁2-项集以减少连接次数,并构建信息存储结构体来限制冗余属性连接。实验表明,所提出的方法可以有效发现云计算资源池节点之间的隐藏关系;同时,i-Eclat比经典算法计算性能更优,特别是针对较大数据集的处理。 展开更多

关键词 模式异常挖掘 关联规则 资源池 i-eclat算法 云计算

在线阅读 下载PDF 职称材料

基于MapReduce的Eclat改进算法研究与应用 被引量：4

7

作者 张春 汲磊举 《北京交通大学学报》 CAS CSCD 北大核心 2016年第3期1-6,共6页

针对Eclat算法在挖掘海量数据中的频繁项目集时存在的内存和计算资源不足等问题,将Eclat算法与目前流行的大规模数据集并行编程模型MapReduce结合,解决了Eclat算法在数据挖掘过程存在的瓶颈问题,运用于动车组故障诊断系统中,提高了关联... 针对Eclat算法在挖掘海量数据中的频繁项目集时存在的内存和计算资源不足等问题,将Eclat算法与目前流行的大规模数据集并行编程模型MapReduce结合,解决了Eclat算法在数据挖掘过程存在的瓶颈问题,运用于动车组故障诊断系统中,提高了关联规则挖掘的效率. 展开更多

关键词 eclat算法 数据挖掘 MAPREDUCE 关联规则

在线阅读 下载PDF 职称材料

基于位存储Tid的CPU并行化Eclat算法 被引量：2

8

作者 孙宗鑫 张桂芸 《计算机工程》 CAS CSCD 北大核心 2018年第12期79-84,共6页

Eclat算法采用垂直数据表示方式且无需复杂的数据结构,然而在挖掘频繁项目集过程中,交集计数的生成方式造成内存大量消耗和挖掘效率下降。为此,在分析Eclat算法及其现有改进算法基础上,提出一种位存储事务标识(Tid)的CPU并行化Eclat算... Eclat算法采用垂直数据表示方式且无需复杂的数据结构,然而在挖掘频繁项目集过程中,交集计数的生成方式造成内存大量消耗和挖掘效率下降。为此,在分析Eclat算法及其现有改进算法基础上,提出一种位存储事务标识(Tid)的CPU并行化Eclat算法。该算法使用二进制位形式存储项目的 Tid,将挖掘频繁项目集的任务分配到CPU各个线程,最大限度地提高CPU的运算性能。实验结果表明,该算法能在降低内存使用的同时,提高频繁项目集的挖掘效率。 展开更多

关键词 频繁项目集挖掘 eclat算法 位存储 CPU并行化 存储优化

在线阅读 下载PDF 职称材料

基于改进云模型和Eclat算法的输电线路极端灾害风险评估 被引量：13

9

作者 杜平 张小军 +3 位作者 许永新 王永强 王立福 董新胜 《现代电力》 北大核心 2021年第5期483-491,共9页

针对当前用于输电线路风险评估的云模型中量化等级依靠人为主观划分的不足,提出一种基于改进云模型和Eclat算法的输电线路极端灾害风险评估方法。首先,基于灾害特征信息选取灾害特征因子和典型极端灾害技术要素;通过FCM算法获取一维数... 针对当前用于输电线路风险评估的云模型中量化等级依靠人为主观划分的不足,提出一种基于改进云模型和Eclat算法的输电线路极端灾害风险评估方法。首先,基于灾害特征信息选取灾害特征因子和典型极端灾害技术要素;通过FCM算法获取一维数据聚类中心,将聚类中心与传统主观云模型数字特征进行结合得到改进后的组合标准云;考虑灾害造成的停运时间、输电线路抗灾能力以及灾害风险的累积效应对数据进行动态修正后,在标准云中进行量化等级划分;最后,应用Eclat算法挖掘量化后的灾害特征因子与风险技术要素间的关联规则,得到风险评估预测模型。实例结果表明,改进后的模型正确率得到提高,获取到的关联规则能够对线路灾害风险进行预测评估。 展开更多

关键词 极端灾害 客观云模型 动态风险修正 eclat算法 关联规则 风险评估预测

在线阅读 下载PDF 职称材料

改进的Eclat算法研究与应用 被引量：8

10

作者 崔馨月 孙静宇 《计算机工程与设计》 北大核心 2018年第4期1059-1063,1147,共6页

为了解决使用Eclat算法在挖掘事务数或项目数较多的数据时,存在效率低、系统内存不足等问题,从候选集优化和剪枝策略两方面降低算法的时间复杂度,同时采用可以降低算法空间消耗的位存储结构,并基于此提出改进算法Eclat’。通过设计对比... 为了解决使用Eclat算法在挖掘事务数或项目数较多的数据时,存在效率低、系统内存不足等问题,从候选集优化和剪枝策略两方面降低算法的时间复杂度,同时采用可以降低算法空间消耗的位存储结构,并基于此提出改进算法Eclat’。通过设计对比实验,进一步证明了改进算法的有效性,算法性能较原算法提高了20.37%。并将改进算法用于真实的手机用户数据上实现手机软件(Application,APP)的合理推荐。 展开更多

关键词 eclat算法 候选集优化 剪枝策略 有效性 手机用户

在线阅读 下载PDF 职称材料

基于先验位运算的频繁项集挖掘 被引量：4

11

作者 张岳 王洪国 +1 位作者 邵增珍 赵建秀 《计算机应用研究》 CSCD 北大核心 2013年第9期2610-2612,共3页

为提高频繁项集的产生效率,提出一种在垂直数据表示下,基于先验位运算的频繁项集挖掘算法(A-FIMBII)。该算法建立从项集合到事务的索引,利用先验性质减少候选集的产生,通过位运算计算支持度。与Apriori、Eclat算法进行了比较,实验表明,A... 为提高频繁项集的产生效率,提出一种在垂直数据表示下,基于先验位运算的频繁项集挖掘算法(A-FIMBII)。该算法建立从项集合到事务的索引,利用先验性质减少候选集的产生,通过位运算计算支持度。与Apriori、Eclat算法进行了比较,实验表明,A-FIMBII具有更高的效率。 展开更多

关键词 频繁项集 eclat算法 先验 索引表

在线阅读 下载PDF 职称材料

降序加权join半概念格快速挖掘算法

12

作者 周涛 张艳宁 +1 位作者 袁和金 陆惠玲 《计算机工程与应用》 CSCD 北大核心 2006年第29期12-15,共4页

通过分析Eclat算法,对完全概念格按照支持度进行了裁减,得到了一个向下封闭的降序join半概念格,在构造半概念格的同时计算出每一个项集的支持度作为其权值,最后基于降序加权join半概念格对Eclat算法进行了改进,裁减了概念格中大量的冗... 通过分析Eclat算法,对完全概念格按照支持度进行了裁减,得到了一个向下封闭的降序join半概念格,在构造半概念格的同时计算出每一个项集的支持度作为其权值,最后基于降序加权join半概念格对Eclat算法进行了改进,裁减了概念格中大量的冗余的连接,给出了一个快速的关联规则挖掘算法。经过分析,该算法与Eclat算法相比,效率更高。 展开更多

关键词 数据挖掘 eclat算法 半概念格 Join半概念格

在线阅读 下载PDF 职称材料

基于车牌识别流数据的伴随车辆发现算法 被引量：5

13

作者 王路辉 王桂玲 《计算机工程》 CAS CSCD 北大核心 2017年第8期193-199,共7页

针对伴随车辆发现及其实时性问题,基于随时间变化的车牌识别流数据,提出一种采用并行频繁项集发现(PFID)技术的伴随车辆组实时发现算法。该算法根据频繁项挖掘Eclat算法的思想,并利用分布式流数据处理框架Spark Streaming生成最大伴随... 针对伴随车辆发现及其实时性问题,基于随时间变化的车牌识别流数据,提出一种采用并行频繁项集发现(PFID)技术的伴随车辆组实时发现算法。该算法根据频繁项挖掘Eclat算法的思想,并利用分布式流数据处理框架Spark Streaming生成最大伴随车辆组。实验结果表明,与排列组合算法及FP-Growth算法相比,PFID算法消耗内存更少,响应时间更短,在秒级响应时间内能找到伴随车辆组,达到及时预警目的。 展开更多

关键词 智能交通系统 车牌自动识别流数据 伴随车辆组 SPARK Streaming并行框架 DStream模型 eclat算法

在线阅读 下载PDF 职称材料

海量数据下的并行频繁项集挖掘算法 被引量：8

14

作者 敖孟飞 石鸿雁 《统计与决策》 CSSCI 北大核心 2022年第18期48-53,共6页

文章针对频繁项集挖掘中传统串行Eclat算法面对海量数据时挖掘效率不高的问题,提出一种海量数据下的并行频繁项集挖掘算法,即I-SPEclat算法。首先,对Eclat算法存在的缺陷进行改进,引入图的邻接矩阵作为数据的存储结构,避免了大量的交集... 文章针对频繁项集挖掘中传统串行Eclat算法面对海量数据时挖掘效率不高的问题,提出一种海量数据下的并行频繁项集挖掘算法,即I-SPEclat算法。首先,对Eclat算法存在的缺陷进行改进,引入图的邻接矩阵作为数据的存储结构,避免了大量的交集运算;其次,利用先验性质对候选项集进行预剪枝和后剪枝,减少无用候选项集的数量,节约存储空间;再次,根据项集的前缀对数据进行划分,平衡每个计算节点的工作负载;最后,将改进的Eclat算法在Spark分布式计算框架上实现并行化。实验结果表明,I-SPEclat算法较已有的改进Eclat算法在时间消耗和内存消耗方面均有减少,且面对不同规模的数据集也有着良好的扩展性。 展开更多

关键词 eclat算法 Spark框架 邻接矩阵 剪枝优化

在线阅读 下载PDF 职称材料

一种面向船舶制造的数据关联规则挖掘算法

15

作者 徐鹏 孟宇龙 +2 位作者 杨哲 董乃波 邓博伟 《舰船科学技术》 北大核心 2022年第20期143-148,共6页

针对船舶制造海量数据关联规则挖掘过程中,事务集占用空间过多导致挖掘效率较低的问题,提出一种基于局部敏感位图存储结构(locally sensitive hash bitmap,LBM)的LBM-Eclat算法。该算法结合了局部敏感哈希和位图2种数据结构,并可以根据... 针对船舶制造海量数据关联规则挖掘过程中,事务集占用空间过多导致挖掘效率较低的问题,提出一种基于局部敏感位图存储结构(locally sensitive hash bitmap,LBM)的LBM-Eclat算法。该算法结合了局部敏感哈希和位图2种数据结构,并可以根据存储数据量的变化动态调整内部数据存储结构。通过对比实验证明基于LBM的LBM-Eclat算法能够有效提升对密集型数据集的挖掘效率,同时减少挖掘过程中的空间消耗。 展开更多

关键词 船舶制造数据 关联规则挖掘 LBM-eclat算法 局部敏感哈希 位图

在线阅读 下载PDF 职称材料