期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
5
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
负载均衡的FP-growth并行算法研究
被引量:
10
1
作者
曾志勇
杨呈智
陶冶
《计算机工程与应用》
CSCD
北大核心
2010年第4期125-126,229,共3页
针对在大数据量频繁模式挖掘的时候,有效地利用空闲的计算资源,提出一种基于FP-growth算法的并行算法。该算法有效地将FP-growth主要的计算部分合理地分配到各个计算节点上,各个节点独立完成挖掘后返回结果,从而缩短总计算时间。实验证...
针对在大数据量频繁模式挖掘的时候,有效地利用空闲的计算资源,提出一种基于FP-growth算法的并行算法。该算法有效地将FP-growth主要的计算部分合理地分配到各个计算节点上,各个节点独立完成挖掘后返回结果,从而缩短总计算时间。实验证明,该算法可以完整高效地挖掘频繁模式,并且实现均衡负载。
展开更多
关键词
数据挖掘
并行算法
FP—
growth
频繁模式
在线阅读
下载PDF
职称材料
云制造环境下并行频繁模式增长算法优化
被引量:
5
2
作者
王洁
戴清灏
+1 位作者
曾宇
杨东日
《计算机集成制造系统》
EI
CSCD
北大核心
2012年第9期2124-2129,共6页
针对云制造环境下的海量数据挖掘,分析了现有并行频繁模式增长算法的实现和不足。研究了利用键值存储系统对其中的计数和分组部分进行优化。利用键值型数据库存储简单、自动增长且有序的方式,将计数和分组的信息存储在了键值型数据库上...
针对云制造环境下的海量数据挖掘,分析了现有并行频繁模式增长算法的实现和不足。研究了利用键值存储系统对其中的计数和分组部分进行优化。利用键值型数据库存储简单、自动增长且有序的方式,将计数和分组的信息存储在了键值型数据库上。通过减少对分布式文件系统的读写,并将计数过程和排序过程并行化执行,优化后的算法减小了存储节点的网络及内存开销。在真实数据集上,通过实验对比了优化前后算法的性能以及对于文件系统I/O的开销。
展开更多
关键词
云制造
并行频繁模式增长算法
键值存储系统
数据挖掘
算法优化
在线阅读
下载PDF
职称材料
基于Spark的并行频繁项集挖掘算法
被引量:
7
3
作者
毛伊敏
吴斌
+1 位作者
许春冬
张茂省
《计算机集成制造系统》
EI
CSCD
北大核心
2023年第4期1267-1283,共17页
针对大数据环境下基于Spark的频繁模式增长(FP-Growth)算法存在创建条件频繁模式树(FP-tree)时空效率低,节点间通信开销大,以及冗余搜索等问题,提出了基于Spark的并行频繁项集挖掘算法(PAFMFI-Spark)。首先,该算法提出非负矩阵分解策略(...
针对大数据环境下基于Spark的频繁模式增长(FP-Growth)算法存在创建条件频繁模式树(FP-tree)时空效率低,节点间通信开销大,以及冗余搜索等问题,提出了基于Spark的并行频繁项集挖掘算法(PAFMFI-Spark)。首先,该算法提出非负矩阵分解策略(SNMF),通过提供支持度计数查询和分解储存支持度计数的矩阵,解决了创建条件FP-tree的时空效率低的问题;其次,提出基于遗传算法的分组策略(GS-GA),均衡分配频繁1项集至各节点,解决了节点间的通信开销大的问题;最后,提出高效缩减树结构策略(ERTSS),缩减FP-tree树结构,解决了冗余搜索的问题。实验结果验证了PAFMFI-Spark算法的可行性以及相较于其他挖掘算法的性能优势,所提算法能有效适应各种数据的频繁项集挖掘。
展开更多
关键词
大数据
Spark框架
并行频繁项集挖掘
频繁模式增长算法
非负矩阵分解
在线阅读
下载PDF
职称材料
基于分布式协调系统的并行频繁模式增长算法的优化
被引量:
1
4
作者
王洁
戴清灏
李环
《计算机科学》
CSCD
北大核心
2012年第3期170-173,共4页
频繁模式挖掘可以发现数据中频繁出现的模式,是关联规则挖掘的重要步骤。并行频繁模式算法将其应用到并行环境中,以对海量数据进行挖掘。在Apache软件基金会的Mahout项目实现的基础上,对计数和排序阶段以及算法的执行顺序提出了新的优...
频繁模式挖掘可以发现数据中频繁出现的模式,是关联规则挖掘的重要步骤。并行频繁模式算法将其应用到并行环境中,以对海量数据进行挖掘。在Apache软件基金会的Mahout项目实现的基础上,对计数和排序阶段以及算法的执行顺序提出了新的优化策略。优化后的设计将计数信息存储在分布式协调系统上,充分地利用了分布式协调系统的高可用性、适宜存储元数据信息的特点。该设计减小了小文件在分布式文件系统(HDFS)上的开销,同时保留了其优点,还能使计数过程和排序过程并行执行,减小了计算节点的内存开销。对比了文件系统I/O的开销,并分析了实现设计中的难点,为未来的工作打下了基础。
展开更多
关键词
频繁模式增长算法
并行数据挖掘
分布式协调系统
性能优化
在线阅读
下载PDF
职称材料
动车组故障诊断知识挖掘中改进的并行频繁模式增长算法
被引量:
4
5
作者
周斌
徐文胜
《计算机集成制造系统》
EI
CSCD
北大核心
2016年第10期2450-2457,共8页
针对动车组历史运维数据的知识挖掘问题,从有效利用动车组历史运维数据来指导动车组故障诊断的角度出发,分析了现有并行频繁模式增长算法的实现形式和不足。结合动车组故障诊断的要求,提出利用局部频繁模式树代替全局频繁模式树的数据...
针对动车组历史运维数据的知识挖掘问题,从有效利用动车组历史运维数据来指导动车组故障诊断的角度出发,分析了现有并行频繁模式增长算法的实现形式和不足。结合动车组故障诊断的要求,提出利用局部频繁模式树代替全局频繁模式树的数据挖掘算法。该算法在各主要步骤上均实现了并行处理,优化了局部频繁模式树生成规则,对频繁模式的搜索策略进行了改进。改进后的算法大大提高了关联规则挖掘的效率,挖掘结果很好地保留了故障信息与状态信息之间的关联关系,并合理去除了无效规则。通过对该算法的具体分析与实际测试,表明该算法在动车组故障诊断知识获取过程中具有快速、高效、准确的特点。
展开更多
关键词
故障诊断
动车组
关联规则
并行频繁模式增长算法
局部频繁模式树
MAPREDUCE
在线阅读
下载PDF
职称材料
题名
负载均衡的FP-growth并行算法研究
被引量:
10
1
作者
曾志勇
杨呈智
陶冶
机构
云南财经大学信息学院
出处
《计算机工程与应用》
CSCD
北大核心
2010年第4期125-126,229,共3页
基金
云南省自然科学基金No.2007G079M
云南省教育厅科学研究基金项目No.6Y0159
云南财经大学校科研基金~~
文摘
针对在大数据量频繁模式挖掘的时候,有效地利用空闲的计算资源,提出一种基于FP-growth算法的并行算法。该算法有效地将FP-growth主要的计算部分合理地分配到各个计算节点上,各个节点独立完成挖掘后返回结果,从而缩短总计算时间。实验证明,该算法可以完整高效地挖掘频繁模式,并且实现均衡负载。
关键词
数据挖掘
并行算法
FP—
growth
频繁模式
Keywords
data mining
parallel
algorithm
FP-
growth
frequent
pattern
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
云制造环境下并行频繁模式增长算法优化
被引量:
5
2
作者
王洁
戴清灏
曾宇
杨东日
机构
首都师范大学管理学院
北京市计算中心
中国科学院研究生院计算与通信工程学院
出处
《计算机集成制造系统》
EI
CSCD
北大核心
2012年第9期2124-2129,共6页
基金
国家863计划资助项目(2011AA0405)~~
文摘
针对云制造环境下的海量数据挖掘,分析了现有并行频繁模式增长算法的实现和不足。研究了利用键值存储系统对其中的计数和分组部分进行优化。利用键值型数据库存储简单、自动增长且有序的方式,将计数和分组的信息存储在了键值型数据库上。通过减少对分布式文件系统的读写,并将计数过程和排序过程并行化执行,优化后的算法减小了存储节点的网络及内存开销。在真实数据集上,通过实验对比了优化前后算法的性能以及对于文件系统I/O的开销。
关键词
云制造
并行频繁模式增长算法
键值存储系统
数据挖掘
算法优化
Keywords
cloud manufacturing
parallel frequent pattern growth algorithm
key-value storage system
data mining
algorithm
optimization
分类号
TP312 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
基于Spark的并行频繁项集挖掘算法
被引量:
7
3
作者
毛伊敏
吴斌
许春冬
张茂省
机构
江西理工大学信息工程学院
西安交通大学人居环境与建筑工程学院
出处
《计算机集成制造系统》
EI
CSCD
北大核心
2023年第4期1267-1283,共17页
基金
国家自然科学基金资助项目(41562019,11864016)
国家重点研发计划资助项目(2018YFC1504705)。
文摘
针对大数据环境下基于Spark的频繁模式增长(FP-Growth)算法存在创建条件频繁模式树(FP-tree)时空效率低,节点间通信开销大,以及冗余搜索等问题,提出了基于Spark的并行频繁项集挖掘算法(PAFMFI-Spark)。首先,该算法提出非负矩阵分解策略(SNMF),通过提供支持度计数查询和分解储存支持度计数的矩阵,解决了创建条件FP-tree的时空效率低的问题;其次,提出基于遗传算法的分组策略(GS-GA),均衡分配频繁1项集至各节点,解决了节点间的通信开销大的问题;最后,提出高效缩减树结构策略(ERTSS),缩减FP-tree树结构,解决了冗余搜索的问题。实验结果验证了PAFMFI-Spark算法的可行性以及相较于其他挖掘算法的性能优势,所提算法能有效适应各种数据的频繁项集挖掘。
关键词
大数据
Spark框架
并行频繁项集挖掘
频繁模式增长算法
非负矩阵分解
Keywords
big data
Spark framework
parallel
mining
frequent
itemsets
frequent
pattern
growth
algorithm
non-negative matrix factorization
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
基于分布式协调系统的并行频繁模式增长算法的优化
被引量:
1
4
作者
王洁
戴清灏
李环
机构
首都师范大学管理学院
中国科学院计算技术研究所
出处
《计算机科学》
CSCD
北大核心
2012年第3期170-173,共4页
基金
国家信息安全测评中心项目(CNITSEC-KY-2007-22)资助
文摘
频繁模式挖掘可以发现数据中频繁出现的模式,是关联规则挖掘的重要步骤。并行频繁模式算法将其应用到并行环境中,以对海量数据进行挖掘。在Apache软件基金会的Mahout项目实现的基础上,对计数和排序阶段以及算法的执行顺序提出了新的优化策略。优化后的设计将计数信息存储在分布式协调系统上,充分地利用了分布式协调系统的高可用性、适宜存储元数据信息的特点。该设计减小了小文件在分布式文件系统(HDFS)上的开销,同时保留了其优点,还能使计数过程和排序过程并行执行,减小了计算节点的内存开销。对比了文件系统I/O的开销,并分析了实现设计中的难点,为未来的工作打下了基础。
关键词
频繁模式增长算法
并行数据挖掘
分布式协调系统
性能优化
Keywords
frequent
pattern
growth
algorithm
,
parallel
data mining, Distributed coordination system, Performance tuning
分类号
TP312 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
动车组故障诊断知识挖掘中改进的并行频繁模式增长算法
被引量:
4
5
作者
周斌
徐文胜
机构
北京交通大学机械与电子控制工程学院
出处
《计算机集成制造系统》
EI
CSCD
北大核心
2016年第10期2450-2457,共8页
基金
国家863计划资助项目(2013AA041302)~~
文摘
针对动车组历史运维数据的知识挖掘问题,从有效利用动车组历史运维数据来指导动车组故障诊断的角度出发,分析了现有并行频繁模式增长算法的实现形式和不足。结合动车组故障诊断的要求,提出利用局部频繁模式树代替全局频繁模式树的数据挖掘算法。该算法在各主要步骤上均实现了并行处理,优化了局部频繁模式树生成规则,对频繁模式的搜索策略进行了改进。改进后的算法大大提高了关联规则挖掘的效率,挖掘结果很好地保留了故障信息与状态信息之间的关联关系,并合理去除了无效规则。通过对该算法的具体分析与实际测试,表明该算法在动车组故障诊断知识获取过程中具有快速、高效、准确的特点。
关键词
故障诊断
动车组
关联规则
并行频繁模式增长算法
局部频繁模式树
MAPREDUCE
Keywords
fault diagnosis
electric multiple units
association rule
parallel frequent pattern growth algorithm
local
frequent
pattern
tree
MapReduce
分类号
TP312 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
负载均衡的FP-growth并行算法研究
曾志勇
杨呈智
陶冶
《计算机工程与应用》
CSCD
北大核心
2010
10
在线阅读
下载PDF
职称材料
2
云制造环境下并行频繁模式增长算法优化
王洁
戴清灏
曾宇
杨东日
《计算机集成制造系统》
EI
CSCD
北大核心
2012
5
在线阅读
下载PDF
职称材料
3
基于Spark的并行频繁项集挖掘算法
毛伊敏
吴斌
许春冬
张茂省
《计算机集成制造系统》
EI
CSCD
北大核心
2023
7
在线阅读
下载PDF
职称材料
4
基于分布式协调系统的并行频繁模式增长算法的优化
王洁
戴清灏
李环
《计算机科学》
CSCD
北大核心
2012
1
在线阅读
下载PDF
职称材料
5
动车组故障诊断知识挖掘中改进的并行频繁模式增长算法
周斌
徐文胜
《计算机集成制造系统》
EI
CSCD
北大核心
2016
4
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部