异构并行计算下高维混合型数据聚类算法研究 被引量：2

1

作者 祝鹏 《现代电子技术》 北大核心 2024年第9期139-142,共4页

高维数据维度增加,数据空间的体积呈指数增长,容易陷入“维数灾难”,导致聚类算法执行效率低,为此,提出异构并行计算下高维混合型数据聚类算法。构建高维混合型数据相异度矩阵,提取高维混合型数据的统计序列特征值,利用时间窗口进行特... 高维数据维度增加,数据空间的体积呈指数增长,容易陷入“维数灾难”,导致聚类算法执行效率低,为此,提出异构并行计算下高维混合型数据聚类算法。构建高维混合型数据相异度矩阵,提取高维混合型数据的统计序列特征值,利用时间窗口进行特征优化。采用K⁃Prototypes聚类算法提取高维混合型数据的统计序列特征,评估数据与类中心的相异性,计算数据与类中心的欧氏距离,实现高维混合型数据聚类。采用异构并行计算技术进行高维混合型数据K⁃Prototypes聚类的并行化处理,合理分配CPU与GPU工作,达到CPU与GPU的工作负载平衡,提高K⁃Prototypes的聚类效率。实验结果表明,此算法对于高维混合型数据的聚类效果好、运行时间短、性能稳定。 展开更多

关键词 异构并行计算 高维混合型数据 K⁃Prototypes聚类算法 欧氏距离 统计序列特征 负载平衡

在线阅读 下载PDF 职称材料

局部显著单元高维聚类算法 被引量：1

2

作者 宗瑜 李明楚 +1 位作者 徐贯东 张彦春 《电子与信息学报》 EI CSCD 北大核心 2010年第11期2707-2712,共6页

以等宽或随机宽度网格密度单元为基础的高维聚类算法不能保证复杂数据集中的聚类结果的质量。该文在核密度估计和空间统计理论的基础上,给出一种基于局部显著单元的高维聚类算法来处理复杂数据的高维聚类问题。该方法以局部核密度估计... 以等宽或随机宽度网格密度单元为基础的高维聚类算法不能保证复杂数据集中的聚类结果的质量。该文在核密度估计和空间统计理论的基础上,给出一种基于局部显著单元的高维聚类算法来处理复杂数据的高维聚类问题。该方法以局部核密度估计和空间统计理论为基础定义了局部显著单元结构来捕获局部数据分布;设计了能快速发现覆盖数据分布的局部显著区域的贪婪算法;对具有相同属性子集的局部显著单元执行Single-linkage算法发现其中的聚类结果。实验结果表明,以局部显著单元为基础的高维聚类算法能够发现复杂数据集中隐含的高质量聚类结果。 展开更多

关键词 聚类分析 高维聚类算法 核密度估计 局部显著单元

在线阅读 下载PDF 职称材料

基于最大频繁项集的聚类算法 被引量：1

3

作者 张伟 张泽洪 《江南大学学报（自然科学版）》 CAS 2007年第3期288-292,共5页

鉴于高维数据的稀疏性和分类数据特点,探讨了专门针对高维分类数据的聚类方法.首先将原始数据集转换成频繁项集,再通过改造频繁模式树以及给出的剪切策略,挖掘出事务的最大频繁项集,并基于最大频繁项集(MFI)的两个属性,将具有相同MFI的... 鉴于高维数据的稀疏性和分类数据特点,探讨了专门针对高维分类数据的聚类方法.首先将原始数据集转换成频繁项集,再通过改造频繁模式树以及给出的剪切策略,挖掘出事务的最大频繁项集,并基于最大频繁项集(MFI)的两个属性,将具有相同MFI的对象归于一类,由此提出了基于最大频繁项集的聚类算法.通过对分类数据集的实验,表明该算法具有相当的稳定性、健壮性和有效性. 展开更多

关键词 高维分类数据 最大频繁项集 频繁模式树 投影聚类算法

在线阅读 下载PDF 职称材料

一种新的数据流聚类融合算法研究

4

作者 张军 刘文杰 《科技通报》 2018年第5期199-202,共4页

提出一种新的选择性聚类融合算法,该算法主要基于分形维数来处理一些高维数据,选择策略则是主要基于互信息,考虑到已选聚类成员的重要程度与聚类成员的质量和多样性,此算法比较适用的数据聚集类为任意形状的,聚类融合可通过加权定义实... 提出一种新的选择性聚类融合算法,该算法主要基于分形维数来处理一些高维数据,选择策略则是主要基于互信息,考虑到已选聚类成员的重要程度与聚类成员的质量和多样性,此算法比较适用的数据聚集类为任意形状的,聚类融合可通过加权定义实现。仿真实验中在UCI数据集环境运用本文提出的选择性聚类融合算法,实验结果表明该算法具有良好的有效性。 展开更多

关键词 高维数据 互信息 关联矩阵 聚类融合算法

在线阅读 下载PDF 职称材料

基于K-Means的软子空间聚类算法研究综述

5

作者 李俊丽 《舰船电子工程》 2016年第5期43-46,共4页

随着数据挖掘技术的发展,聚类分析算法越来越多,由于分析高维数据有时会陷入所谓维灾难,传统的聚类算法在聚类高维数据时性能会降低很多。针对这种情况,提出了子空间聚类算法,极大地改善了这个问题。K-Means算法是一种应用很广泛的聚类... 随着数据挖掘技术的发展,聚类分析算法越来越多,由于分析高维数据有时会陷入所谓维灾难,传统的聚类算法在聚类高维数据时性能会降低很多。针对这种情况,提出了子空间聚类算法,极大地改善了这个问题。K-Means算法是一种应用很广泛的聚类算法,与子空间聚类算法结合可以应用于高维数据聚类。介绍了三类基于K-Means的软子空间聚类算法,并对每种算法进行了描述和分析,最后指出了进一步的研究方向。 展开更多

关键词 K-MEANS算法 软子空间聚类 高维数据聚类

在线阅读 下载PDF 职称材料

基于Hubness现象的高维数据混合聚类算法 被引量：3

6

作者 王妍 马燕 +2 位作者 黄慧 李顺宝 张玉萍 《电视技术》 2019年第6期17-23,共7页

高维数据聚类是聚类分析中的难点。K-hubs聚类算法是在K-means方法基础上,结合高维数据空间的Hubness现象对数据进行聚类。针对K-hubs聚类算法需要随机确定初始聚类中心,不适用于非超球状簇等问题,本文提出了基于多阶段层次聚类和划分... 高维数据聚类是聚类分析中的难点。K-hubs聚类算法是在K-means方法基础上,结合高维数据空间的Hubness现象对数据进行聚类。针对K-hubs聚类算法需要随机确定初始聚类中心,不适用于非超球状簇等问题,本文提出了基于多阶段层次聚类和划分聚类的高维数据混合聚类算法。该算法将数据点按其Hub值分为Hub点,Midhub点和Antihub点三类,然后对Hub点和Midhub点分别采用层次聚类,接着进一步采用层次聚类合并簇,最后,对Antihub点利用划分聚类合并到最近的簇。在UCI数据集上的实验结果表明,与其它最新的聚类算法相比,本文提出的算法在高维数据集上得到了较好的聚类结果。 展开更多

关键词 高维数据 聚类 Hubness现象 层次聚类 K-MEANS算法

在线阅读 下载PDF 职称材料

基于深度信念网络的K-means聚类算法研究 被引量：13

7

作者 杨慧婷 杨文忠 +1 位作者 殷亚博 许超英 《现代电子技术》 北大核心 2019年第8期145-150,共6页

针对传统K-means聚类算法对高维非线性数据聚类效果不佳、聚类时间消耗大的问题,文中对高维数据的预处理进行研究,提出一种基于深度信念网络(DBN)的K-means聚类算法(DBNOK)。此算法首先使用多层受限玻尔兹曼机(RBM)对数据进行特征学习,... 针对传统K-means聚类算法对高维非线性数据聚类效果不佳、聚类时间消耗大的问题,文中对高维数据的预处理进行研究,提出一种基于深度信念网络(DBN)的K-means聚类算法(DBNOK)。此算法首先使用多层受限玻尔兹曼机(RBM)对数据进行特征学习,并将学习到的隐含特征进行K-means相关参数和初始聚类中心进行交叉迭代优化。用DBNOK算法分别在低维数据集和高维数据集上进行实验,结果表明,DB-NOK算法聚类准确率优于标准的K-means算法和模糊均值聚类(FCM)算法。 展开更多

关键词 K-MEANS算法 深度信念网络 受限玻尔兹曼机 高维数据 聚类分析 FCM算法

在线阅读 下载PDF 职称材料

基于遗传算法的高维子空间聚类算法设计

8

作者 黄白梅 章政 《电子设计工程》 2013年第5期180-183,共4页

针对高维空间数据的特点,为了降低"维数灾难效应"对聚类结果的影响,提出并实现了一种新的基于遗传算法的子空间聚类算法,通过特征选择方法并结合遗传算法的全局搜索能力对所有的特征子空间进行搜索;采用实数制编码方式对解空... 针对高维空间数据的特点,为了降低"维数灾难效应"对聚类结果的影响,提出并实现了一种新的基于遗传算法的子空间聚类算法,通过特征选择方法并结合遗传算法的全局搜索能力对所有的特征子空间进行搜索;采用实数制编码方式对解空间进行编码,并设计一种基于距离和信息熵的适应度评估函数来对聚类结果和子空间所包含的特征维进行评估。最后,通过人工数据与真实数据等几组实验验证了算法的高效性和鲁棒性。实验结果表明,本文提出的新算法能够有效地进行高维数据聚类,降低"维数灾效应"的影响。 展开更多

关键词 遗传算法 高维空间 聚类 特征维

在线阅读 下载PDF 职称材料

子空间聚类算法在高维数据异常检测中的应用

9

作者 周冬 苏勇 黄烨 《信息技术》 2013年第3期168-171,共4页

传统异常检测技术是基于距离和密度的,快速的异常检测算法过分依赖于索引结构或网格划分,在低维数据上有很好的效果;面对高维数据的稀疏性、空空间现象等特性,索引结构失效,网格划分的数目呈指数级增长,传统算法性能下降;文中采用信息... 传统异常检测技术是基于距离和密度的,快速的异常检测算法过分依赖于索引结构或网格划分,在低维数据上有很好的效果;面对高维数据的稀疏性、空空间现象等特性,索引结构失效,网格划分的数目呈指数级增长,传统算法性能下降;文中采用信息熵确定高维数据异常子空间,在异常子空间上使用DBSCAN聚类算法,在高维数据异常检测中表现出较好的性能。 展开更多

关键词 高维数据 信息熵 异常检测 子空间聚类算法

在线阅读 下载PDF 职称材料

基于改进K-means模糊聚类的区域健康大数据智能分析方法研究 被引量：4

10

作者 陈娇花 《电子设计工程》 2022年第19期30-34,共5页

区域健康数据的特点是其具有海量性和高维性,而使用传统K-means聚类方法无法应对高维度的数据处理,不但容易造成结果误差,且会使算法的执行效率较低、时间开销较大。针对上述问题,文中对传统K-means聚类方法进行了深入改进,在加入模糊... 区域健康数据的特点是其具有海量性和高维性,而使用传统K-means聚类方法无法应对高维度的数据处理,不但容易造成结果误差,且会使算法的执行效率较低、时间开销较大。针对上述问题,文中对传统K-means聚类方法进行了深入改进,在加入模糊项以保证其聚类效果的基础上,使用粗糙集理论对高维数据属性的权重值进行确定,通过对其数据属性数量进行简化,从而保证模型的精确度与执行效率。数值实验结果表明,文中所提算法在处理高维数据时,其准确度相较对比算法提升了约5%,算法的执行时间相较传统算法缩短了约50%,证明了该算法对高维数据进行聚类处理的有效性。 展开更多

关键词 模糊聚类 K-MEANS算法 区域健康数据 高维数据 数据挖掘

在线阅读 下载PDF 职称材料

聚类分析中的高维数据降维方法研究 被引量：2

11

作者 谢枫平 《闽西职业技术学院学报》 2009年第4期124-128,共5页

高维数据能充分表达复杂事物的信息,但高维数据自身表达和处理复杂,妨碍了它的实际应用。阐述了用降维算法和构建索引结构来解决高维数据降维问题。以数据对象变异最大方向的投影作为特定数据对象集的主成份,将聚类分析引入高校数据资... 高维数据能充分表达复杂事物的信息,但高维数据自身表达和处理复杂,妨碍了它的实际应用。阐述了用降维算法和构建索引结构来解决高维数据降维问题。以数据对象变异最大方向的投影作为特定数据对象集的主成份,将聚类分析引入高校数据资源的预处理环节,实现了数据对象集合的聚类归约。给出应用实例,为深入探索相关模式提供有效的分析方法。 展开更多

关键词 聚类分析 高维数据 降维算法 索引结构

在线阅读 下载PDF 职称材料

基于模糊聚类算法的高维大数据增量处理方法 被引量：1

12

作者 张思松 张明 《蚌埠学院学报》 2022年第2期55-59,共5页

现有高维数据增量处理方法由于没有完全抵消类间中心点的相互排斥,导致处理增量数据的缓冲有效比较低,为此,提出了基于模糊聚类算法的高维大数据增量处理方法。利用时间窗口构建了可变增量数据抽取模型,针对抽取数据采用最大相关最小冗... 现有高维数据增量处理方法由于没有完全抵消类间中心点的相互排斥,导致处理增量数据的缓冲有效比较低,为此,提出了基于模糊聚类算法的高维大数据增量处理方法。利用时间窗口构建了可变增量数据抽取模型,针对抽取数据采用最大相关最小冗余的特征选择方法,过滤增量数据;基于模糊聚类算法抵消类间节点的相互排斥,通过优化中心聚类节点完成对增量数据的聚类处理。测试结果表明,所提算法的数据处理速度差异性较小,当增量变化比小于8%时,三种方法的缓冲有效比P之间的差异性较小;当增量变化比为20%和42%时,所提方法的P值比其他两组方法分别高了6.28%、8.4%和13.61%、14.67%。可见所提方法利用模糊聚类算法,更好地消除了类间中心点相互排斥的问题。 展开更多

关键词 模糊聚类算法 高维大数据 增量数据 时间窗口 最大相关最小冗余 类间差异

在线阅读 下载PDF 职称材料