针对Mapreduce机制下算法通信时间占用比过高,实际应用价值受限的情况,提出基于Hadoop二阶段并行c-Means聚类算法用来解决超大数据的分类问题。首先,改进Mapreduce机制下的MPI通信管理方法,采用成员管理协议方式实现成员管理与Mapreduc...针对Mapreduce机制下算法通信时间占用比过高,实际应用价值受限的情况,提出基于Hadoop二阶段并行c-Means聚类算法用来解决超大数据的分类问题。首先,改进Mapreduce机制下的MPI通信管理方法,采用成员管理协议方式实现成员管理与Mapreduce降低操作的同步化;其次,实行典型个体组降低操作代替全局个体降低操作,并定义二阶段缓冲算法;最后,通过第一阶段的缓冲进一步降低第二阶段Mapreduce操作的数据量,尽可能降低大数据带来的对算法负面影响。在此基础上,利用人造大数据测试集和KDD CUP 99入侵测试集进行仿真,实验结果表明,该算法既能保证聚类精度要求又可有效加快算法运行效率。展开更多
针对模糊C均值(fuzzy C-means,FCM)聚类算法没有考虑噪声样本点和样本数据的分布特征对聚类结果影响的不足,利用数据加权策略对FCM聚类算法进行改进。改进后的算法通过计算各样本点的密度值,将初始聚类中心限制在高密度样本点区域,并把...针对模糊C均值(fuzzy C-means,FCM)聚类算法没有考虑噪声样本点和样本数据的分布特征对聚类结果影响的不足,利用数据加权策略对FCM聚类算法进行改进。改进后的算法通过计算各样本点的密度值,将初始聚类中心限制在高密度样本点区域,并把样本点的密度值作为该点的权值,对聚类中心进行调整,突出高密度样本点在聚类中心调整中的影响力,从而达到提高聚类效果的目的。人造数据集和加州大学欧文分校(University of California-Irvine,UCI)真实数据集的实验结果表明,在不提高时间复杂度的同时,与FCM算法相比,基于数据加权策略的FCM算法聚类的准确率更高。展开更多
文摘针对Mapreduce机制下算法通信时间占用比过高,实际应用价值受限的情况,提出基于Hadoop二阶段并行c-Means聚类算法用来解决超大数据的分类问题。首先,改进Mapreduce机制下的MPI通信管理方法,采用成员管理协议方式实现成员管理与Mapreduce降低操作的同步化;其次,实行典型个体组降低操作代替全局个体降低操作,并定义二阶段缓冲算法;最后,通过第一阶段的缓冲进一步降低第二阶段Mapreduce操作的数据量,尽可能降低大数据带来的对算法负面影响。在此基础上,利用人造大数据测试集和KDD CUP 99入侵测试集进行仿真,实验结果表明,该算法既能保证聚类精度要求又可有效加快算法运行效率。
文摘针对模糊C均值(fuzzy C-means,FCM)聚类算法没有考虑噪声样本点和样本数据的分布特征对聚类结果影响的不足,利用数据加权策略对FCM聚类算法进行改进。改进后的算法通过计算各样本点的密度值,将初始聚类中心限制在高密度样本点区域,并把样本点的密度值作为该点的权值,对聚类中心进行调整,突出高密度样本点在聚类中心调整中的影响力,从而达到提高聚类效果的目的。人造数据集和加州大学欧文分校(University of California-Irvine,UCI)真实数据集的实验结果表明,在不提高时间复杂度的同时,与FCM算法相比,基于数据加权策略的FCM算法聚类的准确率更高。
