随着网络信息文本的爆发式增长,人们从繁多的新闻中获取特定有效的信息变得愈发困难。在大数据处理中,学者们经常使用文本聚类方法作为新闻主题提取和趋势跟踪的主要措施。针对凝聚型层次聚类算法和K-Means算法在文本聚类上的优势和缺陷...随着网络信息文本的爆发式增长,人们从繁多的新闻中获取特定有效的信息变得愈发困难。在大数据处理中,学者们经常使用文本聚类方法作为新闻主题提取和趋势跟踪的主要措施。针对凝聚型层次聚类算法和K-Means算法在文本聚类上的优势和缺陷,提出一种新的新闻文本聚类优化处理算法——QH-K(K-Means based on Quick Hierarchical Clustering)算法。首先,通过word2vector模型训练文本得到词向量;其次,采用优化的凝聚型层次聚类算法对文本聚类,并根据优化处理算法所提出聚类有效性指标ST得到初始聚类个数和聚类中心;最后,引入K-Means算法对聚类结果进行优化,提高最终聚类的效果。实验证明,QHK聚类优化处理算法的正确率、召回率、F值相比传统算法都得到了一定程度的提升;此外,算法的运行时间也有所下降。展开更多
文摘随着网络信息文本的爆发式增长,人们从繁多的新闻中获取特定有效的信息变得愈发困难。在大数据处理中,学者们经常使用文本聚类方法作为新闻主题提取和趋势跟踪的主要措施。针对凝聚型层次聚类算法和K-Means算法在文本聚类上的优势和缺陷,提出一种新的新闻文本聚类优化处理算法——QH-K(K-Means based on Quick Hierarchical Clustering)算法。首先,通过word2vector模型训练文本得到词向量;其次,采用优化的凝聚型层次聚类算法对文本聚类,并根据优化处理算法所提出聚类有效性指标ST得到初始聚类个数和聚类中心;最后,引入K-Means算法对聚类结果进行优化,提高最终聚类的效果。实验证明,QHK聚类优化处理算法的正确率、召回率、F值相比传统算法都得到了一定程度的提升;此外,算法的运行时间也有所下降。
