把文本流中的热点区分为局部热点和全局热点,分析了二者的相关性,并将Kolmogorov复杂度应用于多文本流中的热点挖掘.首先,定义了基于Kolmogorov复杂度的冗余信息的概念,并论证了文本流存在局部热点的必要条件是冗余信息超过某个阈值;其...把文本流中的热点区分为局部热点和全局热点,分析了二者的相关性,并将Kolmogorov复杂度应用于多文本流中的热点挖掘.首先,定义了基于Kolmogorov复杂度的冗余信息的概念,并论证了文本流存在局部热点的必要条件是冗余信息超过某个阈值;其次,基于条件Kolmogorov复杂度提出了一个相似性度量指标——流信息距离(stream information distance,简称SID),以衡量不同文本流之间的相似度;并借鉴计算生物学领域中的种系发生树的思想,提出了一种基于层次聚类的多文本流全局热点挖掘启发式算法.在合成和真实数据集的实验,验证了算法的收敛性、有效性和规模可伸缩性.展开更多
在大数据时代,有价值的数据常常隐藏在互联网中。如何在互联网上有效地获取所需信息成为当前学科领域迫切需要解决的问题。多文本自动摘要技术可以从多个主题相关的文本中自动产生该主题全面、简明扼要的内容摘要,提高了用户获取信息的...在大数据时代,有价值的数据常常隐藏在互联网中。如何在互联网上有效地获取所需信息成为当前学科领域迫切需要解决的问题。多文本自动摘要技术可以从多个主题相关的文本中自动产生该主题全面、简明扼要的内容摘要,提高了用户获取信息的效率。然而,目前多文本摘要算法仍不理想,存在文本摘要的结果准确率低,召回率低等问题。文中提出了一种基于主题聚类的多文本自动摘要算法(Multi-Document Summarization Algorithm based on Topic Clustering,MDSTC)。首先在典型的聚类算法中加入文本密度排序的步骤,确定初始聚类中心数,由此能够自动地发现文本集合所隐藏的子主题数量。下一步从不同的子主题集合中进行摘要的抽取,抽取的部分采用卷积神经网络算法,通过对已聚类的主题文本进行有监督的训练,对所有的句子评分、标记,选择符合中心内容的语句作为文本摘要。最后,输出所得的摘要内容。实验结果表明,与典型的基于LexRank的多文本自动摘要算法和基于WSRank的多文本自动摘要算法相比,文中提出的MDSTC算法在准确率、召回率等方面,均有较好的性能表现,生成摘要所需的时间也比这两种算法要短。展开更多
文摘把文本流中的热点区分为局部热点和全局热点,分析了二者的相关性,并将Kolmogorov复杂度应用于多文本流中的热点挖掘.首先,定义了基于Kolmogorov复杂度的冗余信息的概念,并论证了文本流存在局部热点的必要条件是冗余信息超过某个阈值;其次,基于条件Kolmogorov复杂度提出了一个相似性度量指标——流信息距离(stream information distance,简称SID),以衡量不同文本流之间的相似度;并借鉴计算生物学领域中的种系发生树的思想,提出了一种基于层次聚类的多文本流全局热点挖掘启发式算法.在合成和真实数据集的实验,验证了算法的收敛性、有效性和规模可伸缩性.
文摘在大数据时代,有价值的数据常常隐藏在互联网中。如何在互联网上有效地获取所需信息成为当前学科领域迫切需要解决的问题。多文本自动摘要技术可以从多个主题相关的文本中自动产生该主题全面、简明扼要的内容摘要,提高了用户获取信息的效率。然而,目前多文本摘要算法仍不理想,存在文本摘要的结果准确率低,召回率低等问题。文中提出了一种基于主题聚类的多文本自动摘要算法(Multi-Document Summarization Algorithm based on Topic Clustering,MDSTC)。首先在典型的聚类算法中加入文本密度排序的步骤,确定初始聚类中心数,由此能够自动地发现文本集合所隐藏的子主题数量。下一步从不同的子主题集合中进行摘要的抽取,抽取的部分采用卷积神经网络算法,通过对已聚类的主题文本进行有监督的训练,对所有的句子评分、标记,选择符合中心内容的语句作为文本摘要。最后,输出所得的摘要内容。实验结果表明,与典型的基于LexRank的多文本自动摘要算法和基于WSRank的多文本自动摘要算法相比,文中提出的MDSTC算法在准确率、召回率等方面,均有较好的性能表现,生成摘要所需的时间也比这两种算法要短。
