基于潜在语义索引的文本摘要方法 被引量：17

1

作者 林鸿飞 高仁璟 《大连理工大学学报》 CAS CSCD 北大核心 2001年第6期744-748,共5页

因特网上的在线文本自动编制摘要可以帮助用户有选择地阅读 .给出了基于潜在语义索引的文本摘要方法 .它采用向量空间模型作为文本表示方法 ,利用潜在语义索引来减少词汇间的“斜交”现象 ,在语义空间上进行项、句子、段落与文本之间的... 因特网上的在线文本自动编制摘要可以帮助用户有选择地阅读 .给出了基于潜在语义索引的文本摘要方法 .它采用向量空间模型作为文本表示方法 ,利用潜在语义索引来减少词汇间的“斜交”现象 ,在语义空间上进行项、句子、段落与文本之间的相似度计算 ,而不是单纯地依赖于特征项的频率信息 .依据对于文本主题的表现能力来确定摘要的各个组成部分及其组成方式 .此外 ,给出了文本摘要的评估方法 . 展开更多

关键词 人工智能 语义信息 文本摘要 潜在语义索引 微量空间模型 特征抽取 摘要评价 因特网

在线阅读 下载PDF 职称材料

基于Rough集潜在语义索引的Web文档分类 被引量：7

2

作者 何明 冯博琴 傅向华 《计算机工程》 CAS CSCD 北大核心 2004年第13期3-5,共3页

Rough集(粗糙集)理论是一种处理不确定或模糊知识的数学工具。提出了一种基于Rough集理论的潜在语义索引的Web文档分类 方法。首先应用向量空间模型表示Web文档信息,然后通过矩阵的奇异值分解来进行信息过滤和潜在语义索引;运用属性约... Rough集(粗糙集)理论是一种处理不确定或模糊知识的数学工具。提出了一种基于Rough集理论的潜在语义索引的Web文档分类 方法。首先应用向量空间模型表示Web文档信息,然后通过矩阵的奇异值分解来进行信息过滤和潜在语义索引;运用属性约简算法生成分类 规则,最后利用多知识库进行文档分类。通过试验比较,该方法具有较好的分类效果。 展开更多

关键词 粗糙集 潜在语义索引 WEB文档分类 信息过滤 信息检索

在线阅读 下载PDF 职称材料

基于潜在语义索引和自组织映射网的检索结果聚类方法 被引量：4

3

作者 陈毅恒 秦兵 +2 位作者 刘挺 王平 李生 《计算机研究与发展》 EI CSCD 北大核心 2009年第7期1176-1183,共8页

随着互联网的不断发展和数据量的不断增加,搜索引擎的作用日益明显,用户更多地依靠搜索引擎来查找需要的信息.利用潜在语义索引(LSI)理论和自组织映射神经网络(SOM)理论,提出了一种文本聚类的新方法——LSOM.该方法应用SOM网络来实现检... 随着互联网的不断发展和数据量的不断增加,搜索引擎的作用日益明显,用户更多地依靠搜索引擎来查找需要的信息.利用潜在语义索引(LSI)理论和自组织映射神经网络(SOM)理论,提出了一种文本聚类的新方法——LSOM.该方法应用SOM网络来实现检索结果文本聚类,不必预先给定类别个数,具有聚类灵活和精度高等特点;同时,该方法应用LSI理论来建立向量空间模型,在词条的权重中引入了语义关系,对于高维的文本特征向量,消减原词条矩阵中包含的噪声,提高聚类速度.LSOM使用一种新的类别标签提取方法,并将提取的标签用于解决SOM基本类划分问题,算法在类别标签和聚类效果评价指标上都比已有的算法有所提高. 展开更多

关键词 检索结果聚类 潜在语义索引 自组织映射网 标签 边界划分

在线阅读 下载PDF 职称材料

潜在语义索引方法在信息过滤中的应用 被引量：16

4

作者 牛伟霞 张永奎 《计算机工程与应用》 CSCD 北大核心 2001年第9期57-60,共4页

信息过滤是一种ＷＥＢ信息服务的新技术，旨在实现网络服务器向客户端主动的信息推迟，其核心技术之一是用户兴趣主题模型的表示。文章利用潜在语义索引方法构建用户兴趣主题模型，并对网上大量的中文科技文献信息进行过滤。初步实验的... 信息过滤是一种ＷＥＢ信息服务的新技术，旨在实现网络服务器向客户端主动的信息推迟，其核心技术之一是用户兴趣主题模型的表示。文章利用潜在语义索引方法构建用户兴趣主题模型，并对网上大量的中文科技文献信息进行过滤。初步实验的结果表明，该方法与传统的向量空间方法相比，效率有明显提高。 展开更多

关键词 信息过滤 潜在语义索引 兴趣主题模型 信息检索 WEB 互联网

在线阅读 下载PDF 职称材料

基于潜在语义索引的文本浏览机制 被引量：29

5

作者 林鸿飞 姚天顺 《中文信息学报》 CSCD 北大核心 2000年第5期49-56,共8页

文本浏览是伴随着因特网上日益增多的在线文本而出现的辅助阅读机制 ,本文给出了基于潜在语义索引的文本浏览机制。它吸取了潜在语义索引和概念标注的优点 ,利用潜在语义索引 ,减少词汇间的“斜交”现象 ,在语义空间上进行项与项、文本... 文本浏览是伴随着因特网上日益增多的在线文本而出现的辅助阅读机制 ,本文给出了基于潜在语义索引的文本浏览机制。它吸取了潜在语义索引和概念标注的优点 ,利用潜在语义索引 ,减少词汇间的“斜交”现象 ,在语义空间上进行项与项、文本与文本、项与文本之间的相似度计算。利用概念词典将文本特征项按语义分类 ,给予层次分类以确定的含义。最后 ,实现以分层概念为基础的信息导航。 展开更多

关键词 文本浏览 潜在语义索引 概念标注 特征抽取

在线阅读 下载PDF 职称材料

潜在语义索引中特征优化技术的研究 被引量：7

6

作者 季铎 郑伟 蔡东风 《中文信息学报》 CSCD 北大核心 2009年第2期69-76,共8页

潜在语义索引被广泛应用于信息检索、文本分类、自动问答等领域中。潜在语义索引是一种降维方法，它把共现特征映射到同一维空间上，而非共现特征映射到不同的空间上。在潜在语义索引的语义空间中，共现特征通过文档内部以及文档之间的... 潜在语义索引被广泛应用于信息检索、文本分类、自动问答等领域中。潜在语义索引是一种降维方法，它把共现特征映射到同一维空间上，而非共现特征映射到不同的空间上。在潜在语义索引的语义空间中，共现特征通过文档内部以及文档之间的特征传递关系获得。该文认为这种特征传递关系会引入一些不存在的共现特征，从而降低潜在语义索引的性能，应该对这种特征传递关系进行一些选择，削除不存在的共现特征信息。该文采用文档频率对文档集合进行特征选择，用Complete—Link聚类算法在两个公开语料上进行三个实验，实验结果显示，保留文档频度的10％～15％时，其F1值分别提高了6．5770%，1．9928％和3．3614％。 展开更多

关键词 计算机应用 中文信息处理 潜在语义索引 共现特征 奇异值分解 特征选择

在线阅读 下载PDF 职称材料

基于潜在语义索引的文本特征词权重计算方法 被引量：17

7

作者 李媛媛 马永强 《计算机应用》 CSCD 北大核心 2008年第6期1460-1462,1466,共4页

潜在语义索引具有可计算性强,需要人参与少等优点。对其中重要的优化过程——权重计算,进行了深入分析。针对目前应用最广泛的TF-IDF方法中,采用线性处理的不合理性以及难以突出对文本内容起关键性作用的特征的缺点,提出了一种基于"... 潜在语义索引具有可计算性强,需要人参与少等优点。对其中重要的优化过程——权重计算,进行了深入分析。针对目前应用最广泛的TF-IDF方法中,采用线性处理的不合理性以及难以突出对文本内容起关键性作用的特征的缺点,提出了一种基于"Sigmiod函数"和"位置因子"的新权重方案。突出了文本中不同特征词的重要程度,更有利于潜在语义空间的构造。通过实验平台"中文潜在语义索引分析系统"的测试结果表明,该权重方法更利于基于潜在语义的检索性能的提高。 展开更多

关键词 潜在语义索引 Sigmiod函数 位置因子 权重算法

在线阅读 下载PDF 职称材料

基于潜在语义索引的Web信息预测采集过滤方法 被引量：9

8

作者 李振星 陆大珏 +2 位作者 任继成 唐卫清 唐荣锡 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2004年第1期142-147,共6页

Web信息急速膨胀使有效定向采集特定领域信息成为网上信息检索中一个日益重要的研究方向 提出一种基于潜在语义索引的Web信息预测采集过滤方法 在样本文档集潜在语义索引对文档相似计算的基础上 ,构造出用户兴趣模型 ,判断页面相关性... Web信息急速膨胀使有效定向采集特定领域信息成为网上信息检索中一个日益重要的研究方向 提出一种基于潜在语义索引的Web信息预测采集过滤方法 在样本文档集潜在语义索引对文档相似计算的基础上 ,构造出用户兴趣模型 ,判断页面相关性进行文本过滤 通过对Web站点结构分析、对未知网页的相关性预测来控制信息采集过程 在保持定向采集精度的同时 ,缩短采集时间、减少存储、加快检索 。 展开更多

关键词 潜在语义索引 信息采集 Web检索系统 网络资源 互联网

在线阅读 下载PDF 职称材料

一种大规模数据的快速潜在语义索引 被引量：10

9

作者 卫威 王建民 《计算机工程》 CAS CSCD 北大核心 2009年第15期35-37,40,共4页

潜在语义索引(LSI)已应用到现代信息检索的多个领域,但矩阵奇异值分解的高复杂度阻碍了该技术在大规模数据上的应用。提出一种大规模数据的快速LSI方法。给出一个降维问题的统一框架,LSI作为一种特征提取算法,可以在这个框架下转化为一... 潜在语义索引(LSI)已应用到现代信息检索的多个领域,但矩阵奇异值分解的高复杂度阻碍了该技术在大规模数据上的应用。提出一种大规模数据的快速LSI方法。给出一个降维问题的统一框架,LSI作为一种特征提取算法,可以在这个框架下转化为一个特征选择问题。利用该技术在最大程度保持LSI降维效果的同时,简化LSI的计算,使其能够应用于大规模数据。 展开更多

关键词 潜在语义索引 降维 特征选择 特征提取

在线阅读 下载PDF 职称材料

基于潜在语义索引的SVM文本分类模型 被引量：3

10

作者 郭武斌 周宽久 张世荣 《情报学报》 CSSCI 北大核心 2009年第6期827-833,共7页

本文将潜在语义索引理论与支持向量机方法相结合,对文本向量各维与文本的语义联系进行特征抽取,建立了完整的基于潜在语义索引的支持向量机文本分类模型,分析了该方法与分词的维数以及SVM惩罚因子选择之间的关系。并在NN-SVM分类算法的... 本文将潜在语义索引理论与支持向量机方法相结合,对文本向量各维与文本的语义联系进行特征抽取,建立了完整的基于潜在语义索引的支持向量机文本分类模型,分析了该方法与分词的维数以及SVM惩罚因子选择之间的关系。并在NN-SVM分类算法的基础上,通过计算样本点与其最近邻点类别的异同以及该点与其k个同类近邻点在核空间的平均距离来修剪混淆点,提出了一种改进的NN-SVM算法：KCNN-SVM算法。利用该算法对降维后的训练集进行修剪。实验表明,用新的模型进行文本分类,与单纯支持向量机相比,受到文本分词维数以及支持向量机惩罚因子的影响更小,其分类正确率更高。 展开更多

关键词 支持向量机 核空间 潜在语义索引 文本分类

在线阅读 下载PDF 职称材料

基于潜在语义索引的科技文献主题挖掘 被引量：4

11

作者 刘勘 朱芳芳 《计算机工程与应用》 CSCD 2014年第24期113-117,150,共6页

提出了一种基于潜在语义的科技文献主题挖掘方法,描述了科技文献的主题挖掘模型。对科技文献集进行预处理,计算特征词权重,构造出词汇-文献矩阵。用改进的LSI算法对稀疏矩阵进行降维得到固定的主题-文献矩阵。取权重最高的主题作为该文... 提出了一种基于潜在语义的科技文献主题挖掘方法,描述了科技文献的主题挖掘模型。对科技文献集进行预处理,计算特征词权重,构造出词汇-文献矩阵。用改进的LSI算法对稀疏矩阵进行降维得到固定的主题-文献矩阵。取权重最高的主题作为该文献的主题。该方法利用Frobenius范数来规范矩阵,对稀疏矩阵进行降维,可以快速精确地挖掘出科技文献的主题。 展开更多

关键词 (GB7713-8 规定每篇文章应选取 3~8 个关键 潜在语义索引 主题挖掘 科技文献

在线阅读 下载PDF 职称材料

使用基于SVM的局部潜在语义索引进行文本分类 被引量：4

12

作者 张秋余 刘洋 《计算机应用》 CSCD 北大核心 2007年第6期1382-1384,共3页

潜在语义索引(LSI)通过奇异值分解(SVD)获得原始词—文档矩阵的潜在语义结构,在一定程度上解决了一词多义和多词一义问题。但目前文本分类中使用LSI方法的效果并不理想,这是因为没有充分考虑分类信息。为解决该问题,提出一种改进的局部... 潜在语义索引(LSI)通过奇异值分解(SVD)获得原始词—文档矩阵的潜在语义结构,在一定程度上解决了一词多义和多词一义问题。但目前文本分类中使用LSI方法的效果并不理想,这是因为没有充分考虑分类信息。为解决该问题,提出一种改进的局部潜在语义索引(LLSI)方法,使用支持向量机(SVM)来产生局部区域。实验结果表明,该方法是有效的。 展开更多

关键词 文本分类 潜在语义索引 支持向量机 局部区域

在线阅读 下载PDF 职称材料

基于潜在语义索引的文本结构分析方法的研究 被引量：4

13

作者 刘军万 刘飞飞 《情报杂志》 CSSCI 北大核心 2004年第1期56-58,共3页

文本结构分析是文本处理领域中的重要内容 ,它可以有效地改进文本检索、文本过滤以及文本摘要的精度。通过描述文本的物理结构和逻辑结构以及文本分析的背景 ,将潜在语义索引引入文本结构分析中 ,提出了基于潜在语义索引的层次分析方法 ... 文本结构分析是文本处理领域中的重要内容 ,它可以有效地改进文本检索、文本过滤以及文本摘要的精度。通过描述文本的物理结构和逻辑结构以及文本分析的背景 ,将潜在语义索引引入文本结构分析中 ,提出了基于潜在语义索引的层次分析方法 ,该方法保证了层次划分的有序性和聚合性 ,可操作性强 ,便于解释 ,并给出了在文本检索、文本过滤和文本摘要中的应用。 展开更多

关键词 潜在语义索引 文本结构 文本分析 文本检索 文本过滤

在线阅读 下载PDF 职称材料

一种基于潜在语义索引的“垃圾”邮件过滤方法 被引量：17

14

作者 陈华辉 《计算机应用研究》 CSCD 2000年第10期17-18,35,共3页

提出了一种基于潜在语义索引(LSI)的“垃圾”邮件过滤方法，讨论了邮件概念空间的构造，该空间中邮件相似度的计算和“垃圾”邮件的过滤。

关键词 信息检索 电子邮件 潜在语义索引 过滤 垃圾邮件

在线阅读 下载PDF 职称材料

文本检索的潜在语义索引法初探 被引量：11

15

作者 杨梁彬 《大学图书馆学报》 CSSCI 北大核心 2003年第6期68-72,84,共6页

传统的文本检索方式是基于提问集合和文本集合的单纯语词匹配检索,然而这并不能解决检索实践过程中存在的同义和多义问题。文章阐述了文本检索的潜在语义索引法的原理并通过实验来验证潜在语义索引可以用来解决同义和多义问题,完善检索... 传统的文本检索方式是基于提问集合和文本集合的单纯语词匹配检索,然而这并不能解决检索实践过程中存在的同义和多义问题。文章阐述了文本检索的潜在语义索引法的原理并通过实验来验证潜在语义索引可以用来解决同义和多义问题,完善检索系统的性能。 展开更多

关键词 文本检索 潜在语义索引法 LSI 奇异值分解 SVD 加权方法

在线阅读 下载PDF 职称材料

基于潜在语义索引的中文文本聚类的研究 被引量：4

16

作者 马国俊 贠卫国 《现代电子技术》 2005年第10期58-59,共2页

讨论了中文文本聚类的现状以及存在的问题,介绍了向量空间模型,详细阐述了潜在语义索引理论以及采用该模型进行中文文本聚类的主要步骤,最后采用两种模型进行了实验对比,实验表明采用潜在语义索引模型可以取得更好的聚类效果。

关键词 文本聚类 潜在语义索引 向量空间模型 信息检索

在线阅读 下载PDF 职称材料

基于VSM的潜在语义索引 被引量：1

17

作者 王瑛 《陕西科技大学学报（自然科学版）》 2010年第5期151-154,158,共5页

传统向量空间模型信息检索技术,只是统计关键词在文档中出现的频度,检索结果不能反映出文档的相关性.为了解决关键词检索时潜在语义的挖掘问题,提出了一种基于向量空间模型的潜在语义索引的改进算法.对比实验证明,该算法能够有效提高检... 传统向量空间模型信息检索技术,只是统计关键词在文档中出现的频度,检索结果不能反映出文档的相关性.为了解决关键词检索时潜在语义的挖掘问题,提出了一种基于向量空间模型的潜在语义索引的改进算法.对比实验证明,该算法能够有效提高检索查准率. 展开更多

关键词 向量空间模型 潜在语义索引 信息检索

在线阅读 下载PDF 职称材料

潜在语义索引在FAQ构建中的应用研究 被引量：3

18

作者 李霞 张太红 李莉 《石河子大学学报（自然科学版）》 CAS 2005年第6期778-781,共4页

研究了潜在语义索引在中文自动问答系统FAQ库构建中的应用,并着重阐述了句子相似度的计算方法以及使用LSI对FAQ库去重的实验选取方法,结果显示LSI方法在一定程度上优于TF×IDF方法。

关键词 自动问答 FAQ 潜在语义索引 句子相似度

在线阅读 下载PDF 职称材料

垃圾邮件过滤中潜在语义索引的应用

19

作者 王鹏鸣 《郑州大学学报（理学版）》 CAS 北大核心 2010年第2期78-82,共5页

将潜在语义索引(LSI)应用于垃圾邮件过滤领域,并将其与向量空间模型(VSM)和经典的邮件过滤器Spa-mAssassin系统进行比较.另外,对基于词提取技术的邮件文本特征集合和SpamAssassin系统提取的邮件"元特征"集合进行了对比.实验... 将潜在语义索引(LSI)应用于垃圾邮件过滤领域,并将其与向量空间模型(VSM)和经典的邮件过滤器Spa-mAssassin系统进行比较.另外,对基于词提取技术的邮件文本特征集合和SpamAssassin系统提取的邮件"元特征"集合进行了对比.实验结果表明,LSI与VSM均取得了较SpamAssassin系统更优的分类效果. 展开更多

关键词 垃圾邮件过滤 潜在语义索引 向量空间模型

在线阅读 下载PDF 职称材料

一种基于潜在语义结构的文本分类模型 被引量：27

20

作者 曾雪强 王明文 陈素芬 《华南理工大学学报（自然科学版）》 EI CAS CSCD 北大核心 2004年第z1期99-102,共4页

潜在语义索引(LSI)模型能在一定程度上解决一词多义和多词一义问题,并能过滤一部分文档噪音.然而在LSI模型中,一些对分类贡献大的特征,由于其对应的特征值小而被滤掉.针对这一问题,文中提出了一种扩展LSI模型的文本分类模型.该模型在尽... 潜在语义索引(LSI)模型能在一定程度上解决一词多义和多词一义问题,并能过滤一部分文档噪音.然而在LSI模型中,一些对分类贡献大的特征,由于其对应的特征值小而被滤掉.针对这一问题,文中提出了一种扩展LSI模型的文本分类模型.该模型在尽量保留文档信息的同时,增加考虑了文档的类别信息,从而能比LSI模型更好地表示原始文档空间中的潜在语义结构. 展开更多

关键词 文本分类 潜在语义索引 偏最小二乘法

在线阅读 下载PDF 职称材料