基于Corpus库的词语相似度计算方法 被引量：17

1

作者 章志凌 虞立群 +2 位作者 陈奕秋 罗海飞 邵晓敏 《计算机应用》 CSCD 北大核心 2006年第3期638-640,644,共4页

构建了一个语义关联库,称为Corpus库,该库使用词语空间和关系空间结构化地存储了词语和其上下文之间的统计信息,并通过阅读大量的预料数据来训练其相关数据。详细介绍了Corpus库的训练方法,并对训练过程中出现的大量关系提出了裁剪方案... 构建了一个语义关联库,称为Corpus库,该库使用词语空间和关系空间结构化地存储了词语和其上下文之间的统计信息,并通过阅读大量的预料数据来训练其相关数据。详细介绍了Corpus库的训练方法,并对训练过程中出现的大量关系提出了裁剪方案。在此基础上,通过构建词语的上下文关系向量提出了一种词语相似度算法。实验证明这是一种有效的对词语相似度进行计算的方法。 展开更多

关键词 CORPUS 词语相似度 信息检索

在线阅读 下载PDF 职称材料

一种改进的基于《知网》的词语相似度计算方法 被引量：26

2

作者 林丽 薛方 任仲晟 《计算机应用》 CSCD 北大核心 2009年第1期217-220,共4页

《知网》是一部比较详尽的中文语义知识词典,共用1618个义原描述词语,故相关的词语用《知网》的概念描述时,有相同的义原。通过这一规律,与当前的词语相似度计算方法结合,提出改进的方法计算相关词对的相似度。并引入弱义原的概念,排除... 《知网》是一部比较详尽的中文语义知识词典,共用1618个义原描述词语,故相关的词语用《知网》的概念描述时,有相同的义原。通过这一规律,与当前的词语相似度计算方法结合,提出改进的方法计算相关词对的相似度。并引入弱义原的概念,排除弱义原对词语相似度计算的干扰。实验证明:该改进方法更符合人的直观,更适用于文本挖掘。 展开更多

关键词 《知网》 词语相似度 相关词对 弱义原

在线阅读 下载PDF 职称材料

一种基于语境的词语相似度计算方法 被引量：12

3

作者 蔡东风 白宇 +2 位作者 于水 叶娜 任晓娜 《中文信息学报》 CSCD 北大核心 2010年第3期24-28,共5页

词语相似度计算是机器翻译、信息检索等自然语言处理领域的关键问题之一。传统的词语相似度计算方法,未能很好地考虑上下文信息对词语语义的约束,从而不能对语境变换带来的词语间相似度的差异进行有效的区分。该文引入模糊数学中隶属函... 词语相似度计算是机器翻译、信息检索等自然语言处理领域的关键问题之一。传统的词语相似度计算方法,未能很好地考虑上下文信息对词语语义的约束,从而不能对语境变换带来的词语间相似度的差异进行有效的区分。该文引入模糊数学中隶属函数的概念计算词语上下文信息的模糊重要度,并结合基于《知网》的语义相似度计算方法,提出一种基于语境的词语相似度计算方法。实验表明,该算法可以根据语境有效地区分语义相近的词语。 展开更多

关键词 计算机应用 中文信息处理 语境 模糊重要度 词语相似度 隶属函数

在线阅读 下载PDF 职称材料

基于语义树的中文词语相似度计算与分析 被引量：36

4

作者 张亮 尹存燕 陈家骏 《中文信息学报》 CSCD 北大核心 2010年第6期23-30,共8页

词语相似度的分析与计算是自然语言处理关键技术之一,对句法分析、机器翻译、信息检索等能提供很好的帮助。基于语义资源Hownet的中文词语相似度计算是近年来的研究热点,但大多数的研究都是对中国科学院计算技术研究所刘群提出的计算方... 词语相似度的分析与计算是自然语言处理关键技术之一,对句法分析、机器翻译、信息检索等能提供很好的帮助。基于语义资源Hownet的中文词语相似度计算是近年来的研究热点,但大多数的研究都是对中国科学院计算技术研究所刘群提出的计算方法的改进和完善。该文充分分析和利用新版Hownet(2007)的概念架构和语义多维表达形式,从概念的主类义原、主类义原框架以及概念特性描述三个方面综合分析词语相似度,并在计算中区分语义特征相似度和句法特征相似度。实验结果理想,与人的直观判断基本一致。 展开更多

关键词 语义树 词语相似度 《知网》2007 语义距离

在线阅读 下载PDF 职称材料

基于百度百科的词语相似度计算 被引量：22

5

作者 詹志建 梁丽娜 杨小平 《计算机科学》 CSCD 北大核心 2013年第6期199-202,共4页

词语相似度计算是自然语言处理的关键技术之一,是一个被广泛研究的基础课题。传统的词语相似度量方法大多是基于语义知识和基于语料库统计的方法,即这两类方法需要具有层次关系组织的语义词典和大规模的语料库。提出了一种新的基于百度... 词语相似度计算是自然语言处理的关键技术之一,是一个被广泛研究的基础课题。传统的词语相似度量方法大多是基于语义知识和基于语料库统计的方法,即这两类方法需要具有层次关系组织的语义词典和大规模的语料库。提出了一种新的基于百度百科的词语相似度量方法,通过分析百度百科词条信息,从表征词条的解释内容方面综合分析词条相似度,并定义了词条间的相似度计算公式,通过计算部分之间的相似度得到整体的相似度。实验结果表明,与已有的相似度计算方法对比,提出的算法更加有效合理。 展开更多

关键词 词语相似度 语言网络 百度百科 向量空间模型

在线阅读 下载PDF 职称材料

基于边权重的WordNet词语相似度计算 被引量：10

6

作者 郭小华 彭琦 +1 位作者 邓涵 朱新华 《计算机工程与应用》 CSCD 北大核心 2018年第1期172-178,共7页

针对目前词语相似度算法中普遍存在的信息源单一化,计算结果非线性偏高,以及计算性能和效率的不一致的缺陷,提出了一种基于边权重的WordNet词语相似度的计算方法。该方法在路径与深度的基础上,通过边权重改善WordNet结构中的层次不均匀... 针对目前词语相似度算法中普遍存在的信息源单一化,计算结果非线性偏高,以及计算性能和效率的不一致的缺陷,提出了一种基于边权重的WordNet词语相似度的计算方法。该方法在路径与深度的基础上,通过边权重改善WordNet结构中的层次不均匀性,引入编码概念唯一标识两个概念间的相似度,并利用余弦函数修正计算结果的非线性偏差。实验结果表明,对于MC30和RG65测试集,使用该方法计算的词语相似度值与人工判定值计算得到的Pearson相关系数均达到0.87;此外,该方法在计算性能和效率上均保持较高水平。 展开更多

关键词 词语相似度 边权重 WORDNET 编码

在线阅读 下载PDF 职称材料

改进的基于知网的词语相似度算法 被引量：39

7

作者 王小林 王义 《计算机应用》 CSCD 北大核心 2011年第11期3075-3077,3090,共4页

词语相似度计算在文本分类、问答系统、机器翻译、文本聚类等有着广泛的应用。词语相似度计算的研究工作一般都是基于《知网》的义原的层面上,根据义原之间的距离和义原本身的层次深度,进行词语相似度的计算。基于以上研究,提出了一种... 词语相似度计算在文本分类、问答系统、机器翻译、文本聚类等有着广泛的应用。词语相似度计算的研究工作一般都是基于《知网》的义原的层面上,根据义原之间的距离和义原本身的层次深度,进行词语相似度的计算。基于以上研究,提出了一种新的改进的词语相似度算法,首先根据义项中各类义原的个数不同,提出了一种新的变系数义项相似度计算方法;其次从词性的角度,认为词语义项中的不同词性对词语相似度的贡献度不同,剔除不同词性义项之间的组合。实验结果证明,改进的算法结果在原有基础上得到较好的提升,大幅度降低了相似度计算的复杂度,提高了运算效率。 展开更多

关键词 词语相似度 知网 义原 义项 词性

在线阅读 下载PDF 职称材料

基于《知网》2008的词语相似度计算 被引量：7

8

作者 刘杰 郭宇 +1 位作者 汤世平 樊孝忠 《小型微型计算机系统》 CSCD 北大核心 2015年第8期1728-1733,共6页

《知网》是一部比较详尽的语义知识词典,含有丰富的语义信息和世界知识,研究其特定的语言描述方法是科学合理利用《知网》的关键.《知网》的知识系统描述语言方式也在不断改进和改善,已经从过去的线性方式发展为现在的立体、可嵌套的方... 《知网》是一部比较详尽的语义知识词典,含有丰富的语义信息和世界知识,研究其特定的语言描述方法是科学合理利用《知网》的关键.《知网》的知识系统描述语言方式也在不断改进和改善,已经从过去的线性方式发展为现在的立体、可嵌套的方式.因此,本文对《知网》2008版本所使用的描述方式进行介绍,并基于此描述方式实现了两种词语相似度计算方法.其中,方法一的设计思想源于《知网》2000版本的计算方法;方法二是对现有《知网》2008版本的计算方法进行了适当改进.实验结果表明,与现有《知网》2008版本的词语相似度计算方法进行比较,运用本文所实现两种方法,一些词语的相似度计算结果更为合理,从而更加符合人们的主观判断. 展开更多

关键词 义原 词语相似度 语义 《知网》

在线阅读 下载PDF 职称材料

一种基于《知网》知识描述语言结构的词语相似度计算方法 被引量：12

9

作者 张敏 王振辉 王艳丽 《计算机应用与软件》 CSCD 北大核心 2013年第7期265-267,297,共4页

在中文信息处理中,词语相似度计算是一项基础而又核心的研究课题。基于《知网》的描述语言结构,改进了现有词语相似度计算方法。该方法考虑了词语的词性在相似度计算中的作用,同时对词语的第一义原作比对,减少了抽象义原的决定作用,改... 在中文信息处理中,词语相似度计算是一项基础而又核心的研究课题。基于《知网》的描述语言结构,改进了现有词语相似度计算方法。该方法考虑了词语的词性在相似度计算中的作用,同时对词语的第一义原作比对,减少了抽象义原的决定作用,改进了其他义原描述式的相似度计算方法,减少了搜索时间。实验证明,该方法提高了计算效率和计算结果的准确率,使词语相似度计算结果比较合理。 展开更多

关键词 《知网》 词语相似度 抽象义原

在线阅读 下载PDF 职称材料

基于《知网》的词语相似度算法研究 被引量：34

10

作者 刘青磊 顾小丰 《中文信息学报》 CSCD 北大核心 2010年第6期31-36,共6页

基于《知网》的词语(句子)相似度计算通常是把义原(词语)之间的最优匹配做为运算的基本单位的,最终的整体相似度数值可由每一部分的相似度值通过适当的加权计算合成而来,这样的做法往往会造成一些匹配对的信息重复和结构不合理。针对这... 基于《知网》的词语(句子)相似度计算通常是把义原(词语)之间的最优匹配做为运算的基本单位的,最终的整体相似度数值可由每一部分的相似度值通过适当的加权计算合成而来,这样的做法往往会造成一些匹配对的信息重复和结构不合理。针对这个问题,该文通过统计出两个直接义原集合间的共有信息(共性)和差异信息(个性)来计算集合的相似度,并把此方法引入到词语(句子)的相似度计算中去。最终的实验比对结果表明该文所采用的方法更为稳定和有效。 展开更多

关键词 《知网》 词语相似度 句子相似度 共有信息 差异信息

在线阅读 下载PDF 职称材料

基于语义网计算英语词语相似度 被引量：41

11

作者 荀恩东 颜伟 《情报学报》 CSSCI 北大核心 2006年第1期43-48,共6页

本文介绍一种基于WordNet的计算英语词语相似度的实现方法：从WordNet中提取同义词并采取向量空间方法计算英语词语的相似度。向量包括三方面：（1）WordNet的同义词词集（Synset），（2）类属信息（Class），（3）意义解释（sense expl... 本文介绍一种基于WordNet的计算英语词语相似度的实现方法：从WordNet中提取同义词并采取向量空间方法计算英语词语的相似度。向量包括三方面：（1）WordNet的同义词词集（Synset），（2）类属信息（Class），（3）意义解释（sense explanation）。实验结果表明，这是计算英语词语相似度的一种可行的方法。 展开更多

关键词 WORDNET 词语相似度

在线阅读 下载PDF 职称材料

基于中文WordNet的中英文词语相似度计算 被引量：21

12

作者 吴思颖 吴扬扬 《郑州大学学报（理学版）》 CAS 北大核心 2010年第2期66-69,共4页

介绍一种基于中文WordNet的中英文词语相似度计算方法.在WordNet同义词集的上下位关系图中,引入了距离、密度、深度3个因素来估计同义词集之间的相似度,采用一个自适应的方案来解决候选同义词集组合的权重和取舍问题.实现了一个可以计算... 介绍一种基于中文WordNet的中英文词语相似度计算方法.在WordNet同义词集的上下位关系图中,引入了距离、密度、深度3个因素来估计同义词集之间的相似度,采用一个自适应的方案来解决候选同义词集组合的权重和取舍问题.实现了一个可以计算英-英、汉-英、汉-汉词语之间相似度的算法,所得结果比较符合人们对词语的理解. 展开更多

关键词 中文WordNet 词语相似度 语义相似度

在线阅读 下载PDF 职称材料

基于抽象概念的知网词语相似度计算 被引量：5

13

作者 朱新华 郭小华 +1 位作者 邓涵 马润聪 《计算机工程与设计》 北大核心 2017年第3期664-670,713,共8页

针对基于知网的词语相似度算法进行研究,提出一种基于抽象概念的词语相似度的快速计算方法。将《知网》义项语义表达式中带有关系约束的第一独立义原定义成抽象概念,将义项语义表达式转换成一个多层次的抽象概念组;根据义项定义中的抽... 针对基于知网的词语相似度算法进行研究,提出一种基于抽象概念的词语相似度的快速计算方法。将《知网》义项语义表达式中带有关系约束的第一独立义原定义成抽象概念,将义项语义表达式转换成一个多层次的抽象概念组;根据义项定义中的抽象概念将义项挂到《知网》现有的义原树中,形成一棵包含义原、抽象概念与义项等概念的义项树;利用义项树中的深度与路径,在现有优秀算法基础上,通过适当的义项定义的预处理与参数调节,直接计算义项间的语义相似度,避免复杂的意义相似性计算。实验结果表明,该方法对于MC30词对的相似度计算值与人工判定值相比,取得了0.84的Pearson相关系数,达到了目前优秀词语相似度算法的水平。 展开更多

关键词 词语相似度 知网 义项树 抽象概念 最短路径 深度

在线阅读 下载PDF 职称材料

基于概念基元的词语相似度计算研究 被引量：4

14

作者 池哲洁 张全 《电子与信息学报》 EI CSCD 北大核心 2017年第1期150-158,共9页

词语相似度的计算在机器翻译、信息检索等多个领域有重要作用。该文以概念层次网络理论的概念基元符号系统为语义资源,在共性与差异性对比思想下,提出一个涵盖层次性、网络性、对比对偶特性、挂靠特性及五元组信息的多维度词语相似度计... 词语相似度的计算在机器翻译、信息检索等多个领域有重要作用。该文以概念层次网络理论的概念基元符号系统为语义资源,在共性与差异性对比思想下,提出一个涵盖层次性、网络性、对比对偶特性、挂靠特性及五元组信息的多维度词语相似度计算方法;在节点深度和节点距离度量上,引入权重以增加不同层次间的区分程度。在人工打分的测试集上进行实验,结果表明该方法计算的相似度与人工判断的符合程度较好,兼容度、相关系数和序对符合度分别达到0.812,0.786和0.775;同时,相关性检验的结果也显示该方法的计算值与人工打分显著相关。 展开更多

关键词 词语相似度 语义距离 概念层次网络 概念基元

在线阅读 下载PDF 职称材料

词语相似度算法研究综述 被引量：17

15

作者 李慧 《现代情报》 CSSCI 北大核心 2015年第4期172-177,共6页

词语相似度计算方法在信息检索、词义消歧、机器翻译等自然语言处理领域有着广泛的应用。现有的词语相似度算法主要分为基于统计和基于语义资源两类方法,前者是从大规模的语料中统计与词语共现的上下文信息以计算其相似度,而后者利用人... 词语相似度计算方法在信息检索、词义消歧、机器翻译等自然语言处理领域有着广泛的应用。现有的词语相似度算法主要分为基于统计和基于语义资源两类方法,前者是从大规模的语料中统计与词语共现的上下文信息以计算其相似度,而后者利用人工构建的语义词典或语义网络计算相似度。本文比较分析了两类词语相似度算法,重点介绍了基于Web语料库和基于维基百科的算法,并总结了各自的特点和不足之处。最后提出,在信息技术的影响下,基于维基百科和基于混合技术的词语相似度算法以及关联数据驱动的相似性计算具有潜在的发展趋势。 展开更多

关键词 词语相似度 语义资源 语料库 维基百科 WORDNET

在线阅读 下载PDF 职称材料

基于领域本体的词语相似度计算 被引量：1

16

作者 杨喜权 国頔娜 +2 位作者 胡加.托和塔森 曹雪亚 周建园 《计算机应用》 CSCD 北大核心 2009年第B06期164-166,共3页

基于领域本体综合考虑属性、语义距离、层次深度和调节因子等多种因素对词语相似度的影响,提出计算词语相似度的方法。实验证明,该方法充分利用了领域本体中概念的层次关系和属性特点,并把它们结合起来,利用词语之间的相似度对文本的向... 基于领域本体综合考虑属性、语义距离、层次深度和调节因子等多种因素对词语相似度的影响,提出计算词语相似度的方法。实验证明,该方法充分利用了领域本体中概念的层次关系和属性特点,并把它们结合起来,利用词语之间的相似度对文本的向量空间模型进行扩展,达到了较好的文本分类效果。 展开更多

关键词 文本分类 领域本体 词语相似度

在线阅读 下载PDF 职称材料

基于词语相似度的语义选择限制知识获取

17

作者 贾玉祥 赵倩倩 +2 位作者 李育光 郑一 昝红英 《郑州大学学报（理学版）》 CAS 北大核心 2019年第3期67-72,共6页

考察基于词语相似度的语义选择限制知识获取方法.首先获取种子论元,再利用词语相似度进行论元扩展.比较了基于词向量的词语相似度计算方法与基于词典的词语相似度计算方法在选择限制知识获取任务中的表现.实验表明,前者效果更好,且二者... 考察基于词语相似度的语义选择限制知识获取方法.首先获取种子论元,再利用词语相似度进行论元扩展.比较了基于词向量的词语相似度计算方法与基于词典的词语相似度计算方法在选择限制知识获取任务中的表现.实验表明,前者效果更好,且二者有一定互补性,可以结合使用.与语义选择限制知识获取的其他方法相比,基于词语相似度的方法,种子选取灵活,不要求对语料进行深层句法语义分析,在伪消歧实验中也取得了较高的正确率,具有一定的优势. 展开更多

关键词 语义选择限制 词语相似度 词向量 伪消歧 词汇语义

在线阅读 下载PDF 职称材料

基于信息内容的词林词语相似度计算 被引量：22

18

作者 彭琦 朱新华 +2 位作者 陈意山 孙柳 李飞 《计算机应用研究》 CSCD 北大核心 2018年第2期400-404,共5页

针对哈尔滨工业大学《同义词词林》扩展版的层次结构不能有效反映词语之间信息内容含量差异性的问题进行了研究,进行了《同义词词林》作为词语相似度计算本体的结构改造,增加了原编码信息节点的语义,提出了一种较为适合改造后本体的相... 针对哈尔滨工业大学《同义词词林》扩展版的层次结构不能有效反映词语之间信息内容含量差异性的问题进行了研究,进行了《同义词词林》作为词语相似度计算本体的结构改造,增加了原编码信息节点的语义,提出了一种较为适合改造后本体的相似度计算策略。经实验证明,修改后的本体更能体现词语在本体中信息内容含量的差异性,提出的相似度计算策略应用在改进后的本体上时,得出的相似度计算结果准确程度达到了较高水平,具有较好的实用价值。 展开更多

关键词 词林 词语相似度 信息内容

在线阅读 下载PDF 职称材料

基于Word2Vec的WordNet词语相似度计算研究 被引量：10

19

作者 陈丹华 王艳娜 +3 位作者 周子力 赵晓函 李天宇 王凯莉 《计算机工程与应用》 CSCD 北大核心 2022年第3期222-229,共8页

当前大部分WordNet词语相似度计算方法由于未充分考虑词语的语义信息和位置关系,导致相似度的准确率降低。为解决上述问题,提出了一种使用词向量模型Word2Vec计算WordNet词语相似度的新方法。在构建WordNet数据集时提出一种新形式,不再... 当前大部分WordNet词语相似度计算方法由于未充分考虑词语的语义信息和位置关系,导致相似度的准确率降低。为解决上述问题,提出了一种使用词向量模型Word2Vec计算WordNet词语相似度的新方法。在构建WordNet数据集时提出一种新形式,不再使用传统的文本语料库,同时提出信息位置排列方法对数据集加以处理。利用Word2Vec模型训练WordNet数据集后得到向量表示。在公开的R&G-65、M&C-30和MED38词语相似度测评集上完成了词语相似度计算任务,从多个角度进行了Pearson相关系数对比实验。结果显示该文计算的相似度值与人工判定值计算取得的Pearson相关系数指标得到了显著提升。 展开更多

关键词 词语相似度 WORDNET Word2Vec 同义词集标号

在线阅读 下载PDF 职称材料

基于2008版《知网》的词语相似度计算方法 被引量：6

20

作者 魏韡 向阳 《计算机工程》 CAS CSCD 北大核心 2015年第9期215-219,共5页

词语相似度的计算是自然语言处理领域的重要问题,在机器翻译、信息检索、文本分类等领域有广泛的应用。分析和利用新版语义词典2008版《知网》,从概念的主类义原和概念的特征描述2个方面综合计算词语相似度。运用义原树的树形层次结构,... 词语相似度的计算是自然语言处理领域的重要问题,在机器翻译、信息检索、文本分类等领域有广泛的应用。分析和利用新版语义词典2008版《知网》,从概念的主类义原和概念的特征描述2个方面综合计算词语相似度。运用义原树的树形层次结构,得到义原的深度信息量,再考虑义原的路径计算得到义原相似度。通过层次特征类型匹配计算概念特征描述的相似度。综合主类义原相似度、概念特征描述相似度以及义原之间的对义、反义关系计算得到词语相似度。实验结果表明,该方法得到的词语相似度计算结果与人的主观认识趋于一致。 展开更多

关键词 词语相似度 2008版《知网》 义原 深度信息量 路径 特征描述

在线阅读 下载PDF 职称材料