字典与统计相结合的中文分词方法 被引量：42

1

作者 翟凤文 赫枫龄 左万利 《小型微型计算机系统》 CSCD 北大核心 2006年第9期1766-1771,共6页

提出了一种字典与统计相结合的中文分词方法,该方法首先利用基于字典的分词方法进行第一步处理,然后利用统计的方法处理第一步所产生的歧义问题和未登录词问题.本算法在基于字典的处理过程中,通过改进字典的存储结构,提高了字典匹配的速... 提出了一种字典与统计相结合的中文分词方法,该方法首先利用基于字典的分词方法进行第一步处理,然后利用统计的方法处理第一步所产生的歧义问题和未登录词问题.本算法在基于字典的处理过程中,通过改进字典的存储结构,提高了字典匹配的速度;在基于统计的处理过程中,通过统计和规则相结合的方法提高了交集型歧义切分的准确率,并且一定条件下解决了语境中高频未登录词问题,实验结果表明,由本文算法实现的分词系统DS fenc i的分全率达99.52%,准确率达98.52%. 展开更多

关键词 中文分词 基于字典的分词 基于统计的分词 交集型分词歧义

在线阅读 下载PDF 职称材料

基于字典和统计的分词方法 被引量：13

2

作者 陈平 刘晓霞 李亚军 《计算机工程与应用》 CSCD 北大核心 2008年第10期144-146,共3页

提出了一种基于字典与统计相结合的中文分词方法,该方法利用改进的字典结构能够快速切分,在其基础上进一步利用统计的方法处理所产生未登录词,并且能解决大部分交集歧义问题。

关键词 基于字典的分词 基于统计的分词 交叉歧义 未登录词

在线阅读 下载PDF 职称材料

一种基于可信度的人名识别方法 被引量：20

3

作者 罗智勇 宋柔 《中文信息学报》 CSCD 北大核心 2005年第3期67-72,86,共7页

专名识别技术是影响中文自动分词精度的一个重要方面,也是自动分词技术的难点之一。本文以人名识别为例,分析了目前流行的基于语料库和统计语言模型的专名识别方法中在概率估值问题上存在的弊端;同时在规则和统计相结合的基础上,提出了... 专名识别技术是影响中文自动分词精度的一个重要方面,也是自动分词技术的难点之一。本文以人名识别为例,分析了目前流行的基于语料库和统计语言模型的专名识别方法中在概率估值问题上存在的弊端;同时在规则和统计相结合的基础上,提出了一种基于可信度的人名识别方法,并给出了一个渐进式模型训练方法,克服了人工标注语料库规模的限制。从我们对《人民日报》1998年1月、2 0 0 0年12月(共约379万字)语料的测试结果来看,基于可信度的人名识别方法比传统的概率估值方法识别效果有一定的提高。 展开更多

关键词 计算机应用 中文信息处理 自动分词 人名识别 统计方法 可信度

在线阅读 下载PDF 职称材料

基于BP神经网络的词义消歧模型 被引量：3

4

作者 谢芳 胡泉 《计算机工程与应用》 CSCD 北大核心 2006年第12期187-189,203,共4页

词义消歧在自然语言处理中一直是一个难点问题,同时,也是很多领域都需要解决的一个重要环节。文章首先介绍了目前一些常用词义消歧方法的特点和这些方法的研究进展,并在此基础上探讨了一种基于BP神经网络和统计方法相结合的有导词义消... 词义消歧在自然语言处理中一直是一个难点问题,同时,也是很多领域都需要解决的一个重要环节。文章首先介绍了目前一些常用词义消歧方法的特点和这些方法的研究进展,并在此基础上探讨了一种基于BP神经网络和统计方法相结合的有导词义消歧模型,最后详细讲解了BP神经网络原理,并对使用这种混合人工智能的消歧模型的可能性和优越性进行了讨论。 展开更多

关键词 词义消歧 基于统计 BP神经网络 语料库

在线阅读 下载PDF 职称材料

规则与统计结合分析汉语 被引量：4

5

作者 刘颖 《计算机工程与应用》 CSCD 北大核心 2002年第7期3-6,共4页

在自然语言处理中,规则方法和统计方法各有优缺点。采用规则方法进行汉语切分、标注,并采用规则方法与切分标注评分结合进行消歧。对切分标注正确的句子进行句法分析,并采用规则方法与句法语义评分结合进行消歧。根据对多个结果的评分,... 在自然语言处理中,规则方法和统计方法各有优缺点。采用规则方法进行汉语切分、标注,并采用规则方法与切分标注评分结合进行消歧。对切分标注正确的句子进行句法分析,并采用规则方法与句法语义评分结合进行消歧。根据对多个结果的评分,选择出评分较大的结果,尽可能早地删除掉不正确的结果,从而加快汉语分析的速度,减少分析的空间消耗,提高分析的正确率。 展开更多

关键词 切分 标注 句法分析 规则方法 统计方法 自然语言处理 计算机

在线阅读 下载PDF 职称材料

利用BP神经网络的中文词义消歧模型 被引量：1

6

作者 何婷婷 谢芳 《华中师范大学学报（自然科学版）》 CAS CSCD 2005年第4期470-474,共5页

词义消歧在自然语言处理中一直是一个难点问题,同时,也是很多领域都需要解决的一个重要环节.本文介绍了一种基于BP神经网络和统计方法相结合的有导词义消歧模型,详细讲解了BP神经网络原理;对使用这种混合人工智能的消歧模型的可能性和... 词义消歧在自然语言处理中一直是一个难点问题,同时,也是很多领域都需要解决的一个重要环节.本文介绍了一种基于BP神经网络和统计方法相结合的有导词义消歧模型,详细讲解了BP神经网络原理;对使用这种混合人工智能的消歧模型的可能性和优越性进行了讨论;通过试验发现实际和预测结果的误差并不随着试验迭代次数而递减,而是实际误差随着次数的增加在零的附近呈现波动状态,即使用很少的迭代次数也可以得到比较好的结果.由此得出,BP神经网络预测模型在词义消歧的中具有良好的应用前景. 展开更多

关键词 词义消歧 基于统计 BP神经网络 语料库

在线阅读 下载PDF 职称材料

一种基于语料库的词义消歧策略 被引量：4

7

作者 郭池 陈家骏 王启祥 《计算机工程与应用》 CSCD 北大核心 2003年第35期33-36,65,共5页

词义消歧一直是一个难点,同时,也是很多领域都需解决的一个环节。该文首先介绍了目前基于语料库进行词义消歧方法的研究进展和各自的特点,在此基础上探讨了一种基于实例和基于统计的方法(即基于语料库的两种主流方法)相结合的混合策略,... 词义消歧一直是一个难点,同时,也是很多领域都需解决的一个环节。该文首先介绍了目前基于语料库进行词义消歧方法的研究进展和各自的特点,在此基础上探讨了一种基于实例和基于统计的方法(即基于语料库的两种主流方法)相结合的混合策略,并对其可能性和优越性进行了讨论。 展开更多

关键词 词义消歧 机器翻译 语料库 基于实例 基于统计 混合策略

在线阅读 下载PDF 职称材料

基于Hash结构词典的双向最大匹配分词法 被引量：18

8

作者 陈之彦 李晓杰 +2 位作者 朱淑华 付丹龙 邢诒海 《计算机科学》 CSCD 北大核心 2015年第B11期49-54,共6页

针对当前自然语言处理中中文分词基于词典的机械分词方法,正序词典不能作为逆向最大匹配分词词典以及反序词典维护困难的问题,提出一种新的词典构造方法并设计了相应的双向最大匹配算法,同时在算法中加入了互信息歧义处理模块来处理分... 针对当前自然语言处理中中文分词基于词典的机械分词方法,正序词典不能作为逆向最大匹配分词词典以及反序词典维护困难的问题,提出一种新的词典构造方法并设计了相应的双向最大匹配算法,同时在算法中加入了互信息歧义处理模块来处理分词中出现的交集型歧义。该算法可以在分词的过程中显著提高分词的精确度,适用于对词语切分精度要求较高的中文语言处理系统。 展开更多

关键词 分词词典 双向最大匹配法 基于Hash的单字索引 互信息歧义处理

在线阅读 下载PDF 职称材料

中文分词在邮件过滤系统中的应用 被引量：3

9

作者 林珊 宁国宁 赵之霖 《华南理工大学学报（自然科学版）》 EI CAS CSCD 北大核心 2004年第z1期112-116,共5页

针对邮件文本分词效果较差的特点,提出采用一种改进的最大匹配法来进行中文分词的方法.该方法对于普通的邮件文本和一些具有特定格式的邮件文本都可以进行有效的分词;文中还利用Φ2统计法生成新词,对词典起到了动态更新的作用,提高了分... 针对邮件文本分词效果较差的特点,提出采用一种改进的最大匹配法来进行中文分词的方法.该方法对于普通的邮件文本和一些具有特定格式的邮件文本都可以进行有效的分词;文中还利用Φ2统计法生成新词,对词典起到了动态更新的作用,提高了分词的精度和准确度.两种方法在邮件过滤系统中结合应用,使分词的误分率低于0.025. 展开更多

关键词 分词 φ2统计法 最大匹配法 垃圾邮件

在线阅读 下载PDF 职称材料

中文分词模型的领域适应性方法 被引量：59

10

作者 韩冬煦 常宝宝 《计算机学报》 EI CSCD 北大核心 2015年第2期272-281,共10页

字标注分词方法是当前中文分词领域中一种较为有效的分词方法.但因为受制于训练语料的领域和规模,该方法在领域适应性方面效果不佳,影响了该方法在应用系统中的实际应用.在文中,作者提出使用卡方统计量以及边界熵提升未登录词的处理能力... 字标注分词方法是当前中文分词领域中一种较为有效的分词方法.但因为受制于训练语料的领域和规模,该方法在领域适应性方面效果不佳,影响了该方法在应用系统中的实际应用.在文中,作者提出使用卡方统计量以及边界熵提升未登录词的处理能力,并结合自学习和协同学习策略进一步改善字标注分词方法在领域适应性方面的性能.实验结果证实,文中提出的这些方法有效改善了分词方法的领域适应性. 展开更多

关键词 卡方统计量 边界熵 领域适应性 自举算法 中文分词 社会计算 社交网络

在线阅读 下载PDF 职称材料

可扩展统计分词系统的构造

11

作者 金华兴 戴新宇 陈家骏 《计算机工程与应用》 CSCD 北大核心 2005年第23期176-178,共3页

论文从实用的角度出发,在自行开发的一套分词系统的基础上,简要说明了一个分词系统的各个组成部分以及各部分的处理方法,并提出了一个可扩展分词系统的框架。这个框架具有很好的适应性和灵活性,能够适用于各种不同的统计方法或者规则统... 论文从实用的角度出发,在自行开发的一套分词系统的基础上,简要说明了一个分词系统的各个组成部分以及各部分的处理方法,并提出了一个可扩展分词系统的框架。这个框架具有很好的适应性和灵活性,能够适用于各种不同的统计方法或者规则统计相结合的方法。该框架也可包容各种未登录词识别的方法。可以作为进一步研究和开发分词系统的一个基础平台,也可以为构造一个分词系统作指导。 展开更多

关键词 分词 统计方法 可扩展 框架

在线阅读 下载PDF 职称材料