期刊文献+
共找到1篇文章
< 1 >
每页显示 20 50 100
基于两字词簇的汉语快速自动分词算法 被引量:18
1
作者 郭祥昊 钟义信 杨丽 《情报学报》 CSSCI 北大核心 1998年第5期352-357,共6页
本文提出了一种快速汉语自动分词算法。其主要思想是利用汉语中两字词占75%的统计规律,提出了两字词根和两字词簇的概念。算法把三音节以上的词用两字词簇来压缩处理,也就是把长词的扫描范围限定在词汇量很小的词簇内,从而不仅提... 本文提出了一种快速汉语自动分词算法。其主要思想是利用汉语中两字词占75%的统计规律,提出了两字词根和两字词簇的概念。算法把三音节以上的词用两字词簇来压缩处理,也就是把长词的扫描范围限定在词汇量很小的词簇内,从而不仅提高了分词速度,而且彻底解决了传统最大匹配分词算法中最大匹配词长的设定问题。另外,本文还提出了用两字词簇快速检测交叉歧义的算法。本文的分词算法简洁、速度快。 展开更多
关键词 自然语言处理 汉语 分词算法 自分分词 两字词族
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部