-
题名基于词共现有向图的中文合成词提取算法
被引量：4
- 1
-
-
作者
刘兴林
郑启伦
马千里
-
机构
华南理工大学计算机科学与工程学院
五邑大学计算机学院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2011年第23期177-180,共4页
-
基金
广东省自然科学基金资助项目(9451064101003233
S2011010003681)
+3 种基金
广东省科技计划基金资助项目(2010B010600039)
华南理工大学中央高校基本科研业务费基金资助项目(2009ZM0125
2009ZM0189
2009ZM0255)
-
文摘
分词系统由于未将合成词收录进词典,因此不能识别合成词。针对该问题,提出一种基于词共现有向图的中文合成词提取算法。采用词性探测方法从文本中获取词串,由所获词串生成词共现有向图,并借鉴Bellman-Ford算法思想,从词共现有向图中搜索多源点长度最长且权重值满足给定条件的路径,该路径所对应的词串即为合成词。实验结果显示,该算法的合成词提取正确率达到91.16%。
-
关键词
合成词提取
词性探测
词共现有向图
自然语言处理
Bellman-Ford算法
-
Keywords
compound word extraction
part-of-speech detection
word co-occurrence directed graph
Natural Language Processing（NLP）
Bellman-Ford algorithm
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名中文合成词识别及分词修正
被引量：4
- 2
-
-
作者
刘兴林
郑启伦
马千里
-
机构
华南理工大学计算机科学与工程学院
五邑大学计算机学院
-
出处
《计算机应用研究》
CSCD
北大核心
2011年第8期2905-2908,共4页
-
基金
广东省自然科学基金资助项目(9451064101003233)
广东省科技计划资助项目(2010B010600039)
+2 种基金
华南理工大学中央高校基本科研业务费专项资金资助项目(2009ZM0125
2009ZM0189
2009ZM0255)
-
文摘
提出一种中文合成词识别及分词修正方法。该方法先采用词性探测从文本中提取词串,进而由提取到的词串生成词共现有向图,借鉴Bellman-Ford算法思想,设计了运行在词共现有向图中识别合成词的算法,即搜索多源点长度最长、权重值满足给定条件的路径,则该路径所对应的词串为合成词。最后,采用核心属性渗透理论对合成词标注词性,同时修正分词结果。实验结果表明,合成词识别正确率达到了91.60%,且分词修正效果良好。
-
关键词
合成词
词共现有向图
词性标注
分词修正
自然语言处理
-
Keywords
compound-word
word co-occurrence directed graph
part-of-speech tagging
word segmentation modification
natural language processing
-
分类号
TP301
[自动化与计算机技术—计算机系统结构]
-
-
题名改进的增量词集频率主题词提取算法
被引量：2
- 3
-
-
作者
刘兴林
-
机构
五邑大学计算机学院
-
出处
《计算机应用》
CSCD
北大核心
2013年第9期2546-2549,共4页
-
基金
国家自然科学基金资助项目(11271040)
广东省自然科学基金资助项目(S2011010003681
+5 种基金
S2012010010610)
广东省科技计划项目(2010B010600039)
中国科学院计算技术研究所智能信息处理重点实验室开放课题基金资助项目(LIP2010-5)
江门市科技计划项目(20120030096094
20120030093981)
五邑大学博士启动基金资助项目(30813008)
-
文摘
为了解决基于增量词集频率的主题词提取算法不能提取合成词的问题,在原算法的基础上增加了文本预处理环节,即合成词识别。采用基于词性探测和词共现有向图算法识别文本中的合成词,并对分词结果进行修正。生成候选主题词集时,考察每个词的出现位置,根据不同的出现位置赋予不同的权重;然后累加获得同一个词的总权重,并按权重从高到低生成候选主题词集。提取主题词时逐个考察候选主题词集中的每一个候选主题词,计算其对主题词集权重的增量,若增量小于给定阈值,则主题词提取算法结束;否则将该候选主题词加入主题词集。实验结果表明,该算法取得了较好的效果,所获得的主题词能更贴切地反映文档的主题内容,主题词满意度比原算法提高了5个百分点。
-
关键词
主题词
词共现有向图
词位置权重
词集频率
知识获取
-
Keywords
thematic term
word acquisition directed graph
word position weigh
term-set frequency
knowledge
-
分类号
TP301.6
[自动化与计算机技术—计算机系统结构]
TP391.1
[自动化与计算机技术—计算机应用技术]
-
