期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于互信息改进算法的新词发现对中文分词系统改进
被引量：
46
1
作者
杜丽萍
李晓戈
+2 位作者
于根
刘春丽
刘睿
《北京大学学报（自然科学版）》
EI
CAS
CSCD
北大核心
2016年第1期35-40,共6页
提出一种非监督的新词识别方法。该方法利用互信息（PMI）的改进算法——PMIk算法与少量基本规则相结合,从大规模语料中自动识别2~n元网络新词（n为发现的新词最大长度,可以根据需要指定）。基于257MB的百度贴吧语料实验,当PMIk方法的...
提出一种非监督的新词识别方法。该方法利用互信息（PMI）的改进算法——PMIk算法与少量基本规则相结合,从大规模语料中自动识别2~n元网络新词（n为发现的新词最大长度,可以根据需要指定）。基于257MB的百度贴吧语料实验,当PMIk方法的参数为10时,结果精度达到97.39%,比PMI方法提高28.79%,实验结果表明,该新词发现方法能够有效地从大规模网络语料中发现新词。将新词发现结果编纂成用户词典,加载到汉语词法分析系统ICTCLAS中,基于10 KB的百度贴吧语料实验,比加载用户词典前的分词结果准确率、召回率和F值分别提高7.93%,3.73%和5.91%。实验表明,通过进行新词发现能有效改善分词系统对网络文本的处理效果。
展开更多
关键词
新词识别
未登录词
互信息
pmi改进算法
中文分词
在线阅读
下载PDF
职称材料
题名
基于互信息改进算法的新词发现对中文分词系统改进
被引量：
46
1
作者
杜丽萍
李晓戈
于根
刘春丽
刘睿
机构
西安邮电大学
出处
《北京大学学报（自然科学版）》
EI
CAS
CSCD
北大核心
2016年第1期35-40,共6页
基金
国家自然科学基金(61373116)
陕西省普通高等学校重点学科专项资金(112-1602)
西安邮电大学研究生创新基金(ZL2013-31)资助
文摘
提出一种非监督的新词识别方法。该方法利用互信息（PMI）的改进算法——PMIk算法与少量基本规则相结合,从大规模语料中自动识别2~n元网络新词（n为发现的新词最大长度,可以根据需要指定）。基于257MB的百度贴吧语料实验,当PMIk方法的参数为10时,结果精度达到97.39%,比PMI方法提高28.79%,实验结果表明,该新词发现方法能够有效地从大规模网络语料中发现新词。将新词发现结果编纂成用户词典,加载到汉语词法分析系统ICTCLAS中,基于10 KB的百度贴吧语料实验,比加载用户词典前的分词结果准确率、召回率和F值分别提高7.93%,3.73%和5.91%。实验表明,通过进行新词发现能有效改善分词系统对网络文本的处理效果。
关键词
新词识别
未登录词
互信息
pmi改进算法
中文分词
Keywords
new word recognition
unknown word
pmi
improved
pmi
algorithm
Chinese word segmentation
分类号
TP391.1 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于互信息改进算法的新词发现对中文分词系统改进
杜丽萍
李晓戈
于根
刘春丽
刘睿
《北京大学学报（自然科学版）》
EI
CAS
CSCD
北大核心
2016
46
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
