期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
一种基于预训练模型的藏文分词方法
被引量：
1
1
作者
色差甲
桑杰端珠
+1 位作者
才让加
慈祯嘉措
《中文信息学报》
CSCD
北大核心
2023年第12期70-75,共6页
藏文分词是藏语信息处理的基础与关键。虽然藏文分词技术得到了长足的进步,但在实际应用过程中仍面临着语料领域受限及未登录词问题。该文针对以上问题提出一种基于预训练语言模型的藏文分词方法,先在含有46.55亿字符的纯文本语料上进...
藏文分词是藏语信息处理的基础与关键。虽然藏文分词技术得到了长足的进步,但在实际应用过程中仍面临着语料领域受限及未登录词问题。该文针对以上问题提出一种基于预训练语言模型的藏文分词方法,先在含有46.55亿字符的纯文本语料上进行预训练,然后利用人工标注的藏文分词语料进行进一步的微调。实验结果表明,该文所提出的藏文分词方法在MLIP2021语料上F_1值提高2.5个百分点,另外在新闻、语文、法律和自传等不同领域上分别提高4.6、6、4.2和2.3个百分点。
展开更多
关键词
藏文
分词
藏文文本语料
预训练模型
在线阅读
下载PDF
职称材料
题名
一种基于预训练模型的藏文分词方法
被引量：
1
1
作者
色差甲
桑杰端珠
才让加
慈祯嘉措
机构
省部共建藏语智能信息处理及应用国家重点实验室
青海省藏文信息处理工程研究中心
出处
《中文信息学报》
CSCD
北大核心
2023年第12期70-75,共6页
基金
青海省重点研发与转化计划项目(2022-GX-104)
藏文智能信息处理及应用国家重点实验室自主课题(2024-SKL-006)。
文摘
藏文分词是藏语信息处理的基础与关键。虽然藏文分词技术得到了长足的进步,但在实际应用过程中仍面临着语料领域受限及未登录词问题。该文针对以上问题提出一种基于预训练语言模型的藏文分词方法,先在含有46.55亿字符的纯文本语料上进行预训练,然后利用人工标注的藏文分词语料进行进一步的微调。实验结果表明,该文所提出的藏文分词方法在MLIP2021语料上F_1值提高2.5个百分点,另外在新闻、语文、法律和自传等不同领域上分别提高4.6、6、4.2和2.3个百分点。
关键词
藏文
分词
藏文文本语料
预训练模型
Keywords
Tibetan word segmentation
Tibetan text corpus
pre-training model
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
一种基于预训练模型的藏文分词方法
色差甲
桑杰端珠
才让加
慈祯嘉措
《中文信息学报》
CSCD
北大核心
2023
1
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
