期刊文献+
共找到9篇文章
< 1 >
每页显示 20 50 100
基于判别式分类和重排序技术的藏文分词 被引量:9
1
作者 孙萌 华却才让 +3 位作者 才智杰 姜文斌 吕雅娟 刘群 《中文信息学报》 CSCD 北大核心 2014年第2期61-65,90,共6页
本文提出一种基于判别式模型的藏文分词方法,重点研究最小构词粒度和分词结果重排序对藏文分词效果的影响。在构词粒度方面,分别考察了以基本字丁、基本字丁-音节点、音节为最小构词粒度对分词效果的影响,实验结果表明选定音节为最小构... 本文提出一种基于判别式模型的藏文分词方法,重点研究最小构词粒度和分词结果重排序对藏文分词效果的影响。在构词粒度方面,分别考察了以基本字丁、基本字丁-音节点、音节为最小构词粒度对分词效果的影响,实验结果表明选定音节为最小构词粒度分词的F值最高,为91.21%;在分词结果重排序方面,提出一种基于词图的最短路径重排序策略,将判别式解码生成的切分结果压缩为加权有向图,图中节点表示音节间隔,而边所覆盖的音节作为候选切分并赋予不同权重,选择一条最短路径从而实现整句切分,最终分词结果的F值达到96.25%。 展开更多
关键词 判别式 藏文分词 构词粒度 重排序
在线阅读 下载PDF
藏语语料库加工方法研究 被引量:13
2
作者 才让加 《计算机工程与应用》 CSCD 北大核心 2011年第6期138-139,146,共3页
为了使藏语语料库具有规范性、统一性和实用性,提高加工的整体水平,在藏语语料库的加工过程中首先要对五花八门的藏语语料库进行整理和统一,得到高质量的原始语料库,其次确定藏语原料库加工的切分单位,针对藏语的语法特征提出藏语语料... 为了使藏语语料库具有规范性、统一性和实用性,提高加工的整体水平,在藏语语料库的加工过程中首先要对五花八门的藏语语料库进行整理和统一,得到高质量的原始语料库,其次确定藏语原料库加工的切分单位,针对藏语的语法特征提出藏语语料库藏语词语类别和词类标记集,同时在对藏语词语进行归类和统计的基础上建立分词标注词典库,设计并实现藏文自动分词标注软件,利用分词标注软件对大规模藏语语料库进行切分和标注,最终实现藏语语料库的多级加工。 展开更多
关键词 藏语语料库 规范 词类 标记集 词典 分词标注
在线阅读 下载PDF
基于感知机模型藏文命名实体识别 被引量:30
3
作者 华却才让 姜文斌 +1 位作者 赵海兴 刘群 《计算机工程与应用》 CSCD 2014年第15期172-176,共5页
藏文命名实体识别是藏文分词和标注系统中必须要解决的问题。通过对命名实体构词规律及分词歧义进行分析,提出基于音节特征感知机训练模型的藏文命名实体识别方案。重点研究了利用藏文紧缩格识别音节的方法,命名实体内部和边界音节的模... 藏文命名实体识别是藏文分词和标注系统中必须要解决的问题。通过对命名实体构词规律及分词歧义进行分析,提出基于音节特征感知机训练模型的藏文命名实体识别方案。重点研究了利用藏文紧缩格识别音节的方法,命名实体内部和边界音节的模型训练特征模板,训练模型,以及命名实体分类识别方法。提出的藏文命名实体识别方法在测试集上获得86.03%的F值,相对基于分词的基线系统高出10.5%个点。 展开更多
关键词 藏文音节 命名实体 藏文命名实体 感知机模型
在线阅读 下载PDF
藏文数词识别与翻译
4
作者 孙萌 华却才让 +2 位作者 刘凯 吕雅娟 刘群 《北京大学学报(自然科学版)》 EI CAS CSCD 北大核心 2013年第1期75-80,共6页
通过对藏文数词内部构词规律及外部边界信息进行分析,提出对藏文数词基本构件定义的方案。采取最优路径决策模型判断数词构件边界,然后通过有限自动机模型识别并翻译基本数词,最后用模板匹配算法处理复杂数词。结果表明,提出的方法对数... 通过对藏文数词内部构词规律及外部边界信息进行分析,提出对藏文数词基本构件定义的方案。采取最优路径决策模型判断数词构件边界,然后通过有限自动机模型识别并翻译基本数词,最后用模板匹配算法处理复杂数词。结果表明,提出的方法对数词识别与翻译的F值达到98.73%,在藏汉机器翻译的测试集上的BLEU提高了2.64%。 展开更多
关键词 藏文 数词基本构件 自动机 数词识别 数词翻译
在线阅读 下载PDF
藏语语料库词类描述方法研究
5
作者 才让加 《计算机工程与应用》 CSCD 北大核心 2011年第4期146-148,共3页
藏语词类的基本属性描述是藏语语料库多级加工的基础,根据藏语语料库多级加工的实际需要,通过对藏语词类的语法、语义信息的描述和藏语词语后添加方式的分析,可以为计算机对藏文的词语搭配结构、语法信息、语义信息和词类标记进行自动... 藏语词类的基本属性描述是藏语语料库多级加工的基础,根据藏语语料库多级加工的实际需要,通过对藏语词类的语法、语义信息的描述和藏语词语后添加方式的分析,可以为计算机对藏文的词语搭配结构、语法信息、语义信息和词类标记进行自动处理提供一个切实可行的方法。 展开更多
关键词 自然语言 藏文 词类标记 语法信息
在线阅读 下载PDF
班智达藏文标注词典设计
6
作者 才智杰 才让卓玛 《中文信息学报》 CSCD 北大核心 2010年第5期46-49,共4页
语料库加工是一项庞大的语言工程,其中分词标注是最基础性的工作,而分词标注词典是标注系统的重要组成,词典设计的优劣直接关系着分词标注的速度和效率。在设计国家语委项目《班智达藏文自动标注系统》的基础上,给出了分词标注词典库的... 语料库加工是一项庞大的语言工程,其中分词标注是最基础性的工作,而分词标注词典是标注系统的重要组成,词典设计的优劣直接关系着分词标注的速度和效率。在设计国家语委项目《班智达藏文自动标注系统》的基础上,给出了分词标注词典库的结构及词典库索引查询算法。对85万字节藏语实验语料的分词和标注,分词准确率达99%,标注准确率达97%。 展开更多
关键词 藏语语料库 分词 标注 词典 索引
在线阅读 下载PDF
基于词对依存分类的藏语树库半自动构建研究
7
作者 华却才让 姜文斌 +1 位作者 赵海兴 刘群 《中文信息学报》 CSCD 北大核心 2013年第5期166-172,共7页
依据依存句法理论,该文制订了藏语句法标注体系及层次结构。通过分析构建藏语依存树库中存在的问题,提出了半自动依存树库构建模式,针对藏语特性提出了融合丰富特征的词对依存分类模型和依存边标注模型,实现了依存树库构建可视化工具,... 依据依存句法理论,该文制订了藏语句法标注体系及层次结构。通过分析构建藏语依存树库中存在的问题,提出了半自动依存树库构建模式,针对藏语特性提出了融合丰富特征的词对依存分类模型和依存边标注模型,实现了依存树库构建可视化工具,校对构建了1.1万句藏语依存句法树后,在基线系统下经实验验证,依存识别正确率提高了3%,使构建藏语依存树库工作取得了有效进展。 展开更多
关键词 藏语依存句法 词对依存分类 藏语树库 藏语依存标注工具
在线阅读 下载PDF
藏文字频统计系统中字构件分解算法
8
作者 才让卓玛 才智杰 《计算机工程与科学》 CSCD 北大核心 2011年第3期159-162,共4页
藏文字频统计是藏文信息处理的基础性工作,通过对藏文字的部件、音节、结构和字的频度与通用度等定量统计与定性分析,为藏文信息处理提供基础数据。藏文字是一种由藏文字构件横向和纵向组合而成的拼音文字,在藏文字频统计中不仅要从整... 藏文字频统计是藏文信息处理的基础性工作,通过对藏文字的部件、音节、结构和字的频度与通用度等定量统计与定性分析,为藏文信息处理提供基础数据。藏文字是一种由藏文字构件横向和纵向组合而成的拼音文字,在藏文字频统计中不仅要从整字角度统计分析藏文字频度属性,还要统计分析构成其构件的频度及位置属性。因此,在藏文字频统计系统中要分解构成藏文字的各部件。本文通过开发藏文字频统计系统,利用组合构件库结合藏文文法提出了一种藏文字构件分解算法。经测试,该算法不仅简单易行,而且可以有效地确定出各基本构件的位置特征,已应用于项目藏文字频统计系统。 展开更多
关键词 字频统计 构件 分解
在线阅读 下载PDF
基于判别式的藏语依存句法分析
9
作者 华却才让 赵海兴 《计算机工程》 CAS CSCD 2013年第4期300-304,共5页
现有藏语句法体系复杂,不利于藏文自然语言处理的应用。为此,提出基于判别式的藏语依存句法分析方法,采用感知机方法训练句法分析模型,CYK自底向上算法解码生成最大生成树。实验结果表明,在人工标注的测试集上,句法分析正确率达到81.2%... 现有藏语句法体系复杂,不利于藏文自然语言处理的应用。为此,提出基于判别式的藏语依存句法分析方法,采用感知机方法训练句法分析模型,CYK自底向上算法解码生成最大生成树。实验结果表明,在人工标注的测试集上,句法分析正确率达到81.2%,可实际应用到藏语依存树库的构建和其他自然语言处理中。 展开更多
关键词 藏语依存句法 句法标注规范 最大生成树 特征模板 依存句法 感知机
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部