一种多知识源汉语语言模型的研究与实现 被引量：8

1

作者 刘秉权 王晓龙 王宇颖 《计算机研究与发展》 EI CSCD 北大核心 2002年第2期231-235,共5页

针对汉语语言模型中知识获取不足的问题 ,提出了一种统计与多种形式规则信息结合的机制 ,将规则的表示量化 ,提出语法语义规则矩阵的概念 ,通过扩充词网格、对基于最大可能性的 n元概率值合理调整 ,将短语构成规则、二元语法语义规则、... 针对汉语语言模型中知识获取不足的问题 ,提出了一种统计与多种形式规则信息结合的机制 ,将规则的表示量化 ,提出语法语义规则矩阵的概念 ,通过扩充词网格、对基于最大可能性的 n元概率值合理调整 ,将短语构成规则、二元语法语义规则、最少分词原则等融入统计模型框架 ,构成多知识源语言模型 ,模型应用于智能拼音汉字转换系统 ,明显提高了音字转换正确率 。 展开更多

关键词 N-gram音字转换 自然语言处理 规则矩阵 多知识源 汉语语言模型 计算机

在线阅读 下载PDF 职称材料

语句级汉字拼音输入技术评估方法的研究 被引量：3

2

作者 汤步洲 王晓龙 +1 位作者 王轩 张强 《中文信息学报》 CSCD 北大核心 2008年第5期51-55,共5页

该文介绍了语句级汉字拼音输入技术评估方法的研究意义及其重要性。从信息论角度出发,提出了基于损失函数的语句级汉字拼音输入技术的评估方法,它通过损失函数比较经语句级汉字拼音输入系统输出的句子和相应的标准句子,得到描述系统性... 该文介绍了语句级汉字拼音输入技术评估方法的研究意义及其重要性。从信息论角度出发,提出了基于损失函数的语句级汉字拼音输入技术的评估方法,它通过损失函数比较经语句级汉字拼音输入系统输出的句子和相应的标准句子,得到描述系统性能的定量指标。该方法对汉字拼音输入技术的音节流自动切分和音字转换两方面进行了较全面的评估。采用手工标注的1996年《人民日报》部分语料,对目前流行的汉字拼音输入技术进行了评估,实验结果表明:拼音输入技术音字转换准确率最高能达到64.3%,音节流自动切分对音字转换的准确率有大约2%的影响。评估结果对今后的拼音输入技术的评估提供了参考价值,对汉字拼音输入技术的持续发展有指导意义。 展开更多

关键词 人工智能 自然语言处理 语句级汉字拼音输入技术 损失函数 音节流自动切分 音字转换

在线阅读 下载PDF 职称材料

基于多知识源的同音词识别方法 被引量：1

3

作者 宗成庆 章森 +1 位作者 陈肇雄 黄河燕 《中文信息学报》 CSCD 北大核心 1998年第4期22-29,共8页

本文提出了基于多知识源的同音词识别方法。该方法利用上下文条件测试函数实现了不定范围的信息相关处理，并根据词性、语义、位置、音节和词频等多种关联信息进行同音词综合识别，取得了较好的同音词识别效果。

关键词 音字转换 同音词识别 语音识别 多知识源

在线阅读 下载PDF 职称材料

基于ISO/IEC 10646标准的藏文编码转换的设计与实现 被引量：2

4

作者 张青 黄鹤鸣 章登义 《中文信息学报》 CSCD 北大核心 2009年第4期118-123,共6页

目前,国内少数民族地区的书报印刷行业大多使用北大方正、华光藏文排版系统。这些软件的编码各异,致使有限的藏文资源无法实现交换和共享,造成这种现象的原因是各种软件编码体系不一致。解决这个问题的根本途径是将各种不同体系的藏文... 目前,国内少数民族地区的书报印刷行业大多使用北大方正、华光藏文排版系统。这些软件的编码各异,致使有限的藏文资源无法实现交换和共享,造成这种现象的原因是各种软件编码体系不一致。解决这个问题的根本途径是将各种不同体系的藏文编码转换为符合国际标准的编码。该文以华光Windows藏文字符编码为例,首先对每个藏文字符进行构字分析,然后采用分表分组技术构造出每个字符符合ISO/IEC 10646标准的编码序列,最后采用hash技术优化查询算法,实现非标准的藏文字符编码向标准编码序列转换。 展开更多

关键词 计算机应用 中文信息处理 藏文 字符集标准 编码转换 分表分组技术

在线阅读 下载PDF 职称材料

基于级联重排序的汉语音字转换 被引量：1

5

作者 李鑫鑫 王轩 +1 位作者 姚霖 关键 《自动化学报》 EI CSCD 北大核心 2014年第4期624-634,共11页

N元语言模型是解决汉字音字转换问题最常用的方法.但在解析过程中,每一个新词的确定只依赖于前面的邻近词,缺乏长距离词之间的句法和语法约束.我们引入词性标注和依存句法等子模型等来加强这种约束关系,并采用两个重排序方法来利用这些... N元语言模型是解决汉字音字转换问题最常用的方法.但在解析过程中,每一个新词的确定只依赖于前面的邻近词,缺乏长距离词之间的句法和语法约束.我们引入词性标注和依存句法等子模型等来加强这种约束关系,并采用两个重排序方法来利用这些子模型提供的信息:1)线性重排序方法,采用最小错误学习方法来得到各个子模型的权重,然后产生候选词序列的概率;2)采用平均感知器方法对候选词序列进行重排序,能够利用词性、依存关系等复杂特征.实验结果显示,两种方法都能有效地提高词N元语言模型的性能.而将这两种方法进行级联,即首先采用线性重排序方法,然后把产生的概率作为感知器重排序方法的初始概率时性能取得最优. 展开更多

关键词 汉语音字转换 重排序 最小错误学习 感知器方法

在线阅读 下载PDF 职称材料

IBM大型机与小型机间汉字转换解决方案 被引量：2

6

作者 翟凌慧 马少平 《中文信息学报》 CSCD 北大核心 2001年第6期59-64,共6页

本文描述了在IBM的大型机ES/90 0 0 (基于MVS/VSE操作系统 )与小型机RS/60 0 0 (基于AIX操作系统 )间通过CICS传输中文数据存在的数据转换问题 ,分析了汉字E BCDIC码与汉字ASCII码单纯通过CICS配置不能正确转换的原因 ,给出了两种解决方... 本文描述了在IBM的大型机ES/90 0 0 (基于MVS/VSE操作系统 )与小型机RS/60 0 0 (基于AIX操作系统 )间通过CICS传输中文数据存在的数据转换问题 ,分析了汉字E BCDIC码与汉字ASCII码单纯通过CICS配置不能正确转换的原因 ,给出了两种解决方案 :第一种方案通过CICS程序、JAVA程序、CICS配置结合实现汉字转换 ;第二种方案只通过JA VA程序。 展开更多

关键词 汉字转换 CICS Java EBCDIC IBM ES/9000 RS/6000 中文数据传输 数据转换

在线阅读 下载PDF 职称材料

用过滤器实现Web网站汉字简繁体自动转换 被引量：1

7

作者 张震 张曾科 《中文信息学报》 CSCD 北大核心 2001年第1期53-58,共6页

本文对网络上汉字的显示与传输进行了研究 ,提出一种新的在Web服务器端直接解决汉字繁简体内码转换的方案 ,使得只有一种内码的中文主页也可以自动地对不同内码浏览器提供支持 ,而不必要求客户端安装软件。

关键词 WEB 汉字内码 ISAPI 过滤器 汉字简繁体自动转换 内码转换 动态网页

在线阅读 下载PDF 职称材料

一种基于粗糙集的大规模语料库语言学知识发现模型 被引量：1

8

作者 陈清才 王晓龙 赵健 《计算机工程与科学》 CSCD 2004年第5期56-61,共6页

文中首先通过语言学特征表来对文本信息进行结构化处理 ,同时实现了对远距离约束的表示 ;然后借助于面向个体的数据泛化算法来去除语言学特征表中的冗余信息 ,并利用规则抽取算法过滤特征表中不一致的部分 ,从而为相应的自然语言处理任... 文中首先通过语言学特征表来对文本信息进行结构化处理 ,同时实现了对远距离约束的表示 ;然后借助于面向个体的数据泛化算法来去除语言学特征表中的冗余信息 ,并利用规则抽取算法过滤特征表中不一致的部分 ,从而为相应的自然语言处理任务建立了一个一致、高效的规则库。最后 ,本文研究了模型在汉语词义排歧以及音字转换中的应用 ,在采用了动态规则平滑算法后 ,分别获得了 0 .93和 0 .95的判别精度以及 0 .92和 0 .89的覆盖率 。 展开更多

关键词 浯言学知识发现 粗糙集 自动排歧 汉语音字转换 音字转换 动态规则平滑算法

在线阅读 下载PDF 职称材料

拼音到汉字自动转换技术的改进与实现 被引量：4

9

作者 刘佳 韩秀玲 《科学技术与工程》 2007年第24期6348-6352,共5页

拼音到汉字转换一直是中文信息处理研究的一个重要方面。在前人的基础上改进了他们所使用的数据平滑算法,给出了两种应用于不同场合的公式,使得在结果中能够得到不同要求的解。同时,给出了利用隐马尔可夫模型(HMM)来设计实现这样一种转... 拼音到汉字转换一直是中文信息处理研究的一个重要方面。在前人的基础上改进了他们所使用的数据平滑算法,给出了两种应用于不同场合的公式,使得在结果中能够得到不同要求的解。同时,给出了利用隐马尔可夫模型(HMM)来设计实现这样一种转换,并且利用Viterbi算法来对模型进行求解的设计细节与方法。最后利用随意选择的语料库来对计算机进行训练学习并给出了测试结果,同时分析了错误结果的原因。 展开更多

关键词 拼音汉字转换 隐马尔可夫模型 VITERBI 语料库学习 数据平滑

在线阅读 下载PDF 职称材料

基于混合字词网格的汉语音字转换问题的求解 被引量：5

10

作者 章森 《计算机学报》 EI CSCD 北大核心 2007年第7期1145-1153,共9页

汉语音字转换是中文键盘输入、汉语语音识别和中文信息处理的基础,也是一个非常具有挑战性的问题．文中分析了汉语音字转换的研究现状和存在的问题,提出了基于混合字词网格的汉语音字转换方法,给出了系统实现的架构,研究了混合2-gram模... 汉语音字转换是中文键盘输入、汉语语音识别和中文信息处理的基础,也是一个非常具有挑战性的问题．文中分析了汉语音字转换的研究现状和存在的问题,提出了基于混合字词网格的汉语音字转换方法,给出了系统实现的架构,研究了混合2-gram模型的有关问题以及字词网格的求解算法,最后讨论了自动预测与系统学习功能的实现．在此基础上设计了原型系统并与Windows XP上的微软拼音输入系统进行了比较,在拼音到汉字的自动转换正确率方面有显著的提高． 展开更多

关键词 汉语音字转换 N-GRAM语言模型 MARKOV模型 字词网格 用户行为

在线阅读 下载PDF 职称材料

简繁汉字转换系统的设计与实现 被引量：4

11

作者 辛春生 孙玉芳 《软件学报》 EI CSCD 北大核心 2000年第11期1534-1540,共7页

汉字简繁体转换对于港澳台及世界华人地区与中国大陆之间文化经济的交流极其重要 .以已完成并投入使用的一个自动转换系统为基础 ,介绍了系统的设计与实现 .给出了系统的总体结构 ,描述了系统的重要数据结构——词库和对照表 .解释了系... 汉字简繁体转换对于港澳台及世界华人地区与中国大陆之间文化经济的交流极其重要 .以已完成并投入使用的一个自动转换系统为基础 ,介绍了系统的设计与实现 .给出了系统的总体结构 ,描述了系统的重要数据结构——词库和对照表 .解释了系统处理流程 ,包括预处理和后处理、消除歧义、语词转换等 ,并对系统性能进行分析 ,同时 ,给出了测试结果 . 展开更多

关键词 简繁汉字 语词转换 语词切分 歧义消除 语词库 对照表

在线阅读 下载PDF 职称材料

汉语简繁体转换与语词切分 被引量：3

12

作者 辛春生 孙玉芳 《小型微型计算机系统》 EI CSCD 北大核心 2000年第9期982-985,共4页

随着港澳、台湾及世界华人地区与中国大陆文化经济的交流日益频繁 ,利用电脑开发一种自动化的准确高效的简繁汉字转换系统显得越来越重要 .本文罗列了简繁汉字转换在单词、术语、习惯及字符等标准等诸多方面存在的问题 ,提供了我们已实... 随着港澳、台湾及世界华人地区与中国大陆文化经济的交流日益频繁 ,利用电脑开发一种自动化的准确高效的简繁汉字转换系统显得越来越重要 .本文罗列了简繁汉字转换在单词、术语、习惯及字符等标准等诸多方面存在的问题 ,提供了我们已实现并投入使用的系统的功能特点 .文章还介绍了本系统所涉及的汉字交换码架和内码 ,解释了几种语词切分算法以及切分岐义 .最后对本系统的可维护性、转换正确率和转换速度三个主要方面进行了性能分析并给出了测试结果 . 展开更多

关键词 简繁汉字转换 交换码 语词切分 汉字信息处理

在线阅读 下载PDF 职称材料

基于对照表以及语义相关性之简繁汉字转换 被引量：2

13

作者 庞祯军 姚天昉 《计算机工程与应用》 CSCD 北大核心 2015年第4期115-119,153,共6页

目前使用的汉字有简体和繁体两大形式:中国大陆和新加坡等地使用简体字,我国港澳台地区和部分海外华人社区使用繁体字。其中大多数简体字的意义和用法与对应的繁体字是一样的,具有一一对应关系,这种情况通过查找简繁对照表就可以正确处... 目前使用的汉字有简体和繁体两大形式:中国大陆和新加坡等地使用简体字,我国港澳台地区和部分海外华人社区使用繁体字。其中大多数简体字的意义和用法与对应的繁体字是一样的,具有一一对应关系,这种情况通过查找简繁对照表就可以正确处理。然而,还有相当一部分简体字对应多个繁体字,这是简繁字转换的重点和难点。基于此背景提出基于对照表以及语义相关性的简繁汉字转换方法。在教育部语信司及中国中文信息学会联合举办的一对多简繁转换评测中,此一对多简繁转换系统以95.6%的准确率排名第一。 展开更多

关键词 简体字 繁体字 简繁体字转换 一对多简繁转换

在线阅读 下载PDF 职称材料

语句级拼音┐汉字转换系统的设计与实现 被引量：2

14

作者 殷峰 何克抗 《计算机研究与发展》 EI CSCD 北大核心 1997年第5期340-345,共6页

本文系统介绍了拼音－汉字转换系统的设计与实现方法．系统主要由拼音自动分词子系统和语法分析子系统两部分组成．拼音自动分词子系统是在书面汉语自动分词系统基础上根据音字转换的特点和要求建造的．语法分析子系统是由词法分析、短... 本文系统介绍了拼音－汉字转换系统的设计与实现方法．系统主要由拼音自动分词子系统和语法分析子系统两部分组成．拼音自动分词子系统是在书面汉语自动分词系统基础上根据音字转换的特点和要求建造的．语法分析子系统是由词法分析、短语分析和句法分析三部分组成，语法分析采取关键词驱动的自底向上分析策略．由于汉语句子的构造原则与词组一致，因此语法分析是以短语分析为主。 展开更多

关键词 音字转换 拼音自动分词 语法规则 计算机应用

在线阅读 下载PDF 职称材料

音字转换中分层解码模型的研究与改进 被引量：2

15

作者 张顺昌 孙乐 《中文信息学报》 CSCD 北大核心 2009年第6期79-85,共7页

音字转换是中文信息处理领域的一个重要研究方向,在语音识别、中文拼音输入中都有广泛应用。该文对音字转换中的拼音流切分歧义问题做了分析与研究,发现传统的分层隐马尔可夫解码模型在解决这个问题时存在缺陷,提出了利用语言模型知识... 音字转换是中文信息处理领域的一个重要研究方向,在语音识别、中文拼音输入中都有广泛应用。该文对音字转换中的拼音流切分歧义问题做了分析与研究,发现传统的分层隐马尔可夫解码模型在解决这个问题时存在缺陷,提出了利用语言模型知识辅助拼音流切分来改进已有的分层模型的思想。实验表明,与传统方法相比,该文的方法可以将首字准确率提高3%。 展开更多

关键词 人工智能 自然语言处理 音字转换 HMM模型 中文信息处理 切分歧义

在线阅读 下载PDF 职称材料

一个拼音汉字自动转换系统的设计与实现 被引量：1

16

作者 成华 尹宝林 《北京航空航天大学学报》 EI CAS CSCD 北大核心 1996年第4期465-469,共5页

给出了拼音汉字转换的定义，并建立了一个带调拼音语句到汉字语句的自动转换系统．它由五个部分组成：自动分词模块、词法分析模块、句法和语义分析模块、语义修饰模块和显示模块．其中句法分析是系统的核心，在比较各种方法的基础上选... 给出了拼音汉字转换的定义，并建立了一个带调拼音语句到汉字语句的自动转换系统．它由五个部分组成：自动分词模块、词法分析模块、句法和语义分析模块、语义修饰模块和显示模块．其中句法分析是系统的核心，在比较各种方法的基础上选择了扩充转移网络（ＡＴＮ）模型，使ＡＴＮ的优点和音字转换的特点得到较好的结合．测试结果表明，系统的正确转换率达到９７％． 展开更多

关键词 汉字处理 自动化系统 转换 网络 双向词链表结构

在线阅读 下载PDF 职称材料

嵌入式系统简繁混排、转换与字库扩充技术研究

17

作者 郭华 许龙飞 张仲 《计算机工程与设计》 CSCD 北大核心 2006年第3期475-478,共4页

现今的嵌入式系统对汉字显示提出了许多新需求,比如实现简繁混排、简繁转换以及字库扩充。介绍了如何利用VC++6.0生成实现如上功能的工具,并在一个嵌入式电子词典和手机的开发过程中通过了验证。支持生成指定字符集、任意大小的点阵字库... 现今的嵌入式系统对汉字显示提出了许多新需求,比如实现简繁混排、简繁转换以及字库扩充。介绍了如何利用VC++6.0生成实现如上功能的工具,并在一个嵌入式电子词典和手机的开发过程中通过了验证。支持生成指定字符集、任意大小的点阵字库,生成的字库以文件的形式存放,便于移植到各种嵌入式系统中。 展开更多

关键词 嵌入式 GBK 汉字字库 电子词典 简繁混排 简繁转换

在线阅读 下载PDF 职称材料

汉语音节→汉字转换中的动态语境学习

18

作者 罗小强 王仁华 《计算机研究与发展》 EI CSCD 北大核心 1994年第11期39-43,共5页

本文从语言使用的局部性原理出发，引入动态语境网的概念，提出了在汉语音节→汉字转换中的动态语境学习方法，有效地提高了音节汉字的转换正确率。

关键词 汉语音节 汉字转换 动态语境学习 信息处理

在线阅读 下载PDF 职称材料

开发中文Windows95汉字输入法的途径

19

作者 潘雷 《数据采集与处理》 CSCD 1998年第3期296-298,共3页

介绍了一种开发中文Ｗｉｎｄｏｗｓ９５应用程序——输入法生成器的方法，并利用此方法将Ｕｃｄｏｓ５．０中丰富的汉字输入法移植到中文Ｗｉｎｄｏｗｓ９５之中，同时给出了一个实现汉字编码转换的实例。

关键词 WINDOWS95 汉字输入法 汉字编码 应用程序

在线阅读 下载PDF 职称材料

繁体版期刊的印前处理

20

作者 林少甫 《中山大学学报（自然科学版）》 CAS CSCD 北大核心 2003年第S2期254-256,共3页

以实例说明在中国大陆出版繁体版期刊的印前处理,分析简繁体汉字转换方法的优劣,探讨自编软件转换在实际工作中以便于人工干预为特点的优点。

关键词 期刊 简繁体转换 印前处理

在线阅读 下载PDF 职称材料