-
题名基于预训练模型的多音字消歧方法
- 1
-
-
作者
高贝贝
张仰森
-
机构
北京信息科技大学智能信息处理研究所
-
出处
《计算机科学》
CSCD
北大核心
2024年第11期273-279,共7页
-
基金
国家自然科学基金(62176023)。
-
文摘
字音转换是中文语音合成系统(Text-To-Speech,TTS)的重要组成部分,其核心问题是多音字消歧,即在若干候选读音中为多音字选择一个正确的发音。现有的方法通常无法充分理解多音字所在词语的语义,且多音字数据集存在分布不均衡的问题。针对以上问题,提出了一种基于预训练模型RoBERTa的多音字消歧方法CLTRoBERTa(Cross-lingual Translation RoBERTa)。首先联合跨语言互译模块获得多音字所在词语的另一种语言翻译,并将其作为额外特征输入模型以提升对词语的语义理解,然后使用判别微调中的层级学习率优化策略来适应神经网络不同层之间的学习特性,最后结合样本权重模块以解决多音字数据集的分布不均衡问题。CTLRoBERTa平衡了数据集的不均衡分布带来的性能差异,并且在CPP(Chinese Polyphone with Pinyin)基准数据集上取得了99.08%的正确率,性能优于其他基线模型。
-
关键词
多音字消歧
预训练模型
字音转换
跨语言互译
层级学习率
样本权重
-
Keywords
Polyphone disambiguation
Pre-trained model
Grapheme-to-phoneme conversion
Cross-lingual translation
Hierarchical learning rate
Sample weight
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
