-
题名结合多注意力和条件变分自编码器的宋词生成模型
被引量：1
- 1
-
-
作者
梁骁
黄文明
姚俊
温雅媛
邓珍荣
-
机构
桂林电子科技大学计算机与信息安全学院
广西图形图像与智能处理重点实验室
广西壮族自治区高级人民法院
广西师范大学电子工程学院
-
出处
《广西科学》
CAS
北大核心
2022年第2期308-315,共8页
-
基金
广西科技计划项目(桂科AB20238013)
广西图像图形与智能处理重点实验室培育基地(桂林电子科技大学)开放基金项目(GIIP2011)
广西高校中青年教师科研基础能力提升项目(2019KY0238)资助。
-
文摘
现有的诗词生成方法忽略了风格的重要性。另外,由于宋词大部分词牌词句较多,逐句生成宋词的过程中容易产生上下文缺乏连贯性的现象,在上下文连贯性方面仍存在提升空间。针对这两个问题,在编码解码的文本生成框架基础上,引入自注意力机制的句子表示算法计算多注意力权重矩阵,用于提取词句的多种重要语义特征,让模型更多地关注上文的显著信息来提高上下文连贯性。引入条件变分自编码器(CVAE)将每条宋词数据转化为隐空间中不同风格特征的高维高斯分布,从各自的分布中采样隐变量来控制宋词的风格。由于自构建的宋词语料库缺少完整风格分类标签,使用具有风格标签的宋词微调BERT模型,将其作为风格分类器标注全部的宋词数据。在上述关键技术的基础上实现了宋词生成模型,生成上下文连贯的婉约词以及豪放词。通过与其他4种基准方法进行对比实验,结果表明引入自注意力机制的句子表示算法和条件变分自编码器,在上下文连贯性和风格控制方面有一定的提升。
-
关键词
条件变分自编码器
宋词风格
宋词生成
Bi-GRU
自注意力机制
-
Keywords
conditional variational auto-encoder
Song Ci style
generation of Song Ci
Bi-GRU
self-attention mechanism
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
I207.22
[文学—中国文学]
-
