-
题名多层次结构生成对抗网络的文本生成图像方法
被引量：15
- 1
-
-
作者
孙钰
李林燕
叶子寒
胡伏原
奚雪峰
-
机构
苏州科技大学电子与信息工程学院
苏州市大数据与信息服务重点实验室
苏州经贸职业技术学院
江苏省建筑智慧节能重点实验室
苏州市虚拟现实智能交互及应用技术重点实验室
-
出处
《计算机应用》
CSCD
北大核心
2019年第11期3204-3209,共6页
-
基金
国家自然科学基金资助项目(61876121,61472267)
江苏省重点研发计划项目(BE2017663)
+1 种基金
苏州市科技发展计划项目(SZS201609)
江苏省研究生科研创新项目(KYCX18_2549)~~
-
文摘
近年来,生成对抗网络(GAN)在从文本描述到图像的生成中已经取得了显著成功,但仍然存在图像边缘模糊、局部纹理不清晰以及生成样本方差小等问题。针对上述不足,在叠加生成对抗网络模型(StackGAN++)基础上,提出了一种多层次结构生成对抗网络(MLGAN)模型,该网络模型由多个生成器和判别器以层次结构并列组成。首先,引入层次结构编码方法和词向量约束来改变网络中各层次生成器的条件向量,使图像的边缘细节和局部纹理更加清晰生动;然后,联合训练生成器和判别器,借助多个层次的生成图像分布共同逼近真实图像分布,使生成样本方差变大,增加生成样本的多样性;最后,从不同层次的生成器生成对应文本的不同尺度图像。实验结果表明,在CUB和Oxford-102数据集上MLGAN模型的Inception score分别达到了4.22和3.88,与StackGAN++相比,分别提高了4.45%和3.74%。MLGAN模型在解决生成图像的边缘模糊和局部纹理不清晰方面有了一定提升,其生成的图像更接近真实图像。
-
关键词
生成对抗网络
文本生成图像
多层次结构生成对抗网络
多层次图像分布
层次结构编码
-
Keywords
Generative Adversarial Network(GAN)
text-to-image synthesis
Multi-Level structure Generative Adversarial Networks(MLGAN)
multi-level image distribution
hierarchical coding
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
