-
题名基于知识元模型的跨模态聊天卡通表情图像合成
被引量：1
- 1
-
-
作者
李小瑞
谢诚
李宾
柳青
胡健龙
-
机构
云南大学软件学院
-
出处
《图学学报》
CSCD
北大核心
2021年第6期908-916,共9页
-
基金
云南省科技厅面上项目(202001BB050035,202001BB05003)
中国科协“青年人才托举工程”项目(W8193209)。
-
文摘
传统的聊天卡通表情图像生成技术主要基于预定义的聊天卡通表情图像库,通过用户的语义描述,进行“语义-视觉”跨模态检索,匹配合适的表情图像。但是,预定义表情图像库样本数量有限且是固定形式的,在实际的聊天场景中常常出现表情图像的错误匹配或无合适匹配。针对此问题,聚焦于合成新的聊天卡通表情图像而非检索,设计了一种基于知识元模型的跨模态聊天卡通表情图像合成方法,根据用户的语义描述,即时合成对应的聊天卡通表情图像。通过表情知识元模型建立聊天卡通表情图像的内在语义逻辑关系,增强聊天卡通表情图像合成的语义一致性。通过多生成器模型,从每个元知识点合成对应的局部图像,再经过联合生成器整合为完整的卡通表情图像,极大地减少了训练样本需求。在公开的聊天卡通表情图像合成数据集的测试中,该方法在语义一致性上取得了更好的结果,同时在图像质量上与现有的方法具有可比性。
-
关键词
图像生成
跨模态学习
文本合成图像(T2I)
知识元模型
图像表情包
-
Keywords
image synthesis
cross-modal learning
text to image(T2I)
knowledge meta-model
emoticon pack
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
