-
题名基于扩散模型的文本生成材质贴图的泛化性优化方法
- 1
-
-
作者
涂晴昊
李元琪
刘一凡
过洁
郭延文
-
机构
南京大学计算机学院
-
出处
《图学学报》
北大核心
2025年第1期139-149,共11页
-
文摘
针对现有的材质贴图数据集存在着文字描述不足且纯图像数据集规模庞大的现状,及传统的生成模型推理错误时难以获得额外的超参数来生成新的结果等问题,提出一种基于稳定扩散模型的文本生成材质贴图的泛化性优化方法,采用分阶段的方式训练模型:使用大规模纯图像数据集对扩散模型进行微调,以拟合图像的生成;使用小规模含文本标注的数据集学习语义信息;引入新的解码器对扩散模型生成的隐编码重建得到材质贴图;最终可以通过输入文本描述获得多组随机生成的且符合描述的材质贴图结果。该方法使用Colossal架构组织代码,大大降低了训练的硬件要求;将图像拟合数据集、语义信息学习的工作分开,使用大规模图像数据集拟合模型参数,使用小规模文本数据学习语义信息,提高了模型的泛化性,减少了对多模态数据集规模的需求。
-
关键词
扩散模型
泛化性
多模态
文本驱动材质贴图生成
材质编辑器
-
Keywords
diffusion model
generalization
multimodal
text-driven texture generation
material editor
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
