-
题名基于大模型微调范式的绘画风格模拟方法
被引量：2
- 1
-
-
作者
马诗洁
徐华艺
李聪聪
耿卫东
沈华清
李萌坚
-
机构
之江实验室
-
出处
《计算机应用》
CSCD
北大核心
2024年第S01期268-272,共5页
-
基金
之江实验室跨媒体智能短视频生成关键技术项目(108001‑AC2101)。
-
文摘
现有的微调大模型生成指定风格化图像的方法能力有限,存在布局风格、细节风格同目标风格不一致的问题,为了提高大模型风格模拟一致性能力,提出一种微调大模型部分注意力参数和低秩自适应(LoRA)相结合的方法并用于红色山水风格的绘画生成。首先,以少量绘画样本微调文生图大模型的部分注意力参数;其次,冻结文生图(文本-图像)大模型,结合LoRA微调方法在模型中注入可训练层进行训练;最后,将第2步中的可训练层插入第1步微调过的大模型中进行推理。实验结果表明,与目前流行的风格定制方法相比,所提方法在保证文本可控性的同时,不仅保证了绘画的整体布局与训练集图像风格一致,同时在绘画细节上也与目标风格具有高一致性。在红色山水画风格模拟方面的实验结果表明,生成的红色山水画更接近训练集的风格,并且生成的绘画风格更符合艺术从业者的风格一致性评价。目前,基于所提方法的红色山水画互动生成系统已经在中国共产党杭州历史馆对外开放展示。
-
关键词
文本-图像大模型
微调
绘画风格
少量样本
图像生成
DreamBooth
低秩自适应
-
Keywords
text-to-image large model
fine-tuning
painting style
few-shot
image generation
DreamBooth
Low-Rank Adaption(LoRA)
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
