-
题名结合空间结构和纹理特征增强的人体姿态迁移
- 1
-
-
作者
莫寒
徐杨
冯明文
-
机构
贵州大学大数据与信息工程学院
贵阳铝镁设计研究院有限公司
-
出处
《计算机工程与应用》
北大核心
2025年第11期259-271,共13页
-
基金
贵州省科技计划项目(黔科合支撑[2023]一般326)。
-
文摘
由姿态引导的人像合成是图像生成中一个具有挑战性的前沿领域。提出了一个新的网络结构——Step网络,用于克服以前工作中发现的局限性。与传统方法的不同之处在于,它专注于姿态的空间结构,使姿态的逐渐迁移成为可能,同时最大限度地减少每一步空间结构信息的损失。并且从三元损失中获得灵感,加入了风格判别器来提升纹理生成的质量。此外,与之前的研究相比,更加强调面部区域的生成。为了实现这一点,训练过程中采用了一种专门的损失函数,结合了三元损失和L1损失来优化面部特征,从而使图像更符合人类的感知。为了评估生成图像的质量,使用了PSNR、SSIM、FID和LPIPS等评估指标。通过将Step网络与最先进的模型进行定性和定量实验比较,证实了它的优越性。具体来说,该模型训练得到的PSNR为18.0376,SSIM为0.7686,FID为10.8102,LPIPS为0.1665。
-
关键词
人体姿态迁移
图像生成
生成对抗网络(GAN)
深度神经网络
-
Keywords
human pose transfer
image generation
generative adversarial network(GAN)
deep neural network
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
-
题名融合卷积与多头注意力的人体姿态迁移模型
被引量：3
- 2
-
-
作者
杨红
张贺
靳少宁
-
机构
大连海事大学信息科学技术学院
-
出处
《计算机应用》
CSCD
北大核心
2023年第11期3403-3410,共8页
-
文摘
对于给定某个人物的参考图像,人体姿态迁移(HPT)的目标是生成任意姿态下的该人物图像。许多现有的相关方法在捕捉人物外观细节、推测不可见区域方面仍存在不足,特别是对于复杂的姿态变换,难以生成清晰逼真的人物外观。为了解决以上问题,提出一种新颖的融合卷积与多头注意力的HPT模型。首先,融合卷积与多头注意力机制构建卷积-多头注意力(Conv-MHA)模块,提取丰富的上下文特征;其次,利用Conv-MHA模块构建HPT网络,提升所提模型的学习能力;最后,引入参考图像的自我重建作为辅助任务,更充分地发挥所提模型的性能。在DeepFashion和Market-1501数据集上验证了基于Conv-MHA的HPT模型,结果显示:它在DeepFashion测试集上的结构相似性(SSIM)、感知相似度(LPIPS)和FID(Fréchet Inception Distance)指标均优于现有的HPT模型DPTN(Dualtask Pose Transformer Network)。实验结果表明,融合卷积与多头注意力机制的Conv-MHA模块可以提升模型的表示能力,更加有效地捕捉人物外观细节,提升人物图像生成的精度。
-
关键词
人体姿态迁移
图像生成
生成对抗网络
多头注意力
卷积
-
Keywords
Human Pose Transfer(HPT)
image generation
generative adversarial network
multi-head attention
convolution
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
