基于组残差块生成对抗网络的面部表情生成 被引量：1

1

作者 林本旺 赵光哲 +1 位作者 王雪平 李昊 《计算机工程与应用》 CSCD 北大核心 2024年第5期240-249,共10页

面部表情生成是通过某种表情计算方法生成带有表情的人脸图像,在人脸编辑、影视制作和数据扩增等方面应用广泛。随着生成对抗网络的出现,面部表情生成取得了显著的进步,但是生成的面部表情图像会出现重叠、模糊等现象,缺乏真实感。为了... 面部表情生成是通过某种表情计算方法生成带有表情的人脸图像,在人脸编辑、影视制作和数据扩增等方面应用广泛。随着生成对抗网络的出现,面部表情生成取得了显著的进步,但是生成的面部表情图像会出现重叠、模糊等现象,缺乏真实感。为了解决上述问题,提出了一种带有混合注意力机制组残差块的生成对抗网络(group residuals with attention mechanism-generative adversarial network,GRA-GAN)用于生成高质量的面部表情图像。在生成网络进行下采样前和上采样后,分别嵌入混合注意力机制来自适应地学习关键区域特征,增强对图像关键区域的学习。将分组的思想融入到残差网络中,提出了带有混合注意力机制的组残差块来实现更好的生成效果。在公开数据集RaFD进行了实验验证。实验结果表明,GRA-GAN模型在定性评估和定量分析指标上均优于相关方法。 展开更多

关键词 生成对抗网络 表情生成 注意力机制 组残差块

在线阅读 下载PDF 职称材料

基于卷积神经网络的三维动画表情生成及情感监督方法 被引量：6

2

作者 庄美琪 谭小慧 +1 位作者 樊亚春 程厚森 《重庆理工大学学报（自然科学）》 CAS 北大核心 2022年第1期151-158,共8页

针对在线学习,提出一种三维动画表情生成方法,复现学生学习过程中的情感状态,同时对学生进行情感监督。将视频作为输入,通过卷积神经网络识别人脸动作单元,将识别结果作为驱动虚拟替身的数据使其面部发生形变从而生成表情;基于识别结果... 针对在线学习,提出一种三维动画表情生成方法,复现学生学习过程中的情感状态,同时对学生进行情感监督。将视频作为输入,通过卷积神经网络识别人脸动作单元,将识别结果作为驱动虚拟替身的数据使其面部发生形变从而生成表情;基于识别结果计算情感指数,进行可视化分析生成情感监督图表。研究得出:用户对提供的表情生成效果和情感指数符合程度的评分均值达到83.97。手动生成的表情同自动生成表情的对比实验证明:效果一致。最终呈现3种可视化结果(动画表情生成效果、情感指数波动图和情感指数分布图),为教师提供了具有学生隐私保护的情感监督和学习状态反馈。 展开更多

关键词 在线教学 深度学习 情感监督 三维表情生成 人脸动作单元

在线阅读 下载PDF 职称材料

基于面部动作编码系统的表情生成对抗网络 被引量：5

3

作者 胡晓瑞 林璟怡 +1 位作者 李东 章云 《计算机工程与应用》 CSCD 北大核心 2020年第18期150-156,共7页

用含有面部表情信息的向量作为输入条件指导生成高真实性人脸图像是一个重要的研究课题,但常用的八类表情标签较为单一,为更好地反映人脸各处丰富的微表情信息,以面部各个肌肉群作为动作单元(AUs),提出一种基于面部动作编码系统(FACS)... 用含有面部表情信息的向量作为输入条件指导生成高真实性人脸图像是一个重要的研究课题,但常用的八类表情标签较为单一,为更好地反映人脸各处丰富的微表情信息,以面部各个肌肉群作为动作单元(AUs),提出一种基于面部动作编码系统(FACS)的人脸表情生成对抗网络。将注意力机制融合到编码解码生成模块中,网络更加集中关注局部区域并针对性做出生成改变,使用了一种基于判别模块重构误差、分类误差和注意力平滑损失的目标函数。在常用BP4D人脸数据集上的实验结果表明,该方法可以更有效地关注各个动作单元对应区域位置并用单个AU标签控制表情生成,且连续AU标签值大小能控制表情幅度强弱,与其他方法相比,该方法所生成的表情图像细节保留更清晰且真实性更高。 展开更多

关键词 人脸表情生成 生成对抗网络 面部动作编码系统

在线阅读 下载PDF 职称材料

基于单张人脸图像的表情生成方法 被引量：3

4

作者 马禹骞 钟宝江 《数据采集与处理》 CSCD 北大核心 2017年第4期831-837,共7页

人脸表情生成是人机情感交互的重要实现方式之一。通过研究人脸及表情特点,抽象具体的器官变化,归纳出针对人脸图像的网格划分法法则。在此基础上提出了一种针对人脸表情生成的网格划分技术。该技术通过简单的定位,使用二次多项式曲线... 人脸表情生成是人机情感交互的重要实现方式之一。通过研究人脸及表情特点,抽象具体的器官变化,归纳出针对人脸图像的网格划分法法则。在此基础上提出了一种针对人脸表情生成的网格划分技术。该技术通过简单的定位,使用二次多项式曲线合理划分了人脸主要器官,继而将其参数化,实现对人脸各器官的独立调整变动。简化定义了6种基本表情的面部变化,使用新网格划分技术实现不同的人脸器官变化,生成各种特定的表情。同时尝试了皱纹等皮肤纹理的添加步骤。与已有的人脸表情生成方法相比,新方法具有网格划分方式简单、变动参数多样、易于编码实现和计算量小等优点,最终生成的人脸表情在主观评测中评价良好。 展开更多

关键词 情感计算 人脸变形 表情生成 网格

在线阅读 下载PDF 职称材料

一种基于改进条件生成式对抗网络的人脸表情生成方法 被引量：2

5

作者 王先先 李菲菲 陈虬 《小型微型计算机系统》 CSCD 北大核心 2020年第9期1987-1992,共6页

人脸表情生成一直都是一项具有挑战性的工作.现有的方法通常将深度生成网络和面部特征相结合来完成这项任务.然而,同一张人脸的面部表情不仅微妙,而且数不胜数.如何在保持人脸身份信息不变的前提下,利用人脸特征准确地生成目标表情仍然... 人脸表情生成一直都是一项具有挑战性的工作.现有的方法通常将深度生成网络和面部特征相结合来完成这项任务.然而,同一张人脸的面部表情不仅微妙,而且数不胜数.如何在保持人脸身份信息不变的前提下,利用人脸特征准确地生成目标表情仍然是一个有待解决的问题.本文利用人脸特征点来描述不同的表情形状,并以此作为生成目标表情的引导条件.我们通过对Pix2Pix模型结构的改进,实现了高质量人脸表情的生成.同时,为了引导连续人脸表情的生成,我们使用变分自动编码器对人脸形状进行控制.在两个公开的数据集CK+、Oulu-CASIA上,我们评估并验证了模型在任意人脸表情转换、人脸表情移除、人脸表情生成、连续人脸表情生成等任务上的可行性和有效性. 展开更多

关键词 人脸表情生成 条件生成对抗网络 表情形状控制器 变分自动编码器

在线阅读 下载PDF 职称材料

基于交互式进化算法的三维表情动画生成

6

作者 张雯婷 刘漫丹 +1 位作者 朱宝旭 谢立志 《华东理工大学学报(自然科学版)》 北大核心 2025年第4期538-551,共14页

三维面部表情动画已广泛融入人们的日常生活,但目前大多数表情生成技术并未考虑到实际用户的偏好。这些方法大多依赖于预先定义的心理原型,限制了其生成丰富且具有表现力的表情动画的潜力。针对这两个问题,本文提出了一种全新的表情动... 三维面部表情动画已广泛融入人们的日常生活,但目前大多数表情生成技术并未考虑到实际用户的偏好。这些方法大多依赖于预先定义的心理原型,限制了其生成丰富且具有表现力的表情动画的潜力。针对这两个问题,本文提出了一种全新的表情动画编码方案,并采用交互式遗传算法(Interactive Genetic Algorithm,IGA)实现表情动画的自动进化,解码时则采用Dirichlet自由变形算法(Dirichlet Free-Form Deformation,DFFD)控制人脸网格发生形变;为了维持表情动画种群的多样性,提出了两种变异算子:带屏蔽区间的均匀变异和共享变异点的均匀变异。实验结果证实这两种算子有效降低了进化过程中种群内的相似度。实际用户参与的实验进一步验证了所提方法在生成符合用户偏好且丰富多样的表情动画方面的可行性。 展开更多

关键词 表情动画生成 交互式遗传算法 用户评价 变异算子 种群多样性

在线阅读 下载PDF 职称材料

基于多模态表情编码与时序建模的三维人脸重建

7

作者 何骁龙 达飞鹏 盖绍彦 《红外与激光工程》 北大核心 2025年第8期233-245,共13页

高保真表情生成是虚拟人、三维人脸重建的重要研究方向。现有方法通常仅基于音频驱动或图像等单一模态,生成的表情难以展现丰富的情感特征,同时缺乏帧间一致性,导致动态呈现效果不足。为解决上述问题,提出了一种基于图像、文本和音频的... 高保真表情生成是虚拟人、三维人脸重建的重要研究方向。现有方法通常仅基于音频驱动或图像等单一模态,生成的表情难以展现丰富的情感特征,同时缺乏帧间一致性,导致动态呈现效果不足。为解决上述问题,提出了一种基于图像、文本和音频的三模态表情编码方法。通过引入跨模态特征融合机制,充分挖掘各模态之间的内在关联,从而精确控制面部表情的生成,确保情感表达的自然性与准确性。此外,设计了一个时序建模模块,捕捉动态表情中的时序依赖关系,确保生成的表情在时间维度上具备平滑的过渡与一致性。在公开数据集上进行实验,所提方法在表情生成的自然性、音视频同步性以及帧间一致性方面取得有效进展。具体而言,在AffectNet数据集上的单张图像重建任务中,情绪一致性准确率达到79%;而在VoxCeleb数据集上动态人脸生成任务中,生成的人脸情绪一致性准确率达到68%。 展开更多

关键词 三维点云 人脸重建 模态融合 表情生成 时序建模 计算成像

在线阅读 下载PDF 职称材料

一种基于RBF网络生成人脸表情的算法 被引量：3

8

作者 余重基 李际军 《计算机应用》 CSCD 北大核心 2005年第7期1611-1615,共5页

提出了只需确定少量标定点就能高精度实现人脸表情生成的算法。此方法并不直接利用标定点,而是通过自动生成的扭曲控制点来进行2D图像扭曲变形;为了保证精度,最大程度地减少人工输入标定点的数目。根据脸部肌肉的解剖特点和人脸的对称... 提出了只需确定少量标定点就能高精度实现人脸表情生成的算法。此方法并不直接利用标定点,而是通过自动生成的扭曲控制点来进行2D图像扭曲变形;为了保证精度,最大程度地减少人工输入标定点的数目。根据脸部肌肉的解剖特点和人脸的对称性定义了一个信息冗余很小的脸部特征点集(FCPS);通过径向基函数神经网络(RBFNetwork)来确定FCPS的移动与表情变化的映射关系;RBF网络输出的FCPS通过数据映射,自动生成一个矫正的扭曲控制点集;2D径向基函数图像扭曲算法(RBFWarpingAlgorithm)利用这些扭曲控制点扭曲图像,产生指定的表情,有效地降低了扭曲控制点误差带来的负面影响;为了避免病态数据的影响并减少计算量,训练网络时采用了递推正则最小二乘算法。实验显示,该算法具有良好的实用性。 展开更多

关键词 表情生成 标定点 扭曲控制点 脸部特征点集

在线阅读 下载PDF 职称材料

带虚拟边约束的面部表情基生成方法

9

作者 李韩超 沈成泽 刘新国 《计算机学报》 EI CAS CSCD 北大核心 2023年第11期2453-2462,共10页

针对网格形变迁移算法在生成面部表情基时可能出现的模型表面穿透问题,本文提出一种带虚拟边约束的面部表情基生成算法.该算法基于一组模板表情基,可以为不同的对象目标生成个性化的人脸表情基.首先,算法依据顶点之间的距离信息检测出... 针对网格形变迁移算法在生成面部表情基时可能出现的模型表面穿透问题,本文提出一种带虚拟边约束的面部表情基生成算法.该算法基于一组模板表情基,可以为不同的对象目标生成个性化的人脸表情基.首先,算法依据顶点之间的距离信息检测出人脸模型中可能发生模型表面穿透的区域,在这些区域添加新的顶点连接关系,本文称为虚拟边;然后以这些虚拟边约束网格形变迁移算法,在生成表情基的同时防止模型发生表面穿透现象.在不同人脸模型上的实验结果表明,算法添加虚拟边的精度和效率优于手动操作以及之前提出的相关算法,并且虚拟边约束可以有效防止表情迁移过程中的模型穿透问题.最后,本文实验为不同的人脸网格生成了表情基,并应用生成的表情基进行表情迁移,实验结果验证了本文提出的带虚拟边约束的面部表情基生成方法的有效性. 展开更多

关键词 表情动画 面部表情基生成 网格形变迁移 面部表情迁移

在线阅读 下载PDF 职称材料

融合特征编码的面部表情编辑技术 被引量：1

10

作者 刘韵婷 靳佳晖 +1 位作者 陈亮 张景异 《电子科技大学学报》 EI CAS CSCD 北大核心 2021年第5期741-748,共8页

为解决当前连续面部表情生成模型易在表情密集区域产生伪影、表情控制能力较弱等问题,该文对GANimation模型进行了研究改进,提高对表情肌肉运动单元AU控制的准确度。在生成器的编码和解码特征层之间引入多尺度特征融合(MFF)模块,以长跳... 为解决当前连续面部表情生成模型易在表情密集区域产生伪影、表情控制能力较弱等问题,该文对GANimation模型进行了研究改进,提高对表情肌肉运动单元AU控制的准确度。在生成器的编码和解码特征层之间引入多尺度特征融合(MFF)模块,以长跳跃连接的方式将得到的融合特征用于图像解码。在生成器的解码部分中加入一层逆卷积,便于MFF模块添加,更加高效合理。在自制的数据集上与原网络进行对比实验,表情合成的准确度和生成的图像质量分别提高了1.28和2.52,验证了该算法在生成图像没有模糊和伪影存在的情况下,面部表情编辑能力得到加强。 展开更多

关键词 连续面部表情生成 逆卷积 GANimation改进 多尺度特征融合

在线阅读 下载PDF 职称材料

动态多阶段强波动型表情识别模型 被引量：2

11

作者 欧阳勇 陈凌钰 +2 位作者 曾雅文 万俊 王春枝 《计算机工程与设计》 北大核心 2021年第10期2970-2978,共9页

考虑到问卷调查顾客的满意度评价时存在样本获取困难、主观误差等问题,利用表情识别技术分析视频中顾客的情感表达,但实际应用存在人物表情变化波动过大的强波动型表情识别问题。为更好地挖掘强波动型表情变化的信息,提出一种动态多阶... 考虑到问卷调查顾客的满意度评价时存在样本获取困难、主观误差等问题,利用表情识别技术分析视频中顾客的情感表达,但实际应用存在人物表情变化波动过大的强波动型表情识别问题。为更好地挖掘强波动型表情变化的信息,提出一种动态多阶段强波动型表情识别模型(LNsCo),该模型包括长期情绪波动状态生成器(LEF)、近短期表情特征生成器(NsSE)、平行共同注意力网络(co-attention network)。将图像序列预处理后,分别送到LEF和NsSE提取表情的隐藏特征,利用共同注意网络生成二者相互依赖的表征,用分类器进行表情分类。在公共数据集和真实应用场景下的结果表明,所述方法具有良好的性能。 展开更多

关键词 强波动型表情识别 长期情绪波动状态生成器 近短期表情特征生成器 平行共同注意力网络 双向长短期记忆网络

在线阅读 下载PDF 职称材料