-
题名基于状态异步DBN的语音驱动面部动画合成
被引量：1
- 1
-
-
作者
赵勇
蒋冬梅
Sahli Hichem
-
机构
西北工业大学计算机学院
布鲁塞尔自由大学电子与信息工程系
-
出处
《计算机工程》
CAS
CSCD
2014年第2期180-183,188,共5页
-
基金
国家自然科学基金资助项目(61273265)
陕西省国际科技合作基金资助重点项目(2011KW-04)
-
文摘
提出一种基于状态异步动态贝叶斯网络模型(SA-DBN)的语音驱动面部动画合成方法。提取音视频语音数据库中音频的感知线性预测特征和面部图像的主动外观模型(AAM)特征来训练模型参数,对于给定的输入语音,基于极大似然估计原理学习得到对应的最优AAM特征序列,并由此合成面部图像序列和面部动画。对合成面部动画的主观评测结果表明,与听视觉状态同步的DBN模型相比,通过限制听觉语音状态和视觉语音状态间的最大异步程度,SA-DBN可以得到清晰自然并且嘴部运动与输入语音高度一致的面部动画。
-
关键词
面部动画合成
状态异步动态贝叶斯网络模型
异步约束
主动外观模型
感知线性预测
极大似然估计
-
Keywords
facial animation synthesis
Dynamic Bayesian Network model with State Asynchrony（SA-DBN）
asynchrony constraint
Active Appearance Model（A_AM）
Perceptual Linear Prediction（PLP）
Maximum Likelihood Estimation（MLE）
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
-
题名文本驱动的情绪多样化人脸动画生成研究
- 2
-
-
作者
刘增科
殷继彬
-
机构
昆明理工大学信息工程与自化学院
-
出处
《计算机科学》
CSCD
北大核心
2024年第S02期313-320,共8页
-
文摘
文中介绍了一种新型的文本驱动人脸动画合成技术,该技术通过融合情绪模型以增强面部表情的表现力。这一技术主要由两个核心部分构成:面部情感模拟和唇形与语音的一致性。首先,通过对输入文本的深度分析,识别出其中包含的情感类型及其强度。然后,基于这些情感信息,应用三维自由变形算法(DFFD)来生成相应的面部表情。与此同时,收集人类发音时的语音音素和唇形数据,并利用强制对齐技术,将这些数据与文本中的语音音素在时间上进行精确匹配,从而产生一系列唇部关键点的变化。随后,通过线性插值方法生成中间帧,以进一步细化唇部运动的时间序列。最后,使用DFFD算法根据这些时间序列数据合成相应的唇形动画。通过对面部情感和唇形动画进行细致的权重配比,成功实现了高度逼真的虚拟人脸表情动画。该研究不仅解决了文本驱动面部表情合成中的信息缺失问题,而且克服了表情单一和面部表情与唇形不协调的挑战,为人机交互、游戏开发、影视制作等领域提供了一种创新的应用方案。
-
关键词
文本驱动动画
情绪模型
DFFD
面部动画合成
情绪强度
唇形语音一致性
-
Keywords
Text-driven animation
Emotion model
DFFD
Facial animation synthesis
Emotion intensity
Lip-Sync consistency
-
分类号
TP315.69
[自动化与计算机技术—计算机软件与理论]
-
