-
题名融合人脸表情的手语到汉藏双语情感语音转换
被引量：2
- 1
-
-
作者
宋南
吴沛文
杨鸿武
-
机构
西北师范大学物理与电子工程学院
-
出处
《声学技术》
CSCD
北大核心
2018年第4期372-379,共8页
-
基金
国家自然科学基金(11664036
61263036
+1 种基金
61262055)
甘肃省高等学校科技创新团队项目(2017C-03)资助
-
文摘
针对聋哑人与正常人之间存在的交流障碍问题,提出了一种融合人脸表情的手语到汉藏双语情感语音转换的方法。首先使用深度置信网络模型得到手势图像的特征信息,并通过深度神经网络模型得到人脸信息的表情特征。其次采用支持向量机对手势特征和人脸表情特征分别进行相应模型的训练及分类,根据识别出的手势信息和人脸表情信息分别获得手势文本及相应的情感标签。同时,利用普通话情感训练语料,采用说话人自适应训练方法,实现了一个基于隐Markov模型的情感语音合成系统。最后,利用识别获得的手势文本和情感标签,将手势及人脸表情转换为普通话或藏语的情感语音。客观评测表明,静态手势的识别率为92.8%,在扩充的Cohn-Kanade数据库和日本女性面部表情(Japanese Female Facial Expression,JAFFE)数据库上的人脸表情识别率为94.6%及80.3%。主观评测表明,转换获得的情感语音平均情感主观评定得分4.0分,利用三维情绪模型(Pleasure-Arousal-Dominance,PAD)分别评测人脸表情和合成的情感语音的PAD值,两者具有很高的相似度,表明合成的情感语音能够表达人脸表情的情感。
-
关键词
手势识别
表情识别
深度神经网络
汉藏双语情感语音合成
手语到语音转换
-
Keywords
gesture recognition
facial expression recognition
deep neural network
Mandarin-Tibetan bilingual emotional speech synthesis
gesture to speech conversion
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名手语到情感语音的转换
- 2
-
-
作者
王伟喆
郭威彤
杨鸿武
-
机构
西北师范大学物理与电子工程学院
西北师范大学教育技术学院
互联网教育数据学习分析技术国家地方联合工程实验室
-
出处
《计算机工程与科学》
CSCD
北大核心
2022年第10期1869-1876,共8页
-
基金
国家自然科学基金(62067008,31860285)
甘肃省自然科学基金(21JR7RA117)
甘肃省教育科学“十三五”规划2020年度重点课题GS[2020]GHBZ190。
-
文摘
为了解决语言障碍者与健康人之间的交流障碍问题,提出了一种基于神经网络的手语到情感语音转换方法。首先,建立了手势语料库、人脸表情语料库和情感语音语料库;然后利用深度卷积神经网络实现手势识别和人脸表情识别,并以普通话声韵母为合成单元,训练基于说话人自适应的深度神经网络情感语音声学模型和基于说话人自适应的混合长短时记忆网络情感语音声学模型;最后将手势语义的上下文相关标注和人脸表情对应的情感标签输入情感语音合成模型,合成出对应的情感语音。实验结果表明,该方法手势识别率和人脸表情识别率分别达到了95.86%和92.42%,合成的情感语音EMOS得分为4.15,合成的情感语音具有较高的情感表达程度,可用于语言障碍者与健康人之间正常交流。
-
关键词
手势识别
人脸表情识别
情感语音合成
神经网络
手语到语音转换
语言障碍者
-
Keywords
gesture recognition
facial expression recognition
emotional speech synthesis
neural network
sign language to speech conversion
speech-impaired people
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
TN912.33
[电子电信—通信与信息系统]
-
