针对视频情感识别中存在运算复杂度高的缺点,提出一种基于时空局部二值模式矩(Temporal-Spatial Local Binary Pattern Moment,TSLBPM)的双模态情感识别方法。首先对视频进行预处理获得表情和姿态序列;然后对表情和姿态序列分别提取TSL...针对视频情感识别中存在运算复杂度高的缺点,提出一种基于时空局部二值模式矩(Temporal-Spatial Local Binary Pattern Moment,TSLBPM)的双模态情感识别方法。首先对视频进行预处理获得表情和姿态序列;然后对表情和姿态序列分别提取TSLBPM特征,计算测试序列与已标记的情感训练集特征间的最小欧氏距离,并将其作为独立证据来构造基本概率分配(Basic Probability Assignment,BPA);最后使用Dempster-Shafer证据理论联合规则得到情感识别结果。在双模态表情和姿态情感数据库上的实验结果表明,本文提出的时空局部二值模式矩可以快速提取视频图像的时空特征,能有效识别情感状态。与其他方法的对比实验也验证了本文融合方法的优越性。展开更多
三维人脸数据的获取会受到成本以及可访问性的影响。通过对深度相机(如Xtion pro live)获取人脸数据过程的研究可知,它能够很容易获得彩色和深度结合(RGB-D)图。针对RGB-D图,使用局部和整体混合识别,利用局部二值的平均信息熵模式(LBEP)...三维人脸数据的获取会受到成本以及可访问性的影响。通过对深度相机(如Xtion pro live)获取人脸数据过程的研究可知,它能够很容易获得彩色和深度结合(RGB-D)图。针对RGB-D图,使用局部和整体混合识别,利用局部二值的平均信息熵模式(LBEP),快速提取RGB-D图的直方图信息和特征向量,根据不同区域在表情不同情况下的变化程度,对不同区域的识别效果赋予不同的权值,进行加权运算。实验结果表明,相比现有的二维和三维人脸识别算法,改进的LBEP算法识别率有明显的提升。展开更多
针对跨年龄人脸验证任务中面部纹理、形状特征变化的问题,提出一种基于双编码平均局部二值模式(dual-coded average local binary pattern,DCALBP)与深度学习算法相结合的多任务人脸验证算法。首先,使用多任务卷积神经网络(multi-task c...针对跨年龄人脸验证任务中面部纹理、形状特征变化的问题,提出一种基于双编码平均局部二值模式(dual-coded average local binary pattern,DCALBP)与深度学习算法相结合的多任务人脸验证算法。首先,使用多任务卷积神经网络(multi-task convolutional neural network,MTCNN)对人脸检测图片进行预处理,引入双编码平均局部二值模式(DCALBP)和梯度直方图算法(histogram of oriented gradient,HOG)提取人脸的局部纹理特征和形状特征,运用典型相关性分析(canonical correlation analysis,CCA)算法将两种特征融合,得到人脸年龄特征。然后,孪生网络(siamese network)提取人脸面部特征,并将纹理形状特征从中分离,抑制年龄因素对人脸验证的影响,从而得到具有年龄不变性的人脸特征。最后进行人脸特征匹配,实现跨年龄人脸验证。通过在数据集FG-NET、MORPH Album2以及经过处理的综合数据集上进行实验,准确率分别为89.73%、98.32%和98.27%,充分验证了该方法的有效性。展开更多
文摘针对视频情感识别中存在运算复杂度高的缺点,提出一种基于时空局部二值模式矩(Temporal-Spatial Local Binary Pattern Moment,TSLBPM)的双模态情感识别方法。首先对视频进行预处理获得表情和姿态序列;然后对表情和姿态序列分别提取TSLBPM特征,计算测试序列与已标记的情感训练集特征间的最小欧氏距离,并将其作为独立证据来构造基本概率分配(Basic Probability Assignment,BPA);最后使用Dempster-Shafer证据理论联合规则得到情感识别结果。在双模态表情和姿态情感数据库上的实验结果表明,本文提出的时空局部二值模式矩可以快速提取视频图像的时空特征,能有效识别情感状态。与其他方法的对比实验也验证了本文融合方法的优越性。
文摘三维人脸数据的获取会受到成本以及可访问性的影响。通过对深度相机(如Xtion pro live)获取人脸数据过程的研究可知,它能够很容易获得彩色和深度结合(RGB-D)图。针对RGB-D图,使用局部和整体混合识别,利用局部二值的平均信息熵模式(LBEP),快速提取RGB-D图的直方图信息和特征向量,根据不同区域在表情不同情况下的变化程度,对不同区域的识别效果赋予不同的权值,进行加权运算。实验结果表明,相比现有的二维和三维人脸识别算法,改进的LBEP算法识别率有明显的提升。
文摘针对跨年龄人脸验证任务中面部纹理、形状特征变化的问题,提出一种基于双编码平均局部二值模式(dual-coded average local binary pattern,DCALBP)与深度学习算法相结合的多任务人脸验证算法。首先,使用多任务卷积神经网络(multi-task convolutional neural network,MTCNN)对人脸检测图片进行预处理,引入双编码平均局部二值模式(DCALBP)和梯度直方图算法(histogram of oriented gradient,HOG)提取人脸的局部纹理特征和形状特征,运用典型相关性分析(canonical correlation analysis,CCA)算法将两种特征融合,得到人脸年龄特征。然后,孪生网络(siamese network)提取人脸面部特征,并将纹理形状特征从中分离,抑制年龄因素对人脸验证的影响,从而得到具有年龄不变性的人脸特征。最后进行人脸特征匹配,实现跨年龄人脸验证。通过在数据集FG-NET、MORPH Album2以及经过处理的综合数据集上进行实验,准确率分别为89.73%、98.32%和98.27%,充分验证了该方法的有效性。
