针对自然环境中面部关键特征提取困难及表情动态变化难以捕捉的问题,提出一种基于关键帧的TDRAG(three-dimensional resnet and attention mechanism with GRU)网络,该网络能够有效挖掘视频序列的时空信息。首先,应用冗余系数筛选关键帧...针对自然环境中面部关键特征提取困难及表情动态变化难以捕捉的问题,提出一种基于关键帧的TDRAG(three-dimensional resnet and attention mechanism with GRU)网络,该网络能够有效挖掘视频序列的时空信息。首先,应用冗余系数筛选关键帧,减少重复信息的干扰。其次,设计三维残差注意力块,用于提升对表情序列关键空间区域的聚焦能力,使网络能够学习含有遮挡、姿势变化的鲁棒面部特征。最后,利用门控循环单元(gate recurrent unit,GRU)增强模型对时间维度变化的敏感性和解析能力,促进网络对表情序列动态演变的深入理解。实验结果表明:与基准模型3DResNet18相比,TDRAG网络在DFEW数据集上加权的平均召回率(weighted average recall,WAR)和非加权的平均召回率(unweighted average recall,UAR)分别提升了4.27%和4.16%,验证了TDRAG网络在提取人脸关键特征以及提升动态人脸表情识别精度的有效性。展开更多
针对静态表情特征缺乏时间信息,不能充分体现表情的细微变化,该文提出一种针对非特定人的动态表情识别方法:基于动态时间规整(Dynamic Time Warping,DTW)和主动外观模型(Active Appearance Model,AAM)的动态表情识别。首先采用基于局部...针对静态表情特征缺乏时间信息,不能充分体现表情的细微变化,该文提出一种针对非特定人的动态表情识别方法:基于动态时间规整(Dynamic Time Warping,DTW)和主动外观模型(Active Appearance Model,AAM)的动态表情识别。首先采用基于局部梯度DT-CWT(Dual-Tree Complex Wavelet Transform)主方向模式(Dominant Direction Pattern,DDP)特征的DTW对表情序列进行规整。然后采用AAM定位出表情图像的66个特征点并进行跟踪,利用中性脸的特征点构建人脸几何模型,通过人脸几何模型的匹配克服不同人呈现表情的差异,并通过计算表情序列中相邻两帧图像对应特征点的位移获得表情的变化特征。最后采用最近邻分类器进行分类识别。在CK+库和实验室自建库HFUT-FE(He Fei University of Technology-Face Emotion)上的实验结果表明,所提算法具有较高的准确性。展开更多
文摘针对自然环境中面部关键特征提取困难及表情动态变化难以捕捉的问题,提出一种基于关键帧的TDRAG(three-dimensional resnet and attention mechanism with GRU)网络,该网络能够有效挖掘视频序列的时空信息。首先,应用冗余系数筛选关键帧,减少重复信息的干扰。其次,设计三维残差注意力块,用于提升对表情序列关键空间区域的聚焦能力,使网络能够学习含有遮挡、姿势变化的鲁棒面部特征。最后,利用门控循环单元(gate recurrent unit,GRU)增强模型对时间维度变化的敏感性和解析能力,促进网络对表情序列动态演变的深入理解。实验结果表明:与基准模型3DResNet18相比,TDRAG网络在DFEW数据集上加权的平均召回率(weighted average recall,WAR)和非加权的平均召回率(unweighted average recall,UAR)分别提升了4.27%和4.16%,验证了TDRAG网络在提取人脸关键特征以及提升动态人脸表情识别精度的有效性。
文摘针对静态表情特征缺乏时间信息,不能充分体现表情的细微变化,该文提出一种针对非特定人的动态表情识别方法:基于动态时间规整(Dynamic Time Warping,DTW)和主动外观模型(Active Appearance Model,AAM)的动态表情识别。首先采用基于局部梯度DT-CWT(Dual-Tree Complex Wavelet Transform)主方向模式(Dominant Direction Pattern,DDP)特征的DTW对表情序列进行规整。然后采用AAM定位出表情图像的66个特征点并进行跟踪,利用中性脸的特征点构建人脸几何模型,通过人脸几何模型的匹配克服不同人呈现表情的差异,并通过计算表情序列中相邻两帧图像对应特征点的位移获得表情的变化特征。最后采用最近邻分类器进行分类识别。在CK+库和实验室自建库HFUT-FE(He Fei University of Technology-Face Emotion)上的实验结果表明,所提算法具有较高的准确性。
