摘要
针对提取抑郁症患者人脸图像判别性特征困难的问题,提出基于残差注意力网络和金字塔扩大卷积长短时记忆(Convolutional Long Short-Term Memory,ConvLSTM)网络提取人脸图像空时特征的抑郁症识别算法。首先构建残差注意力网络提取人脸图像不同权值的空间特征,其次基于ConvLSTM网络加入金字塔扩大策略对所得空间特征提取不同尺度的时间特征,最后将空时特征输入DNN网络实现抑郁量表得分的回归分析。在AVEC 2013和AVEC 2014的测试集上进行验证,结果显示在两个数据集上,所提算法抑郁程度预测值与真实值之间的MAE值和RMSE值均优于基于手工特征的方法和基于手工特征+深度特征的方法。以深度特征方面的双流CNN算法的对比为例,在AVEC 2013数据集上,MAE值的识别精度提高了10%,RMSE值的识别精度提高了9%,在AVEC 2014数据集上,MAE值识别精度提高了13%,RMSE值的识别精度提高了7%。可见,该算法能有效提高抑郁症的识别精度。
To address the difficulty in extracting discriminative features of depressed facial expressions,we proposed an algorithm for the automatic diagnosis of depression from facial expressions,which extracted spatio-temporal features based on the residual attention network and pyramidal dilated convolutional LSTM network.Firstly,the residual attention network was constructed to extract the spatial features with different weight from facial expressions.Then based on the convLSTM network,a pyramid expansion strategy was added to extract the temporal features with different scales on the resulting spatial features.Finally the spatio-temporal features were input into the DNN network for the regression analysis of depression inventory score.Validation was performed on the AVEC 2013 and AVEC 2014 test sets and the results were shown on both data sets,the Mae and RMSE values between the predicted and true depression degree of the proposed algorithm are better than those based on manual feature and manual feature+depth feature.In the AVEC 2013 Dataset,the recognition accuracy of Mae was improved by 10%,that of RMSE by 9%,and that of MAE by 13%in the AVEC 2014 dataset,the recognition accuracy of RMSE value is improved by 7%.Therefore,the algorithm can effectively improve the identification accuracy of depression.
作者
于明
徐心怡
师硕
郝小可
YU Ming;XU Xinyi;SHI Shuo;HAO Xiaoke(School of Artificial Intelligence and Data Science,Hebei University of Technology,Tianjin 300401,China)
出处
《电视技术》
2020年第11期12-18,共7页
Video Engineering
基金
国家自然科学青年基金(No.61806071)
中国科学院自动化研究所模式识别国家重点实验室开放课题(No.201900043)
河北省高等学校科学技术研究项目(No.QN2019207)
天津科技发展战略研究计划(No.18ZLZXZF00660)
河北省自然科学基金面上项目(No.F2019202381)
河北省自然科学基金面上项目(No.F2019202464)
天津市企业科技特派员项目(No.19JCTPJC55800)
天津市企业科技特派员项目(No.19JCTPJC57000)。
作者简介
于明(1964-),男,博士研究生,教授,CCF会员(76771M),研究方向:图像处理与模式识别、智能感知与优化算法;徐心怡(1995-),女,硕士研究生,研究方向:抑郁症识别;郝小可(1985-),男,讲师,CCF会员(93398M),研究方向:机器学习和医学图像分析;通信作者:师硕(1981-),女,博士研究生,副教授,CCF会员(F5558M),研究方向:情感计算、人脸表情识别、异常行为检测、行人再识别。Email:shishuo@hebut.edu.cn。
