-
题名局部加全局视角遮挡人脸表情识别方法
被引量：3
- 1
-
-
作者
南亚会
华庆一
-
机构
西北大学信息科学与技术学院
吕梁学院计算机科学与技术系
-
出处
《计算机工程与应用》
CSCD
北大核心
2024年第13期180-189,共10页
-
基金
山西省教育厅研究生教育教学改革课题(2022YJJG310)
山西省教育厅高等学校教学改革创新项目(J20221157)
+1 种基金
吕梁市重点研发项目(2023GXYF20,2022GXYF17,2022GXYF16)
山西省基础研究计划(自由探索类)项目(202303021212504)。
-
文摘
实际场景中各种遮挡增加了表情识别难度。为此,提出一种滑块局部加权卷积注意力和全局注意力池化的视觉Transformer结合的方法来解决遮挡问题。利用主干网络提取表情特征图,将表情特征图裁剪成多个区域块,利用局部Patch注意力单元通过自适应计算局部特征的注意力权重来感知被遮挡的区域,提取表情局部特征。同时,表情特征图转换成Patch块,通过Patch级和Token级注意力池化的视觉Transformer,从全局角度捕获Patch块之间的相互作用和相关性。引导模型强调最具区别性的特征,而忽略遮挡减少不相关特征的影响。在三个表情数据集及其遮挡子集和一个遮挡数据集上进行实验,结果表明所提模型在遮挡表情识别上优于现有方法。
-
关键词
遮挡人脸表情识别
滑块局部卷积注意力
Patch注意力池化
Token注意力池化
vision
Transformer
-
Keywords
occlusion facial expression recognition
slider local convolution attention
Patch attention pooling
Token attention pooling
vision Transformer
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
