人脸特征蕴含诸多信息,在面部属性和情感分析任务中具有重要价值,而面部特征的多样性和复杂性使人脸分析任务变得困难。针对上述难题,从面部细粒度特征角度出发,提出基于上下文通道注意力机制的人脸属性估计和表情识别(FAER)模型。首先...人脸特征蕴含诸多信息,在面部属性和情感分析任务中具有重要价值,而面部特征的多样性和复杂性使人脸分析任务变得困难。针对上述难题,从面部细粒度特征角度出发,提出基于上下文通道注意力机制的人脸属性估计和表情识别(FAER)模型。首先,构建基于ConvNext的局部特征编码骨干网络,并运用骨干网络编码局部特征的有效性来充分表征人脸局部特征之间的差异性;其次,提出上下文通道注意力(CC Attention)机制,通过动态自适应调整特征通道上的权重信息,表征深度特征的全局和局部特征,从而弥补骨干网络编码全局特征能力的不足;最后,设计不同分类策略,针对人脸属性估计(FAE)和面部表情识别(FER)任务,分别采用不同损失函数组合,以促使模型学习更多的面部细粒度特征。实验结果表明,所提FAER模型在人脸属性数据集CelebA(CelebFaces Attributes)上取得了91.87%的平均准确率,相较于次优模型SwinFace(Swin transformer for Face)高出0.55个百分点;在面部表情数据集RAF-DB和AffectNet上分别取得了91.75%和66.66%的准确率,相较于次优模型TransFER(Transformers for Facial Expression Recognition)分别高出0.84和0.43个百分点。展开更多
针对细粒度图像分类易受背景干扰、关键区域定位不准确以及模型参数量大的问题,提出了一种注意力机制和多尺度特征融合的分类网络(networks of combine attention mechanisms and multi-scale features,AM-Net)。首先,以YOLOv7网络为基...针对细粒度图像分类易受背景干扰、关键区域定位不准确以及模型参数量大的问题,提出了一种注意力机制和多尺度特征融合的分类网络(networks of combine attention mechanisms and multi-scale features,AM-Net)。首先,以YOLOv7网络为基础,使用Ghost BottleNeck模块重新搭建轻量级主干网络,并使用GhostConv替换颈部网络中的Conv,实现模型的轻量化。其次,引入无参的SimAM注意力机制,通过考虑空间和通道维度的相关性推断特征图的三维注意力权重,表征局部显著特征,抑制无用特征,提高目标区域信息的有效性。最后,构建可特征选择的金字塔池化模块(fast spatial pyramid pooling with feature selection and convolutions,SPPFC),帮助网络模型更好地捕捉和处理目标的多尺度特征,提高模型的感知能力。通过实验可知,AM-Net在Stanford Dogs数据集上的准确率、精确率、召回率和F 1分数分别达到88.9%、83.6%、85.7%和84.6%,模型参数量为26.53 MB,每秒帧率达到89.3帧,在Stanford Cars数据集上的准确率、精确率和召回率分别达到95.2%、93.7%和94.9%。实验结果表明,AM-Net可以在轻量化网络的同时提高细粒度图像的分类精度,相比于其他网络模型性能有较大提升。展开更多
针对传统人体部位体型分类方法费时费力、成本较高的问题,设计一种融合注意力机制的体型分类网络(Attention Body Classification Net,A_BCN)。该网络由弱监督的注意力学习和数据增强两个模块组成,其中:弱监督的注意力学习模块通过注意...针对传统人体部位体型分类方法费时费力、成本较高的问题,设计一种融合注意力机制的体型分类网络(Attention Body Classification Net,A_BCN)。该网络由弱监督的注意力学习和数据增强两个模块组成,其中:弱监督的注意力学习模块通过注意力机制获得注意力图;数据增强模块通过注意力图指导图像的数据增强,包括注意力裁剪、注意力丢弃和注意力平均。将增强后的图像重新输入到网络中得到特征图,将得到的特征图和注意力图融合进行分类。在后续自制的人体图像数据集中,该算法准确率为90.52%,提高了分类准确率并节省了成本。展开更多
文摘人脸特征蕴含诸多信息,在面部属性和情感分析任务中具有重要价值,而面部特征的多样性和复杂性使人脸分析任务变得困难。针对上述难题,从面部细粒度特征角度出发,提出基于上下文通道注意力机制的人脸属性估计和表情识别(FAER)模型。首先,构建基于ConvNext的局部特征编码骨干网络,并运用骨干网络编码局部特征的有效性来充分表征人脸局部特征之间的差异性;其次,提出上下文通道注意力(CC Attention)机制,通过动态自适应调整特征通道上的权重信息,表征深度特征的全局和局部特征,从而弥补骨干网络编码全局特征能力的不足;最后,设计不同分类策略,针对人脸属性估计(FAE)和面部表情识别(FER)任务,分别采用不同损失函数组合,以促使模型学习更多的面部细粒度特征。实验结果表明,所提FAER模型在人脸属性数据集CelebA(CelebFaces Attributes)上取得了91.87%的平均准确率,相较于次优模型SwinFace(Swin transformer for Face)高出0.55个百分点;在面部表情数据集RAF-DB和AffectNet上分别取得了91.75%和66.66%的准确率,相较于次优模型TransFER(Transformers for Facial Expression Recognition)分别高出0.84和0.43个百分点。
文摘针对传统人体部位体型分类方法费时费力、成本较高的问题,设计一种融合注意力机制的体型分类网络(Attention Body Classification Net,A_BCN)。该网络由弱监督的注意力学习和数据增强两个模块组成,其中:弱监督的注意力学习模块通过注意力机制获得注意力图;数据增强模块通过注意力图指导图像的数据增强,包括注意力裁剪、注意力丢弃和注意力平均。将增强后的图像重新输入到网络中得到特征图,将得到的特征图和注意力图融合进行分类。在后续自制的人体图像数据集中,该算法准确率为90.52%,提高了分类准确率并节省了成本。
