人脸特征蕴含诸多信息,在面部属性和情感分析任务中具有重要价值,而面部特征的多样性和复杂性使人脸分析任务变得困难。针对上述难题,从面部细粒度特征角度出发,提出基于上下文通道注意力机制的人脸属性估计和表情识别(FAER)模型。首先...人脸特征蕴含诸多信息,在面部属性和情感分析任务中具有重要价值,而面部特征的多样性和复杂性使人脸分析任务变得困难。针对上述难题,从面部细粒度特征角度出发,提出基于上下文通道注意力机制的人脸属性估计和表情识别(FAER)模型。首先,构建基于ConvNext的局部特征编码骨干网络,并运用骨干网络编码局部特征的有效性来充分表征人脸局部特征之间的差异性;其次,提出上下文通道注意力(CC Attention)机制,通过动态自适应调整特征通道上的权重信息,表征深度特征的全局和局部特征,从而弥补骨干网络编码全局特征能力的不足;最后,设计不同分类策略,针对人脸属性估计(FAE)和面部表情识别(FER)任务,分别采用不同损失函数组合,以促使模型学习更多的面部细粒度特征。实验结果表明,所提FAER模型在人脸属性数据集CelebA(CelebFaces Attributes)上取得了91.87%的平均准确率,相较于次优模型SwinFace(Swin transformer for Face)高出0.55个百分点;在面部表情数据集RAF-DB和AffectNet上分别取得了91.75%和66.66%的准确率,相较于次优模型TransFER(Transformers for Facial Expression Recognition)分别高出0.84和0.43个百分点。展开更多
现有的多视图属性图聚类方法通常是在融合多个视图的统一表示中学习一致信息与互补信息,然而先融合再学习的方法不仅会损失原始各个视图的特定信息,而且统一表示难以兼顾一致性与互补性.为了保留各个视图的原始信息,采用先学习再融合的...现有的多视图属性图聚类方法通常是在融合多个视图的统一表示中学习一致信息与互补信息,然而先融合再学习的方法不仅会损失原始各个视图的特定信息,而且统一表示难以兼顾一致性与互补性.为了保留各个视图的原始信息,采用先学习再融合的方式,先分别学习每个视图的共享表示与特定表示再进行融合,更细粒度地学习多视图的一致信息和互补信息,构建一种基于共享和特定表示的多视图属性图聚类模型(multi-view attribute graph clustering based on shared and specific representation,MSAGC).具体来说,首先通过多视图编码器获得每个视图的初级表示,进而获得每个视图的共享信息和特定信息;然后对齐视图共享信息来学习多视图的一致信息,联合视图特定信息来利用多视图的互补信息,通过差异性约束来处理冗余信息;之后训练多视图解码器重构图的拓扑结构和属性特征矩阵;最后,附加自监督聚类模块使得图表示的学习和聚类任务趋向一致.MSAGC的有效性在真实的多视图属性图数据集上得到了很好地验证.展开更多
文摘人脸特征蕴含诸多信息,在面部属性和情感分析任务中具有重要价值,而面部特征的多样性和复杂性使人脸分析任务变得困难。针对上述难题,从面部细粒度特征角度出发,提出基于上下文通道注意力机制的人脸属性估计和表情识别(FAER)模型。首先,构建基于ConvNext的局部特征编码骨干网络,并运用骨干网络编码局部特征的有效性来充分表征人脸局部特征之间的差异性;其次,提出上下文通道注意力(CC Attention)机制,通过动态自适应调整特征通道上的权重信息,表征深度特征的全局和局部特征,从而弥补骨干网络编码全局特征能力的不足;最后,设计不同分类策略,针对人脸属性估计(FAE)和面部表情识别(FER)任务,分别采用不同损失函数组合,以促使模型学习更多的面部细粒度特征。实验结果表明,所提FAER模型在人脸属性数据集CelebA(CelebFaces Attributes)上取得了91.87%的平均准确率,相较于次优模型SwinFace(Swin transformer for Face)高出0.55个百分点;在面部表情数据集RAF-DB和AffectNet上分别取得了91.75%和66.66%的准确率,相较于次优模型TransFER(Transformers for Facial Expression Recognition)分别高出0.84和0.43个百分点。
文摘现有的多视图属性图聚类方法通常是在融合多个视图的统一表示中学习一致信息与互补信息,然而先融合再学习的方法不仅会损失原始各个视图的特定信息,而且统一表示难以兼顾一致性与互补性.为了保留各个视图的原始信息,采用先学习再融合的方式,先分别学习每个视图的共享表示与特定表示再进行融合,更细粒度地学习多视图的一致信息和互补信息,构建一种基于共享和特定表示的多视图属性图聚类模型(multi-view attribute graph clustering based on shared and specific representation,MSAGC).具体来说,首先通过多视图编码器获得每个视图的初级表示,进而获得每个视图的共享信息和特定信息;然后对齐视图共享信息来学习多视图的一致信息,联合视图特定信息来利用多视图的互补信息,通过差异性约束来处理冗余信息;之后训练多视图解码器重构图的拓扑结构和属性特征矩阵;最后,附加自监督聚类模块使得图表示的学习和聚类任务趋向一致.MSAGC的有效性在真实的多视图属性图数据集上得到了很好地验证.
