-
题名基于多任务学习的多姿态人脸重建与识别
被引量：7
- 1
-
-
作者
欧阳宁
马玉涛
林乐平
-
机构
认知无线电与信息处理省部共建教育部重点实验室(桂林电子科技大学)
桂林电子科技大学信息与通信学院
-
出处
《计算机应用》
CSCD
北大核心
2017年第3期896-900,共5页
-
基金
国家自然科学基金资助项目(61362021
61661017)
+3 种基金
广西自然科学基金资助项目(2013GXNSFDA019030
2014GXNSFDA118035)
广西科技创新能力与条件建设计划项目(桂科能1598025-21)
桂林科技开发项目(20150103-6)~~
-
文摘
针对当前人脸识别中姿态变化会影响识别性能,以及姿态恢复过程中脸部局部细节信息容易丢失的问题,提出一种基于多任务学习的多姿态人脸重建与识别方法——多任务学习堆叠自编码器(Mt LSAE)。该方法通过运用多任务学习机制,联合考虑人脸姿态恢复和脸部局部细节信息保留这两个相关的任务,在步进逐层恢复正面人脸姿态的同时,引入非负约束稀疏自编码器,使得非负约束稀疏自编码器能够学习到人脸部的部分特征;其次在姿态恢复和局部信息保留两个任务之间通过共享参数的方式来学习整个网络框架;最后将重建出来的正脸图像通过Fisherface进行降维并提取具有判别信息的特征,并用最近邻分类器来识别。实验结果表明,Mt LSAE方法获得了较好的姿态重建质量,保留的局部纹理信息清晰,而且与局部Gabor二值模式(LGBP)、基于视角的主动外观模型(VAAM)以及堆叠步进自编码器(SPAE)等经典方法相比,识别率性能得以提升。
-
关键词
多任务学习
姿态恢复
局部细节信息
自编码器
共享参数
-
Keywords
multi-task learning
pose recovery
local detail information
auto-encoder
sharing parameter
-
分类号
TP391.3
[自动化与计算机技术—计算机应用技术]
-
-
题名基于堆叠交叉注意力的图像文本跨模态匹配方法
被引量：6
- 2
-
-
作者
王红斌
张志亮
李华锋
-
机构
昆明理工大学信息工程与自动化学院
昆明理工大学云南省人工智能重点实验室
-
出处
《信号处理》
CSCD
北大核心
2022年第2期285-299,共15页
-
基金
国家自然科学基金(61966021,61966020)。
-
文摘
图像文本跨模态匹配是计算机视觉与自然语言处理交叉领域的一项重要任务,然而传统的图像文本跨模态匹配方法要么只考虑到全局图像与全局文本匹配,要么只考虑到局部图像与局部文本匹配,无法全面有效的考虑局部和全局信息,导致提取出来的特征信息不完善。或者只是简单的对全局图像与全局文本特征进行提取,局部细节信息无法凸显,导致全局特征无法充分表达其全局语义信息。针对该问题,本文提出一种基于堆叠交叉注意力的图像文本跨模态匹配方法。该方法在考虑局部图像与局部文本匹配的同时,将堆叠交叉注意力引进全局图像与全局文本匹配,通过注意力来进一步挖掘全局特征信息,让全局图像与全局文本特征得到优化,从而提升图像文本跨模态检索的效果。在Flickr30K和MS-COCO两个公共数据集上进行了实验验证,模型的总体性能R@sum(Recall@sum)较baseline(SCAN)分别提高了3.9%与3.7%。该模型与SCAN模型相比,R@sum表现较好。由此表明本文提出方法在图像文本跨模态检索任务上的有效性,并且与现有方法相比具有一定的优越性。
-
关键词
跨模态匹配
局部细节信息
全局语义信息
堆叠交叉注意力
图像文本特征
-
Keywords
cross-modal matching
local detail information
global semantic information
stacked cross attention
image-text features
-
分类号
TP391.3
[自动化与计算机技术—计算机应用技术]
-
