时空LBP矩和Dempster-Shafer证据融合的双模态情感识别 被引量：2

1

作者 王晓华 侯登永 +2 位作者 胡敏 任福继 王家勇 《光电工程》 CAS CSCD 北大核心 2016年第12期154-161,共8页

针对视频情感识别中存在运算复杂度高的缺点,提出一种基于时空局部二值模式矩(Temporal-Spatial Local Binary Pattern Moment,TSLBPM)的双模态情感识别方法。首先对视频进行预处理获得表情和姿态序列;然后对表情和姿态序列分别提取TSL... 针对视频情感识别中存在运算复杂度高的缺点,提出一种基于时空局部二值模式矩(Temporal-Spatial Local Binary Pattern Moment,TSLBPM)的双模态情感识别方法。首先对视频进行预处理获得表情和姿态序列;然后对表情和姿态序列分别提取TSLBPM特征,计算测试序列与已标记的情感训练集特征间的最小欧氏距离,并将其作为独立证据来构造基本概率分配(Basic Probability Assignment,BPA);最后使用Dempster-Shafer证据理论联合规则得到情感识别结果。在双模态表情和姿态情感数据库上的实验结果表明,本文提出的时空局部二值模式矩可以快速提取视频图像的时空特征,能有效识别情感状态。与其他方法的对比实验也验证了本文融合方法的优越性。 展开更多

关键词 视频感情识别 双模态情感识别 时空局部二值模式矩 DEMPSTER-SHAFER证据理论

在线阅读 下载PDF 职称材料

融合全局增强-局部注意特征的表情识别网络 被引量：3

2

作者 刘娟 王颖 +1 位作者 胡敏 黄忠 《计算机科学与探索》 CSCD 北大核心 2024年第9期2487-2500,共14页

为抑制自然场景下遮挡和姿态变化等因素对人脸表情识别的影响,提出一种融合全局增强-局部注意特征(GE-LA)的表情识别网络。为获取增强的全局上下文信息,构建通道-空间全局特征增强结构,该结构采用通道流模块(CFM)和空间流模块(SFM),分... 为抑制自然场景下遮挡和姿态变化等因素对人脸表情识别的影响,提出一种融合全局增强-局部注意特征(GE-LA)的表情识别网络。为获取增强的全局上下文信息,构建通道-空间全局特征增强结构,该结构采用通道流模块(CFM)和空间流模块(SFM),分别获取对称多尺度通道语义以及像素级空间语义,并结合两类语义生成全局增强特征;为抽取局部细节特征,将高效通道注意力(ECA)机制改进为通道-空间注意力(CSA)机制,并以此构建局部注意模块(LAM)获取通道和空间高级语义。为提升网络对遮挡、姿态变化等因素的抗干扰能力,设计一种自适应策略实现全局增强特征和局部注意特征的加权融合,并基于自适应融合特征实现表情分类。在自然场景人脸表情数据集RAF-DB和FERPlus上的实验结果表明,提出网络的表情识别率分别为89.82%和89.93%,比基线网络ResNet50分别提高了13.39个百分点和10.62个百分点。与相关方法相比,提出方法降低了遮挡、姿态变化的影响,在自然场景下具有较好的表情识别效果。 展开更多

关键词 人脸表情识别 全局增强特征 局部注意特征 自适应融合策略

在线阅读 下载PDF 职称材料

基于梯度Gabor直方图特征的表情识别方法 被引量：25

3

作者 胡敏 朱弘 +1 位作者 王晓华 许良凤 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2013年第12期1856-1861,共6页

针对传统Gabor特征在表情识别上的局限性,提出一种基于梯度Gabor直方图(GGH)特征的表情识别方法.首先对预处理后的人脸图像进行Gabor特征提取;然后将相同尺度、不同方向的Gabor特征按照梯度方向构造Gabor特征融合图,再对融合图进行分块... 针对传统Gabor特征在表情识别上的局限性,提出一种基于梯度Gabor直方图(GGH)特征的表情识别方法.首先对预处理后的人脸图像进行Gabor特征提取;然后将相同尺度、不同方向的Gabor特征按照梯度方向构造Gabor特征融合图,再对融合图进行分块并计算每个子块的直方图分布,从而构成人脸的GGH特征;最后采用支持向量机对GGH特征进行人脸表情分类.在JAFFE库与Pain Expressions库上进行交叉验证的结果表明,在保证较高识别率时,GGH特征比传统的Gabor特征实时性更高. 展开更多

关键词 GABOR特征 表情识别 梯度Gabor直方图 分块直方图 梯度方向

在线阅读 下载PDF 职称材料

基于显著区域词袋模型的物体识别方法 被引量：11

4

作者 胡敏 齐梅 +1 位作者 王晓华 许良凤 《电子测量与仪器学报》 CSCD 2013年第7期647-652,共6页

针对常用的构建视觉词典的局部特征所表现的不稳定、不可靠或与物体无关的问题,提出一种基于显著区域词袋模型的物体识别方法。首先,该方法利用强角点检测器,确定图像的显著区域。然后,从显著区域中提取局部特征并建模为词袋模型,最后... 针对常用的构建视觉词典的局部特征所表现的不稳定、不可靠或与物体无关的问题,提出一种基于显著区域词袋模型的物体识别方法。首先,该方法利用强角点检测器,确定图像的显著区域。然后,从显著区域中提取局部特征并建模为词袋模型,最后联合最近邻分类器给出识别结果。分别在视角、尺度和背景等存在变化的数据集上进行了实验,结果表明:与现有同类方法比较,鲁棒性更强,平均识别率达到96.13%,82.06%和66.7%。 展开更多

关键词 词袋模型 强角点检测器 显著区域 物体识别

在线阅读 下载PDF 职称材料

多特征多分类器优化匹配的人脸表情识别 被引量：5

5

作者 王晓华 黄伟 +2 位作者 金超 胡敏 任福继 《光电工程》 CAS CSCD 北大核心 2016年第3期73-79,共7页

针对主成分分析(Principal Component Analysis,PCA)降维过程中由于特征值相对集中而造成维数仍然偏高的不足,本文提出了基于最优样本的主成分分析(Optimal Sample-PCA,OS-PCA)降维方法。OS-PCA通过选择训练样本、优化协方差矩阵,从而... 针对主成分分析(Principal Component Analysis,PCA)降维过程中由于特征值相对集中而造成维数仍然偏高的不足,本文提出了基于最优样本的主成分分析(Optimal Sample-PCA,OS-PCA)降维方法。OS-PCA通过选择训练样本、优化协方差矩阵,从而达到进一步降维的目的。鉴于离散余弦变换(Discrete Cosine Transform,DCT)对光照的鲁棒性,以及局部二值模式(Local Binary Patterns,LBP)对局部纹理特征的有效描述,本文结合DCT和LBP特征来弥补单一OS-PCA特征在人脸表情表征方面的局限性。为了更好地发挥特征与分类器的协作优势,文章构造了一个三层多分类器最优集成的人脸表情识别模型。该模型首先对表情图像进行预处理操作;然后提取OS-PCA、DCT和LBP特征送入三层模型;最后基于单一特征和相应单一分类器的最佳匹配组合,完成多特征与多分类器的最优集成;在执行粗分类结果投票表决的基础上,进一步对仍有分歧的表情图像进行自适应决策,从而得到最终识别结果。实验表明,OS-PCA较PCA进一步有效地降低了特征维数;同时,基于多特征多分类器的三层识别模型在JAFFE和CK库上分别获得了高于95%和96%的识别率,并表现出比较优越的时间性能。 展开更多

关键词 表情识别 主成分分析 多分类器最优集成 自适应决策

在线阅读 下载PDF 职称材料

Gabor多方向特征融合与分块统计的表情识别 被引量：12

6

作者 刘娟 胡敏 黄忠 《电子测量与仪器学报》 CSCD 北大核心 2015年第11期1698-1705,共8页

为了克服传统Gabor特征存在提取时间长和数据维数过高的不足,提出一种Gabor多方向特征融合与分块统计的表情特征提取方法。为了提取局部方向信息并降低特征维数,首先对预处理的人脸表情图像进行Gabor变换并提取多尺度多方向的表情特征;... 为了克服传统Gabor特征存在提取时间长和数据维数过高的不足,提出一种Gabor多方向特征融合与分块统计的表情特征提取方法。为了提取局部方向信息并降低特征维数,首先对预处理的人脸表情图像进行Gabor变换并提取多尺度多方向的表情特征;然后借鉴局部二值模式(local binary pattern,LBP)的思想将相同尺度、不同方向的特征进行融合,并对融合图进行分块,统计每块融合图的均值和标准差,以此构建块特征矢量(block feature vector,BFV),再将其联合起来形成整幅图像的表情特征矢量(expression feature vector,EFV);最后利用支持向量机(support vector machine,SVM)对提取的EFV进行分类。该算法在JAFFE和Cohn-Kanade(CK)库上进行实验,分别取得了95.67%、96.17%的平均识别率以及1 213 ms和4 565 ms的平均特征提取时间。实验结果表明所提方法能较快、较准确地进行人脸表情识别。 展开更多

关键词 特征融合 分块统计 表情识别 支持向量机

在线阅读 下载PDF 职称材料

G-LBP和方差投影交叉熵的人脸识别 被引量：7

7

作者 胡敏 余子玺 +2 位作者 王晓华 任福继 何蕾 《图学学报》 CSCD 北大核心 2017年第1期82-89,共8页

针对基于Gabor特征识别人脸时存在数据维数大及冗余等问题,将变换后的频域特征转换到空间域,提出一种新的特征描述算法G-LBP。为了进一步提高系统的稳定性及精度,丰富人脸描述特征,从熵值角度对人脸进行补充描述。针对方差投影熵在特征... 针对基于Gabor特征识别人脸时存在数据维数大及冗余等问题,将变换后的频域特征转换到空间域,提出一种新的特征描述算法G-LBP。为了进一步提高系统的稳定性及精度,丰富人脸描述特征,从熵值角度对人脸进行补充描述。针对方差投影熵在特征描述上,忽略了行列之间的交互信息,定义了方差交叉投影熵。最后,基于BP神经网络对两种不同的特征空间进行决策层加权融合完成人脸识别。实验结果表明,G-LBP特征提取方法降低了数据间的冗余,且能保留有效地判别信息;方差投影熵和方差交叉投影熵丰富了人脸特征的描述;决策层加权融合的方法较好地发挥分类器间的集成作用,最终有效地提高了人脸的识别率,与其他文献的算法相比,也证明了该方法的有效性。 展开更多

关键词 人脸识别 方差投影熵 G-LBP BP神经网络

在线阅读 下载PDF 职称材料

二值命题逻辑的无损求解 被引量：4

8

作者 唐益明 刘晓平 《计算机学报》 EI CSCD 北大核心 2013年第5期1097-1114,共18页

针对协同问题求解、协同设计等诸多领域中存在逻辑冲突的共性问题,从二值命题逻辑理论出发,研究面向冲突的无损求解(即初始解空间获取)问题.首先,提出简单合取式的扩充和Wh-析取范式等概念,在此基础上定义初始解空间,并通过提出的有效... 针对协同问题求解、协同设计等诸多领域中存在逻辑冲突的共性问题,从二值命题逻辑理论出发,研究面向冲突的无损求解(即初始解空间获取)问题.首先,提出简单合取式的扩充和Wh-析取范式等概念,在此基础上定义初始解空间,并通过提出的有效扩充概念得到初始解空间的简化表示——最简解空间,探讨了两类解空间的关系及各自的计算方法.其次,构造生成序列来辅助公式的析取化,从泛代数的角度定义了Wh-代数;提出了指数矩阵,并籍此给出了Wh-代数的等价表现形式,通过引入扩展指数矩阵构造出扩展Wh-代数.最后证明了扩展Wh-代数中的展开定理和逻辑简化定理,给出基于有效扩充的直接无损求解算法,并与提出的其他相关算法进行了对比,结果表明该算法较为理想.该研究对于协同问题求解等领域有着重要的推动作用. 展开更多

关键词 协同计算 冲突 二值命题逻辑 无损求解

在线阅读 下载PDF 职称材料

使用辅助转接板和熔丝的2.5D集成电路测试策略 被引量：3

9

作者 刘军 王秀云 任福继 《计算机工程与应用》 CSCD 北大核心 2020年第6期271-278,共8页

绑定前转接板的测试对2.5D集成电路的成品率有重要影响。为提高绑定前转接板的测试故障覆盖率,并减少测试成本,提出了仅使用一块辅助转接板针对待测试转接板中的互连线进行开路和短路故障测试的新方案。该方案首先使用邻接矩阵求极大独... 绑定前转接板的测试对2.5D集成电路的成品率有重要影响。为提高绑定前转接板的测试故障覆盖率,并减少测试成本,提出了仅使用一块辅助转接板针对待测试转接板中的互连线进行开路和短路故障测试的新方案。该方案首先使用邻接矩阵求极大独立集的方法将待测试转接板上的互连线进行分组,使得每组内的互连线不会发生短路故障。分组完成后,在辅助转接板上布置导线,实现互连线的组内连接。接着使用所提出的分组间熔丝连接策略在辅助转接板上布置熔丝,将互连线进行组间连接,最大化可以对开路故障进行并行测试的测试路径数量,并且减少所需的熔丝数量。测试时,首先进行开路故障的测试。待开路故障测试完成,将辅助转接板上的熔丝熔断,再进行短路故障测试。实验结果表明,所提方案有效地提高了开路故障和短路故障的覆盖率,并且减少了硬件开销。 展开更多

关键词 2.5D 转接板 熔丝 故障覆盖率

在线阅读 下载PDF 职称材料

基于最优支持度的证据融合表情识别方法 被引量：8

10

作者 刘娟 胡敏 黄忠 《电子测量与仪器学报》 CSCD 北大核心 2016年第5期714-721,共8页

为了实现多区域表情特征的决策级融合,提出一种基于最优支持度的表情证据融合方法。首先,将眉毛、眼睛、嘴巴3个显著区域的纹理特征作为表情分类证据,并采用指数函数构建各证据的初始基本概率分配;然后,在有监督学习下构建证据支持度的... 为了实现多区域表情特征的决策级融合,提出一种基于最优支持度的表情证据融合方法。首先,将眉毛、眼睛、嘴巴3个显著区域的纹理特征作为表情分类证据,并采用指数函数构建各证据的初始基本概率分配;然后,在有监督学习下构建证据支持度的优化式,同时将权重求解转化为同类样本支持度的最大化和异类样本支持度的最小化,并对初始基本概率分配进行修正;最后,基于登普斯特-谢弗(Dempster-Shafer,D-S)证据理论实现三区域证据的决策融合。该算法在CohnKanade库上进行实验,取得了94.2%的平均识别率以及752 ms的平均识别时间。与现有的决策融合和分类方法相比,特别提高了害怕、伤心、厌恶等不易分类表情的识别率。所提方法不仅具有较高分类识别率,而且对各表情分类保持较好鲁棒性。 展开更多

关键词 多证据融合 表情识别 登普斯特-谢弗证据理论 最优支持度

在线阅读 下载PDF 职称材料

基于区域NBPR特征及可信度修正的人脸表情识别 被引量：3

11

作者 刘娟 胡敏 黄忠 《计算机科学与探索》 CSCD 北大核心 2017年第3期459-467,共9页

为了提取有利于表情分类的区域特征以及实现多区域特征的决策级融合,提出了一种基于邻近二值模式关系(neighbor binary pattern relation,NBPR)特征描述子和可信度修正证据融合(credibility modification evidence fusion,CMEF)的表情... 为了提取有利于表情分类的区域特征以及实现多区域特征的决策级融合,提出了一种基于邻近二值模式关系(neighbor binary pattern relation,NBPR)特征描述子和可信度修正证据融合(credibility modification evidence fusion,CMEF)的表情识别框架。首先针对传统局部二值模式(local binary pattern,LBP)算子仅以中心像素为编码阈值的局限,提出一种NBPR描述子,它对局部区域多方向相邻像素之间的二值模式异或关系进行编码;然后根据提取的眉毛、眼睛和嘴巴区域的NBPR纹理特征进行证据的初始基本概率分配;最后针对D-S(Dempster-Shafer)证据理论在合成冲突证据时的不足,通过一种新的基于证据可信度的合成方法实现3个区域证据的决策融合。该方法在CK(Cohn-Kanade)库上分别取得了94.67%的平均表情识别率以及752 ms的平均识别时间。实验结果表明,提出的NBPR描述子和CMEF策略有利于表情区域的纹理描述和决策级融合,从而具有较高的表情识别率。 展开更多

关键词 邻近二值模式关系 多区域特征融合 D-S证据理论 可信度修正

在线阅读 下载PDF 职称材料

基于面部运动单元和时序注意力的视频表情识别方法 被引量：4

12

作者 胡敏 胡鹏远 +3 位作者 葛鹏 王晓华 章魁 任福继 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2023年第1期108-117,共10页

针对视频序列中表情强度不一致,长短时记忆网络(LSTM)难以有效地提取其特征的问题,提出一种基于面部运动单元和时序注意力的视频表情识别方法.首先在卷积LSTM(ConvLSTM)的基础上引入时序注意力模块,对视频序列进行时序建模,在降低维度... 针对视频序列中表情强度不一致,长短时记忆网络(LSTM)难以有效地提取其特征的问题,提出一种基于面部运动单元和时序注意力的视频表情识别方法.首先在卷积LSTM(ConvLSTM)的基础上引入时序注意力模块,对视频序列进行时序建模,在降低维度的同时保留丰富人脸图像特征信息;其次提出基于面部动作单元的人脸图像分割规则,解决面部表情活跃区域难以界定的问题;最后在模型中嵌入标签修正模块,解决自然条件下数据集中样本不确定性的问题.在MMI,Oulu-CASIA和AFEW数据集上的实验结果表明,所提方法的模型参数量低于已公开的主流模型,且在MMI数据集上的平均识别准确率达到87.22%,高于目前主流方法,在整体效果上优于目前具有代表性的方法. 展开更多

关键词 面部运动单元 感兴趣区域分割 时序注意力 标签修正

在线阅读 下载PDF 职称材料

基于区域NSBP特征的加权证据融合表情识别 被引量：4

13

作者 刘娟 胡敏 黄忠 《电子测量与仪器学报》 CSCD 北大核心 2020年第11期132-139,共8页

为了提取鲁棒性强的人脸纹理特征并提高区域特征决策融合的性能,提出一种基于邻近平滑二值模式(neighbor smooth binary pattern,NSBP)特征描述子和加权证据融合(weighted evidence fusion,WEF)的表情识别新方法。首先,提出了一种NSBP... 为了提取鲁棒性强的人脸纹理特征并提高区域特征决策融合的性能,提出一种基于邻近平滑二值模式(neighbor smooth binary pattern,NSBP)特征描述子和加权证据融合(weighted evidence fusion,WEF)的表情识别新方法。首先,提出了一种NSBP描述子,通过判定水平、垂直及对角线方向上的"中心"像素点灰度值是否在各梯度方向上两邻域的灰度值范围内来对图像进行编码;然后基于提取的眉毛、眼睛和嘴巴区域的NSBP纹理特征来构造证据的初始基本概率分配(basic probability assignment,BPA);最后针对登普斯特-谢弗(Dempster-Shafer,D-S)证据理论在证据之间存在冲突时进行融合的不足,提出一种加权证据修正的合成方法,以完成3个区域证据的决策融合。实验结果表明,该方法在CK(Cohn-Kanade)数据库上的平均表情识别率和识别时间分别为95.25%、765 ms,与其他相关方法的比较也验证了其有效性。 展开更多

关键词 表情识别 NSBP特征 加权证据融合 DEMPSTER组合规则

在线阅读 下载PDF 职称材料

基于约束性循环一致生成对抗网络的人脸表情识别方法 被引量：4

14

作者 胡敏 余胜男 王晓华 《电子测量与仪器学报》 CSCD 北大核心 2019年第4期169-177,共9页

深度神经网络在表情分类识别中会由于样本数量不均衡,样本相似度高出现过拟合,导致识别结果不理想,而通过旋转变换、添加噪声等数据增强方法不能解决相似度较高的问题。为此,对循环一致生成对抗网络(Cycle-GAN)进行改进,通过引入类别约... 深度神经网络在表情分类识别中会由于样本数量不均衡,样本相似度高出现过拟合,导致识别结果不理想,而通过旋转变换、添加噪声等数据增强方法不能解决相似度较高的问题。为此,对循环一致生成对抗网络(Cycle-GAN)进行改进,通过引入类别约束性条件,构建一种基于约束性循环一致生成对抗网络(CCycle-GAN),实现了一对多的数据类别映射,减少了模型训练开销;同时,为了提高人脸表情识别效率,对Cycle-GAN判别器进行改进,用一个辅助表情分类器替换循环一致生成对抗网络的判别器,不仅可以判断输入图像的真假,而且可以对表情进行分类。在CK+和FER2013数据集上的实验结果表明,该方法可以有效地解决神经网络中的过拟合和样本不均问题,提高了表情样本生成质量,进而提高了人脸表情识别率。 展开更多

关键词 约束性循环一致生成对抗网络 数据增强 人脸表情识别

在线阅读 下载PDF 职称材料

通道-空间多尺度增强与双池化注意的表情识别网络

15

作者 刘娟 张民扬 +2 位作者 胡敏 黄忠 江巨浪 《计算机应用研究》 2025年第10期3182-3191,共10页

针对自然场景下表情特征提取仅关注通道-空间单一尺度信息以及平均池化易丢失局部显著性语义的问题,提出一种通道-空间多尺度增强与双池化注意的表情识别网络。首先,为捕获通道-空间整体多尺度增强语义,设计通道对称级联多尺度模块和空... 针对自然场景下表情特征提取仅关注通道-空间单一尺度信息以及平均池化易丢失局部显著性语义的问题,提出一种通道-空间多尺度增强与双池化注意的表情识别网络。首先,为捕获通道-空间整体多尺度增强语义,设计通道对称级联多尺度模块和空间多尺度特征提取模块,并以此构建基于通道-空间多尺度结构的整体特征增强子网。然后,为表征通道-空间区域双池化显著语义,将高效局部注意力机制改进为高效通道-空间注意力机制,并嵌入到区域特征注意子网。最后,为获取整体多尺度增强语义与区域双池化显著语义之间的潜在相关性,采用交叉注意力机制进行整体特征与区域特征之间的特征交互,并设计特征融合子网完成两类特征的模型级融合。实验结果表明,在人脸表情数据集RAF-DB和FERPlus上,其表情识别率分别达到89.97%和90.26%,比基线网络分别提升了13.54和10.95个百分点。与其他网络相比,提出的网络在自然场景下具有较好的表情识别性能。 展开更多

关键词 人脸表情识别 多尺度增强 双池化注意 通道-空间多尺度结构 高效通道-空间注意力机制

在线阅读 下载PDF 职称材料