中心损失与Softmax损失联合监督下的人脸识别 被引量：13

1

作者 余成波 田桐 +1 位作者 熊递恩 许琳英 《重庆大学学报（自然科学版）》 EI CAS CSCD 北大核心 2018年第5期92-100,共9页

深度学习在人脸识别领域已经取得了巨大的成就,针对当前大多数卷积神经网络采用Softmax损失函数进行特征分类,增加新的类别样本会减小类间距离的增长趋势,影响网络对特征判别的问题,采用了一种基于中心损失与Softmax损失联合监督的人脸... 深度学习在人脸识别领域已经取得了巨大的成就,针对当前大多数卷积神经网络采用Softmax损失函数进行特征分类,增加新的类别样本会减小类间距离的增长趋势,影响网络对特征判别的问题,采用了一种基于中心损失与Softmax损失联合监督的人脸识别算法,来提高网络对特征的识别能力。在Softmax基础上,首先,分别对训练集每个类别在特征空间维护一个类中心,训练过程新增加样本时,网络会约束样本的分类中心距离,从而兼顾了类内聚合与类间分离。其次,引入动量概念,在分类中心更新的时候,通过保留之前的更新方向,同时利用当前批次的梯度微调最终的更新方向,该方法可以在一定程度上增加稳定性,提高网络的学习效率。最后,在人脸识别基准库LFW上的测试实验证明:所提的联合监督算法,在较小的网络训练集上,获得了99.31%的人脸识别精度。 展开更多

关键词 深度学习 中心损失 softmax损失 动量 人脸识别

在线阅读 下载PDF 职称材料

CS-Softmax:一种基于余弦相似性的Softmax损失函数 被引量：18

2

作者 张强 杨吉斌 +2 位作者 张雄伟 曹铁勇 郑昌艳 《计算机研究与发展》 EI CSCD 北大核心 2022年第4期936-949,共14页

卷积神经网络分类框架广泛使用了基于Softmax函数的交叉熵损失(Softmax损失函数),在很多领域中都取得了良好的性能.但是由于Softmax损失函数并不鼓励增大类内紧凑性和类间分离性,在一些多分类问题中,卷积神经网络学习到的判别性嵌入表... 卷积神经网络分类框架广泛使用了基于Softmax函数的交叉熵损失(Softmax损失函数),在很多领域中都取得了良好的性能.但是由于Softmax损失函数并不鼓励增大类内紧凑性和类间分离性,在一些多分类问题中,卷积神经网络学习到的判别性嵌入表示的性能难以进一步提高.为了增强嵌入表示的判别性,提出了一种基于余弦相似性的Softmax(cosine similarity-based Softmax,CS-Softmax)损失函数.CS-Softmax损失函数在不改变神经网络结构的条件下,分别计算嵌入表示与分类全连接层权重的正相似性和负相似性,以实现同类紧凑和异类分离的训练目标.理论分析表明:边距因子、尺度因子、权重更新因子等参数的引入,可以调节各类别决策边距的大小,增大类内紧凑性、类间分离性,增强学习到的嵌入表示的判别性.在典型的音频、图像数据集上的仿真实验结果表明:CS-Softmax损失函数在不增加计算复杂度的同时,可以有效提升多分类任务性能,在MNIST,CIFAR10,CIFAR100图像分类任务中分别取得了99.81%,95.46%,76.46%的分类精度. 展开更多

关键词 模式分类 卷积神经网络 损失函数 softmax 余弦相似性

在线阅读 下载PDF 职称材料

角度空间三元组损失微调的人脸识别 被引量：3

3

作者 任克强 胡慧 《液晶与显示》 CAS CSCD 北大核心 2019年第1期110-117,共8页

针对角度Softmax损失强约束存在的问题,提出一种用角度空间三元组损失对角度Softmax损失预训练模型进行微调的算法。算法首先对原来的卷积神经网络结构进行改进,将1×1卷积核与池化层加在不同残差块间,以进行选择更有效的特征。然... 针对角度Softmax损失强约束存在的问题,提出一种用角度空间三元组损失对角度Softmax损失预训练模型进行微调的算法。算法首先对原来的卷积神经网络结构进行改进,将1×1卷积核与池化层加在不同残差块间,以进行选择更有效的特征。然后用角度空间下的三元组损失对预训练模型进行微调,以降低困难样本的强约束条件。最后在测试时,分别提取原始人脸图像特征和水平翻转的人脸图像特征,对两个特征相加作为最终的人脸特征表达,以丰富人脸特征信息,提高识别率。实验结果表明,在LFW和YTF人脸数据集分别取得了99.25%和94.52%的识别率,在大规模人脸身份识别中,本文提出的方法在仅用单模型和比较小的训练集就能有效地提高人脸识别率。 展开更多

关键词 人脸识别 卷积神经网络 角度softmax损失 三元组损失 特征相加

在线阅读 下载PDF 职称材料

改进的轻量化人脸识别算法 被引量：8

4

作者 屈东东 贺利乐 何林 《智能系统学报》 CSCD 北大核心 2023年第3期544-551,共8页

嵌入式平台计算资源有限,无法实时运行计算量和参数量巨大的深度学习模型。基于mobilenet v2提出一种改进的轻量化人脸识别算法L-mobilenet v2,首先对原有网络结构进行优化,然后以三元损失函数为主,将传统分类任务中的softmax损失改为Am... 嵌入式平台计算资源有限,无法实时运行计算量和参数量巨大的深度学习模型。基于mobilenet v2提出一种改进的轻量化人脸识别算法L-mobilenet v2,首先对原有网络结构进行优化,然后以三元损失函数为主,将传统分类任务中的softmax损失改为Am-softmax作为辅助损失函数,使用10575个人的49万张图片进行联合训练。相比于改进前的模型及训练方法,新模型在LFW测试集和自制数据集的识别准确率达到98.56%和95%,将模型参数量缩减72.3%的同时将识别准确率提高了1.56%和7.1%,在嵌入式平台Jetson nano上的平均识别帧率提升了36.3%。该模型可以在计算资源受限的移动端实时运行。 展开更多

关键词 嵌入式平台 深度学习 人脸识别 轻量化网络 mobilenet v2模型 softmax损失 Am-softmax损失 Jetson nano平台

在线阅读 下载PDF 职称材料

基于深度学习的腹部多器官图像分割 被引量：7

5

作者 谢飞 权媚阳 +1 位作者 管子玉 段群 《西北大学学报（自然科学版）》 CAS CSCD 北大核心 2021年第1期1-7,共7页

CT扫描是临床上腹部相关疾病诊断的常规检查方式,通过CT,医生能对腹部的器官结构和组织病变结构产生更加直观的观察,从而提高了疾病诊断的准确性,因此,精准地对CT图片进行图像分割有着非常重要的临床价值。传统的分割算法针对腹部形变... CT扫描是临床上腹部相关疾病诊断的常规检查方式,通过CT,医生能对腹部的器官结构和组织病变结构产生更加直观的观察,从而提高了疾病诊断的准确性,因此,精准地对CT图片进行图像分割有着非常重要的临床价值。传统的分割算法针对腹部形变较大、体积较小且组织边缘模糊的器官分割效果相对较差。为此,该文提出了基于改进nnUNet腹部多器官图像分割方法,在腹部CT图像上分割肝脏、胃、肠道和胰腺4个器官。该文利用自适应权重的损失函数对nnUNet网络进行改进,使得网络在分割过程中更加关注体积较小且样本数量相对较少的器官特征。实验表明,该文提出方法相对于现有传统的分割方法具有更高的准确性和敏感性。 展开更多

关键词 腹部多器官分割 nnUNet 自适应权重损失函数 语义分割

在线阅读 下载PDF 职称材料

双监督信号深度学习的电气设备红外故障识别 被引量：21

6

作者 贾鑫 张惊雷 温显斌 《红外与激光工程》 EI CSCD 北大核心 2018年第7期22-28,共7页

为提高电气设备红外故障图像识别准确率,提出了基于双监督信号深度学习的电气设备红外故障图像识别方法。首先,使用Slic超像素分割算法合并相似像素成区域块;其次,根据改进后HSV空间的亮度信息判别设备温度异常区域,进而分割出温度异常... 为提高电气设备红外故障图像识别准确率,提出了基于双监督信号深度学习的电气设备红外故障图像识别方法。首先,使用Slic超像素分割算法合并相似像素成区域块;其次,根据改进后HSV空间的亮度信息判别设备温度异常区域,进而分割出温度异常区域所在的连通区域及所对应的设备;最后,基于GoogLeNet卷积神经网络对电气设备红外故障图像进行特征提取,再采用softmax损失和中心损失两种监督信号对提取的特征进行监督训练,并自行建立700幅电气设备红外故障图像数据集,其中500幅用于训练,200幅用于测试。实验结果表明:使用双监督信号深度学习算法测试准确率达到98.6%,比单独使用softmax损失时准确率提高了1%。该算法能够对变压器套管、电流互感器、避雷器、隔离开关、绝缘子5种电气设备及其对应故障精准定位、识别。 展开更多

关键词 红外故障识别 softmax损失 中心损失 卷积神经网络

在线阅读 下载PDF 职称材料

基于Focal损失SSDAE的变压器故障诊断方法 被引量：14

7

作者 武天府 刘征 +2 位作者 王志强 李劲松 李国锋 《电力工程技术》 北大核心 2021年第6期18-24,共7页

研究变压器的故障诊断对电力系统安全稳定运行具有重大现实意义。以油中溶解气体特征为输入的传统变压器故障诊断方法在处理样本不平衡数据时具有较大的局限性。针对这一问题,文中提出一种基于Focal损失栈式稀疏降噪自编码器(SSDAE)的... 研究变压器的故障诊断对电力系统安全稳定运行具有重大现实意义。以油中溶解气体特征为输入的传统变压器故障诊断方法在处理样本不平衡数据时具有较大的局限性。针对这一问题,文中提出一种基于Focal损失栈式稀疏降噪自编码器(SSDAE)的变压器故障诊断方法。该方法通过类别权重确定超参数,并在原始输入中加入高斯白噪声,有利于自编码器充分提取有效特征,进而得到有效的深度特征提取模型;采用Focal损失函数对模型进行优化,并利用Softmax分类器输出诊断结果。案例分析结果表明,与传统三比值法、反向传播神经网络(BPNN)和支持向量机(SVM)法等变压器故障诊断方法相比,文中方法可进一步提升诊断准确率。 展开更多

关键词 变压器 故障诊断 栈式稀疏降噪自编码器(SSDAE) softmax分类器 Focal损失 类别权重

在线阅读 下载PDF 职称材料

双线性模型在中国菜分类中的应用 被引量：2

8

作者 段雪梅 朱明 鲍天龙 《小型微型计算机系统》 CSCD 北大核心 2019年第5期1050-1053,共4页

本文以中国菜作为研究对象,提出了基于双线性模型的菜品识别方法.由于中国菜里很多菜品的相似性,导致分类的难度很大.本文借鉴了细粒度图像识别方法中的双线性模型,然后使用一种基于映射的方法得到一个更加低维的双线性特征表示.并在训... 本文以中国菜作为研究对象,提出了基于双线性模型的菜品识别方法.由于中国菜里很多菜品的相似性,导致分类的难度很大.本文借鉴了细粒度图像识别方法中的双线性模型,然后使用一种基于映射的方法得到一个更加低维的双线性特征表示.并在训练阶段采用一种大裕量softmax损失函数.该损失函数通过增加一个正整数变量,在损失函数里产生一个裕量,使同种类别的学习难度增加,从而使学到的特征更加有区分性.将网络在一个208类的中国菜数据集上的测试表明,与以往的方法相比,该方法提高了准确率,减少了过拟合,取得了更好的分类结果. 展开更多

关键词 中国菜分类 双线性模型 卷积神经网络 大裕量softmax损失函数

在线阅读 下载PDF 职称材料

基于深度学习的秀丽隐杆线虫显微图像分割方法 被引量：3

9

作者 曾招鑫 刘俊 《计算机应用》 CSCD 北大核心 2020年第5期1453-1459,共7页

利用计算机实现自动、准确的秀丽隐杆线虫(C.elegans)的各项形态学参数分析,至关重要的是从显微图像上分割出线虫体态,但由于显微镜下的图像噪声较多,线虫边缘像素与周围环境相似,而且线虫的体态具有鞭毛和其他附着物需要分离,多方面因... 利用计算机实现自动、准确的秀丽隐杆线虫(C.elegans)的各项形态学参数分析,至关重要的是从显微图像上分割出线虫体态,但由于显微镜下的图像噪声较多,线虫边缘像素与周围环境相似,而且线虫的体态具有鞭毛和其他附着物需要分离,多方面因素导致设计一个鲁棒性的C.elegans分割算法仍然面临着挑战。针对这些问题,提出了一种基于深度学习的线虫分割方法,通过训练掩模区域卷积神经网络(Mask R-CNN)学习线虫形态特征实现自动分割。首先,通过改进多级特征池化将高级语义特征与低级边缘特征融合,结合大幅度软最大损失(LMSL)损失算法改进损失计算;然后,改进非极大值抑制;最后,引入全连接融合分支等方法对分割结果进行进一步优化。实验结果表明,相比原始的Mask R-CNN,该方法平均精确率(AP)提升了4.3个百分点,平均交并比(mIOU)提升了4个百分点。表明所提出的深度学习分割方法能够有效提高分割准确率,在显微图像中更加精确地分割出线虫体。 展开更多

关键词 秀丽隐杆线虫 图像分割 深度学习 掩模区域卷积神经网络 特征融合 大幅度软最大损失

在线阅读 下载PDF 职称材料

深度度量学习综述 被引量：21

10

作者 刘冰 李瑞麟 封举富 《智能系统学报》 CSCD 北大核心 2019年第6期1064-1072,共9页

深度度量学习已成为近年来机器学习最具吸引力的研究领域之一,如何有效的度量物体间的相似性成为问题的关键。现有的依赖成对或成三元组的损失函数,由于正负样本可组合的数量极多,因此一种合理的解决方案是仅对训练有意义的正负样本采样... 深度度量学习已成为近年来机器学习最具吸引力的研究领域之一,如何有效的度量物体间的相似性成为问题的关键。现有的依赖成对或成三元组的损失函数,由于正负样本可组合的数量极多,因此一种合理的解决方案是仅对训练有意义的正负样本采样,也称为“难例挖掘”。为减轻挖掘有意义样本时的计算复杂度,代理损失设置了数量远远小于样本集合的代理点集。该综述按照时间顺序,总结了深度度量学习领域比较有代表性的算法,并探讨了其与softmax分类的联系,发现两条看似平行的研究思路,实则背后有着一致的思想。进而文章探索了许多致力于提升softmax判别性能的改进算法,并将其引入到度量学习中,从而进一步缩小类内距离、扩大类间距,提高算法的判别性能。 展开更多

关键词 深度度量学习 深度学习 机器学习 对比损失 三元组损失 代理损失 softmax分类 温度值

在线阅读 下载PDF 职称材料

基于改进的Faster R-CNN的齿轮外观缺陷识别研究 被引量：9

11

作者 吉卫喜 杜猛 +1 位作者 彭威 徐杰 《系统仿真学报》 CAS CSCD 北大核心 2019年第11期2198-2205,共8页

为了实现齿轮外观缺陷自动化识别,提高齿轮产品的合格率。针对传统缺陷识别算法泛化差,人工提取特征耗时,提出了一种改进的较快的基于区域卷积神经网络(FasterR-CNN)的齿轮缺陷识别模型。设计出VGG-2CF网络,提高识别较小目标的能力;引入... 为了实现齿轮外观缺陷自动化识别,提高齿轮产品的合格率。针对传统缺陷识别算法泛化差,人工提取特征耗时,提出了一种改进的较快的基于区域卷积神经网络(FasterR-CNN)的齿轮缺陷识别模型。设计出VGG-2CF网络,提高识别较小目标的能力;引入AM-Softmax损失函数,以减小类内特征的差异性,进一步增大类之间差异性;结合机器学习算法中的F度量值(F-measure),提出一种AMF-Softmax损失函数,解决数据不平衡的问题。实验结果表明,提出的改进模型具有较高的识别率,适用于齿轮外观的自动化检测。 展开更多

关键词 齿轮缺陷识别 FASTER R-CNN VGG-2CF AMF-softmax损失函数

在线阅读 下载PDF 职称材料

基于改进ResNet网络的有遮挡车牌识别 被引量：5

12

作者 关晓艳 李亚 《农业装备与车辆工程》 2022年第11期58-63,共6页

为了提高有遮挡车牌的识别准确率,提出一种改进深度残差网络(Deep residual network,ResNet)损失函数的车牌识别方法。首先运用图像平滑处理技术对图像特征进行增强,其次利用边缘检测算法实现对车牌的定位,然后基于先验知识按照标准车... 为了提高有遮挡车牌的识别准确率,提出一种改进深度残差网络(Deep residual network,ResNet)损失函数的车牌识别方法。首先运用图像平滑处理技术对图像特征进行增强,其次利用边缘检测算法实现对车牌的定位,然后基于先验知识按照标准车牌中各个字符的比例对车牌进行分割。在此基础上,运用改进后的ResNet网络对有遮挡车牌样本库进行训练以及识别,并采用同样样本大小的无遮挡车牌样本库进行对比实验。实验结果表明,改进后的ResNet网络采用有遮挡车牌样本库训练的模型具有较好的识别准确率,且更具有鲁棒性。 展开更多

关键词 车牌识别 车牌定位 字符分割 深度残差网络 softmax损失函数

在线阅读 下载PDF 职称材料

判别卷积神经网络的手写字符识别模型 被引量：2

13

作者 屈喜文 吴响 +1 位作者 胡冕军 黄俊 《计算机工程与应用》 CSCD 北大核心 2023年第22期151-157,共7页

目前用于离线和联机手写字符识别的深度学习模型一般深度较浅,且使用softmax损失函数进行训练,缺乏从不同类样本中学习判别信息的能力。为构建更深层卷积神经网络模型,提出了一种编码器与解码器相结合的卷积神经网络模型,该模型可以有... 目前用于离线和联机手写字符识别的深度学习模型一般深度较浅,且使用softmax损失函数进行训练,缺乏从不同类样本中学习判别信息的能力。为构建更深层卷积神经网络模型,提出了一种编码器与解码器相结合的卷积神经网络模型,该模型可以有效增加网络深度,避免模型参数剧增导致训练困难的问题。为了进一步提高深度学习模型的识别精度,提出了一种判别损失函数,该损失函数通过最小化训练样本在全连接层的输出与该样本同类别优化原型之间的距离来训练神经网络模型。由于优化原型由最小化分类误差算法学习得到,使用判别损失函数训练的卷积神经网络模型具备了更强的判别能力。在公开的联机手写汉字数据集IAHCC-UCAS2016和离线手写字符数据集MNIST上进行对比实验,实验结果表明,在联机手写数据集上与softmax损失函数相比,判别损失函数的识别率提高了1.04个百分点。在两个数据集上,与现有的用于手写字符识别的传统模型和深度模型相比,提出的判别卷积神经网络模型识别率分别达到95.53%和99.73%,获得了更高的识别精度。 展开更多

关键词 手写字符识别 深度学习 softmax损失函数 优化原型 最小化分类误差算法

在线阅读 下载PDF 职称材料

基于改进R-FCN算法与类激活图的销钉类缺陷细粒度检测 被引量：2

14

作者 孙劼 刘光 刘欢 《广东电力》 2023年第6期50-57,共8页

销钉类缺陷常见于输电线路无人机巡检图像中,因图像占比小、缺陷特征不明显等原因,其检测精度低于其他类缺陷。针对该问题,采用基于区域的全卷积神经网络(region-based fully convonlutional networks,R-FCN)算法建立目标检测网络,分析... 销钉类缺陷常见于输电线路无人机巡检图像中,因图像占比小、缺陷特征不明显等原因,其检测精度低于其他类缺陷。针对该问题,采用基于区域的全卷积神经网络(region-based fully convonlutional networks,R-FCN)算法建立目标检测网络,分析混淆矩阵,确定算法改进策略。首先,通过网格化拆分实现高清晰度图像的预处理;其次,构建类别平衡的大间隔Softmax损失函数,平衡样本数量,增大类间方差,改善网络检测精度;最后,通过类激活映射的方法生成金具级类激活图,提取螺栓背景信息,实现2类易混淆螺栓的细粒度分类。在无人机巡检图像数据集中进行测试,比较所提改进算法与其他经典算法的检测结果,验证了改进R-FCN算法对销钉类缺陷的检测能力。 展开更多

关键词 无人机图像检测 销钉类缺陷 大间隔softmax损失函数 类别不平衡 类激活映射

在线阅读 下载PDF 职称材料