CS-Softmax:一种基于余弦相似性的Softmax损失函数 被引量：16

1

作者 张强 杨吉斌 +2 位作者 张雄伟 曹铁勇 郑昌艳 《计算机研究与发展》 EI CSCD 北大核心 2022年第4期936-949,共14页

卷积神经网络分类框架广泛使用了基于Softmax函数的交叉熵损失(Softmax损失函数),在很多领域中都取得了良好的性能.但是由于Softmax损失函数并不鼓励增大类内紧凑性和类间分离性,在一些多分类问题中,卷积神经网络学习到的判别性嵌入表... 卷积神经网络分类框架广泛使用了基于Softmax函数的交叉熵损失(Softmax损失函数),在很多领域中都取得了良好的性能.但是由于Softmax损失函数并不鼓励增大类内紧凑性和类间分离性,在一些多分类问题中,卷积神经网络学习到的判别性嵌入表示的性能难以进一步提高.为了增强嵌入表示的判别性,提出了一种基于余弦相似性的Softmax(cosine similarity-based Softmax,CS-Softmax)损失函数.CS-Softmax损失函数在不改变神经网络结构的条件下,分别计算嵌入表示与分类全连接层权重的正相似性和负相似性,以实现同类紧凑和异类分离的训练目标.理论分析表明:边距因子、尺度因子、权重更新因子等参数的引入,可以调节各类别决策边距的大小,增大类内紧凑性、类间分离性,增强学习到的嵌入表示的判别性.在典型的音频、图像数据集上的仿真实验结果表明:CS-Softmax损失函数在不增加计算复杂度的同时,可以有效提升多分类任务性能,在MNIST,CIFAR10,CIFAR100图像分类任务中分别取得了99.81%,95.46%,76.46%的分类精度. 展开更多

关键词 模式分类 卷积神经网络 损失函数 softmax 余弦相似性

在线阅读 下载PDF 职称材料

一种自适应的大间隔近邻分类算法 被引量：15

2

作者 杨柳 于剑 景丽萍 《计算机研究与发展》 EI CSCD 北大核心 2013年第11期2269-2277,共9页

kNN分类算法虽然已经广泛地应用于模式识别的各个领域,但是如何对kNN进行改进仍然是一个研究热点.在各种改进方法中,大间隔近邻分类方法取得了较好的改进效果,但是该算法仍然有一些缺点,例如算法对所有测试样本选择的邻域大小(即k值)都... kNN分类算法虽然已经广泛地应用于模式识别的各个领域,但是如何对kNN进行改进仍然是一个研究热点.在各种改进方法中,大间隔近邻分类方法取得了较好的改进效果,但是该算法仍然有一些缺点,例如算法对所有测试样本选择的邻域大小(即k值)都是一样的.针对这一缺点,提出了将自适应选择k值引入到目标函数设定中的自适应大间隔近邻分类算法(ALMNN).该算法的主要步骤是:首先为每个测试样本计算一个k值,然后在每一类选取k个目标近邻,计算属于每一类的损失函数值,选择拥有最小函数值的类作为测试样本的类别.给出了ALMNN方法的算法描述,并且通过多个数据集的实验表明,提出的算法与传统的kNN,LMNN比较,可以在一定程度上提高分类的性能,减少了k值的选择对分类性能的影响,训练集的随机抽取对算法的分类性能影响较小. 展开更多

关键词 自适应k值 马氏距离 大间隔近邻分类 强度函数 损失函数

在线阅读 下载PDF 职称材料

基于大间隔方法的汉语组块分析 被引量：7

3

作者 周俊生 戴新宇 +1 位作者 陈家骏 曲维光 《软件学报》 EI CSCD 北大核心 2009年第4期870-877,共8页

汉语组块分析是中文信息处理领域中一项重要的子任务.在一种新的结构化SVMs(support vector machines)模型的基础上,提出一种基于大间隔方法的汉语组块分析方法.首先,针对汉语组块分析问题设计了序列化标注模型;然后根据大间隔思想给出... 汉语组块分析是中文信息处理领域中一项重要的子任务.在一种新的结构化SVMs(support vector machines)模型的基础上,提出一种基于大间隔方法的汉语组块分析方法.首先,针对汉语组块分析问题设计了序列化标注模型;然后根据大间隔思想给出判别式的序列化标注函数的优化目标,并应用割平面算法实现对特征参数的近似优化训练.针对组块识别问题设计了一种改进的F1损失函数,使得F1损失值能够依据每个句子的实际长度进行相应的调整,从而能够引入更有效的约束不等式.通过在滨州中文树库CTB4数据集上的实验数据显示,基于改进的F1损失函数所产生的识别结果优于Hamming损失函数,各种类型组块识别的总的F1值为91.61%,优于CRFs(conditional random fields)和SVMs方法. 展开更多

关键词 汉语组块分析 大间隔 判别式学习 损失函数

在线阅读 下载PDF 职称材料

二阶环形间隔分类器

4

作者 方景龙 王万良 +1 位作者 梁东升 周其力 《电子学报》 EI CAS CSCD 北大核心 2011年第7期1634-1638,共5页

采用二阶损失函数,提出了一种二阶环形间隔分类器,它运用超球面将两类训练样本隔开,同时最大化两类间隔.实验结果表明,不管是对平衡问题还是不平衡问题,所提出的二阶环形间隔分类方法都获得了比较好的分类效果.

关键词 模式分类 支持向量数据描述 二阶损失函数 环形间隔

在线阅读 下载PDF 职称材料

基于最大化间隔准则和成对约束的鲁棒半监督聚类研究

5

作者 曾洪 宋爱国 卢伟 《高技术通讯》 CAS CSCD 北大核心 2013年第1期85-90,共6页

针对现有半监督最大间隔聚类算法在不同类别中有不少样本非常相似的情况下难以提高聚类准确度的问题，提出了下述解决策略：首先，基于最大化间隔准则设计一种鲁棒的成对约束损失函数，即使不同类别有较多样本非常相似，该函数仍然能有... 针对现有半监督最大间隔聚类算法在不同类别中有不少样本非常相似的情况下难以提高聚类准确度的问题，提出了下述解决策略：首先，基于最大化间隔准则设计一种鲁棒的成对约束损失函数，即使不同类别有较多样本非常相似，该函数仍然能有效地检测不能满足成对约束的聚类结果，并提供相应的惩罚，从而能较好地提高聚类的性能。其次，基于约束凹凸过程设计一种迭代算法进行求解。进而，基于这一策略，提出了一种新的聚类算法——鲁棒的成对约束最大化间隔聚类（BPCMMC）算法。实验结果表明，该算法能有效克服现有半监督最大间隔聚类算法的不足，其聚类错误率明显低于传统的半监督聚类算法。 展开更多

关键词 半监督聚类 成对约束 最大化间隔准则 鲁棒的损失函数 约束凹凸过程 (CCCP)

在线阅读 下载PDF 职称材料

基于改进的大间隔最近邻胰腺单细胞分类方法

6

作者 奚紫怡 鲁佳宇 +2 位作者 陈卓 相洁 王彬 《太原理工大学学报》 CAS 北大核心 2023年第5期812-819,共8页

【目的】细胞类型鉴定是单细胞RNA测序的关键步骤之一,存在单细胞RNA测序数据分类准确率较低及各细胞类型距离特征度量不足的问题。【方法】提出一种基于多相似性损失函数(Multi Similarity Loss,MSL)的大间隔最近邻(Large Margin Neare... 【目的】细胞类型鉴定是单细胞RNA测序的关键步骤之一,存在单细胞RNA测序数据分类准确率较低及各细胞类型距离特征度量不足的问题。【方法】提出一种基于多相似性损失函数(Multi Similarity Loss,MSL)的大间隔最近邻(Large Margin Nearest Neighbor,LMNN)单细胞分类方法。多相似性损失从多个角度衡量相似性,解决了LMNN算法的三元组损失函数训练样本较小时样本对之间关系利用率不高的问题,从而提升单细胞分类效果。【结果】在胰腺单细胞数据集baron_human和segerstolpe上的实验表明,基于MSL-LMNN的分类准确率高于主要度量学习方法,而且与随机森林结合的准确率达到0.96,较现有单细胞分类方法有所提升。【结论】提出的MSL-LMNN能够准确有效地识别胰腺单细胞测序数据细胞类型,具有一定的应用价值。 展开更多

关键词 胰腺单细胞数据 大间隔最近邻 多相似性损失函数 随机森林

在线阅读 下载PDF 职称材料

基于改进R-FCN算法与类激活图的销钉类缺陷细粒度检测 被引量：2

7

作者 孙劼 刘光 刘欢 《广东电力》 2023年第6期50-57,共8页

销钉类缺陷常见于输电线路无人机巡检图像中,因图像占比小、缺陷特征不明显等原因,其检测精度低于其他类缺陷。针对该问题,采用基于区域的全卷积神经网络(region-based fully convonlutional networks,R-FCN)算法建立目标检测网络,分析... 销钉类缺陷常见于输电线路无人机巡检图像中,因图像占比小、缺陷特征不明显等原因,其检测精度低于其他类缺陷。针对该问题,采用基于区域的全卷积神经网络(region-based fully convonlutional networks,R-FCN)算法建立目标检测网络,分析混淆矩阵,确定算法改进策略。首先,通过网格化拆分实现高清晰度图像的预处理;其次,构建类别平衡的大间隔Softmax损失函数,平衡样本数量,增大类间方差,改善网络检测精度;最后,通过类激活映射的方法生成金具级类激活图,提取螺栓背景信息,实现2类易混淆螺栓的细粒度分类。在无人机巡检图像数据集中进行测试,比较所提改进算法与其他经典算法的检测结果,验证了改进R-FCN算法对销钉类缺陷的检测能力。 展开更多

关键词 无人机图像检测 销钉类缺陷 大间隔softmax损失函数 类别不平衡 类激活映射

在线阅读 下载PDF 职称材料

基于深度学习的图像样本标签赋值校正算法实现 被引量：2

8

作者 舒忠 《数字印刷》 北大核心 2019年第4期38-45,73,共9页

本研究针对当前大量应用深度学习建构训练模型的图像识别算法中普遍存在的忽视图像样本标签预判及校正的问题,提出了在深度神经网络传输层模型构建中,引入对样本所对应标签值进行校正的深度学习算法。以神经元和传输层模型设计这两个关... 本研究针对当前大量应用深度学习建构训练模型的图像识别算法中普遍存在的忽视图像样本标签预判及校正的问题,提出了在深度神经网络传输层模型构建中,引入对样本所对应标签值进行校正的深度学习算法。以神经元和传输层模型设计这两个关键要素为基础,通过加入偏置量后具备非线性变换的Sigmoid激励函数设计神经元的结构模型,通过Softmaxloss损失函数计算样本标签出现的误差,并采用控制误差值趋近最少的机制,设计输出层模型。采用tensorFlow编程工具构建卷积神经网络进行迭代训练实验,实验结果表明,本研究提出的算法,有效地控制了因样本标签赋值错误出现频率和迭代次数不断增加而造成的识别准确率累加下降的问题,实验中图像识别准确率可达到96.91%以上。 展开更多

关键词 Sigmoid激励函数 softmax分类函数 softmaxloss损失函数 图像样本 卷积神经网络

在线阅读 下载PDF 职称材料

双线性模型在中国菜分类中的应用 被引量：2

9

作者 段雪梅 朱明 鲍天龙 《小型微型计算机系统》 CSCD 北大核心 2019年第5期1050-1053,共4页

本文以中国菜作为研究对象,提出了基于双线性模型的菜品识别方法.由于中国菜里很多菜品的相似性,导致分类的难度很大.本文借鉴了细粒度图像识别方法中的双线性模型,然后使用一种基于映射的方法得到一个更加低维的双线性特征表示.并在训... 本文以中国菜作为研究对象,提出了基于双线性模型的菜品识别方法.由于中国菜里很多菜品的相似性,导致分类的难度很大.本文借鉴了细粒度图像识别方法中的双线性模型,然后使用一种基于映射的方法得到一个更加低维的双线性特征表示.并在训练阶段采用一种大裕量softmax损失函数.该损失函数通过增加一个正整数变量,在损失函数里产生一个裕量,使同种类别的学习难度增加,从而使学到的特征更加有区分性.将网络在一个208类的中国菜数据集上的测试表明,与以往的方法相比,该方法提高了准确率,减少了过拟合,取得了更好的分类结果. 展开更多

关键词 中国菜分类 双线性模型 卷积神经网络 大裕量softmax损失函数

在线阅读 下载PDF 职称材料

基于改进ResNet网络的有遮挡车牌识别 被引量：5

10

作者 关晓艳 李亚 《农业装备与车辆工程》 2022年第11期58-63,共6页

为了提高有遮挡车牌的识别准确率,提出一种改进深度残差网络(Deep residual network,ResNet)损失函数的车牌识别方法。首先运用图像平滑处理技术对图像特征进行增强,其次利用边缘检测算法实现对车牌的定位,然后基于先验知识按照标准车... 为了提高有遮挡车牌的识别准确率,提出一种改进深度残差网络(Deep residual network,ResNet)损失函数的车牌识别方法。首先运用图像平滑处理技术对图像特征进行增强,其次利用边缘检测算法实现对车牌的定位,然后基于先验知识按照标准车牌中各个字符的比例对车牌进行分割。在此基础上,运用改进后的ResNet网络对有遮挡车牌样本库进行训练以及识别,并采用同样样本大小的无遮挡车牌样本库进行对比实验。实验结果表明,改进后的ResNet网络采用有遮挡车牌样本库训练的模型具有较好的识别准确率,且更具有鲁棒性。 展开更多

关键词 车牌识别 车牌定位 字符分割 深度残差网络 softmax损失函数

在线阅读 下载PDF 职称材料

基于注意力机制的商家招牌分类研究 被引量：3

11

作者 李兰 郑雨薇 +1 位作者 魏少玮 胡克勇 《计算机工程》 CAS CSCD 北大核心 2021年第1期305-311,共7页

为解决采用卷积神经网络对商家招牌进行分类时存在特征判别性较差的问题,通过在注意力机制中引入神经网络,提出一种端到端的深度学习卷积神经网络方法。使用卷积注意力模块分别学习通道注意力与空间注意力信息以增强特征的判别性,利用... 为解决采用卷积神经网络对商家招牌进行分类时存在特征判别性较差的问题,通过在注意力机制中引入神经网络,提出一种端到端的深度学习卷积神经网络方法。使用卷积注意力模块分别学习通道注意力与空间注意力信息以增强特征的判别性,利用余弦间隔损失函数增强所提取特征的泛化能力,且可在特征空间中减小类内方差与增大类间间隔。实验结果表明,与基于传统交叉损失函数方法相比,该方法通过将注意力机制模块与余弦间隔损失函数相结合,使得准确率与F1值分别提高2.2和2.0个百分点,达到99.3%和98.6%。 展开更多

关键词 端到端的深度学习 卷积神经网络 注意力机制 余弦间隔损失函数 商家招牌分类

在线阅读 下载PDF 职称材料

判别卷积神经网络的手写字符识别模型 被引量：1

12

作者 屈喜文 吴响 +1 位作者 胡冕军 黄俊 《计算机工程与应用》 CSCD 北大核心 2023年第22期151-157,共7页

目前用于离线和联机手写字符识别的深度学习模型一般深度较浅,且使用softmax损失函数进行训练,缺乏从不同类样本中学习判别信息的能力。为构建更深层卷积神经网络模型,提出了一种编码器与解码器相结合的卷积神经网络模型,该模型可以有... 目前用于离线和联机手写字符识别的深度学习模型一般深度较浅,且使用softmax损失函数进行训练,缺乏从不同类样本中学习判别信息的能力。为构建更深层卷积神经网络模型,提出了一种编码器与解码器相结合的卷积神经网络模型,该模型可以有效增加网络深度,避免模型参数剧增导致训练困难的问题。为了进一步提高深度学习模型的识别精度,提出了一种判别损失函数,该损失函数通过最小化训练样本在全连接层的输出与该样本同类别优化原型之间的距离来训练神经网络模型。由于优化原型由最小化分类误差算法学习得到,使用判别损失函数训练的卷积神经网络模型具备了更强的判别能力。在公开的联机手写汉字数据集IAHCC-UCAS2016和离线手写字符数据集MNIST上进行对比实验,实验结果表明,在联机手写数据集上与softmax损失函数相比,判别损失函数的识别率提高了1.04个百分点。在两个数据集上,与现有的用于手写字符识别的传统模型和深度模型相比,提出的判别卷积神经网络模型识别率分别达到95.53%和99.73%,获得了更高的识别精度。 展开更多

关键词 手写字符识别 深度学习 softmax损失函数 优化原型 最小化分类误差算法

在线阅读 下载PDF 职称材料