期刊文献+
共找到38篇文章
< 1 2 >
每页显示 20 50 100
带有谱解耦正则的交叉熵损失的解
1
作者 扈崟汉 郭田德 韩丛英 《中国科学院大学学报(中英文)》 北大核心 2025年第2期268-275,共8页
研究在过参数化线性模型下,不同强度的谱解耦正则对模型的影响。在没有权重衰减的情况下,证明不同强度的谱解耦正则得到的模型是等价的。在存在较小权重衰减时,用目标函数的二阶泰勒展开得到一个近似解,分析该近似解发现减小谱解耦正则... 研究在过参数化线性模型下,不同强度的谱解耦正则对模型的影响。在没有权重衰减的情况下,证明不同强度的谱解耦正则得到的模型是等价的。在存在较小权重衰减时,用目标函数的二阶泰勒展开得到一个近似解,分析该近似解发现减小谱解耦正则有增强权重衰减的作用,并且在二分类问题中直接等价于增大权重衰减的系数。最后,通过实验验证该结论。 展开更多
关键词 交叉熵损失 谱解耦正则 权重衰减 梯度饥饿 神经网络
在线阅读 下载PDF
融合中心损失和焦点损失的蝴蝶自动识别
2
作者 李小林 李建祥 +3 位作者 陈彬彬 王荣 张飞萍 黄世国 《昆虫学报》 北大核心 2025年第2期223-230,共8页
【目的】针对蝴蝶样本存在类间和类内分布不平衡导致识别性能下降的问题,探索一种多损失融合的蝴蝶自动识别方法。【方法】利用开源的Butterfly-200图像数据集作为实验数据。该数据集包括200种蝴蝶,每种蝴蝶的图像数量从30~885不等。以... 【目的】针对蝴蝶样本存在类间和类内分布不平衡导致识别性能下降的问题,探索一种多损失融合的蝴蝶自动识别方法。【方法】利用开源的Butterfly-200图像数据集作为实验数据。该数据集包括200种蝴蝶,每种蝴蝶的图像数量从30~885不等。以交叉熵损失(cross-entropy loss)为基准损失,分别叠加对比损失(contrastive loss)、焦点损失(focal loss)、类平衡损失(class-balanced loss)、采样(sampling)、logit调整(logit adjustment),比较算法的识别性能。在此基础上,利用中心损失(center loss)有助于缓解类内不平衡而焦点损失有助于缓解类内和类间不平衡的特点,开展消融实验分析叠加中心损失和焦点损失对识别性能的影响,提出了融合上述这两种损失的蝴蝶自动识别新方法。【结果】交叉熵损失与其他单一损失(对比损失除外)结合时,算法的识别性能基本上呈现不同程度的下降。我们的算法在交叉熵损失基础上结合中心损失和焦点损失后,其识别性能均超过交叉熵损失及其与其他损失的组合,准确率、F1分值、查准率和召回率分别91.67%,90.68%,91.68%和90.38%。消融试验进一步证实了中心损失和焦点损失的互补性,同时使用这两种损失能明显提升识别性能。此外,不同权重的损失组合对识别性能也有明显影响。【结论】研究结果证明融合中心损失和焦点损失在一定程度上缓解了类间和类内分布不均衡的问题,能够有效提高蝴蝶识别的准确性,为生态环境监测提供了一种有效的辅助手段。 展开更多
关键词 蝴蝶 分布不均衡 交叉熵损失 中心损失 焦点损失 图像分类
在线阅读 下载PDF
基于多表征学习的交叉熵集成图像分类方法 被引量:3
3
作者 曲坤 王震龙 刘志锋 《计算机工程》 CAS CSCD 北大核心 2024年第10期322-333,共12页
交叉熵损失是分类任务中常见的损失函数,然而现有深度分类方法往往使用单模型的交叉熵设计,存在分类泛化能力低、鲁棒性差等问题。受到多视图表征学习的启发,提出一种深度集成的交叉熵损失方法,以提高模型的泛化能力和鲁棒性。通过构建... 交叉熵损失是分类任务中常见的损失函数,然而现有深度分类方法往往使用单模型的交叉熵设计,存在分类泛化能力低、鲁棒性差等问题。受到多视图表征学习的启发,提出一种深度集成的交叉熵损失方法,以提高模型的泛化能力和鲁棒性。通过构建多样化子网络,学习单一图像数据下多个深度视角的不同表征,最终通过集成化交叉熵设计,将图像数据的多视角表征进行集成分类。该方法可以充分利用多视角深度网络的多样化表征进行图像的鲁棒分类,即将多个视图的交叉熵损失统一到整体的集成空间中进行分类,从而提升传统单一模型交叉熵设计下的图像分类性能。在SVHN、CIFAR等图像数据集上的实验结果表明,相比于现有的MEAL、CEN等图像分类方法,该方法在识别准确率上获得了明显提升。 展开更多
关键词 深层网络 图像分类 交叉熵损失 多表征学习 集成学习
在线阅读 下载PDF
基于双交叉熵的自适应残差卷积图像分类算法 被引量:7
4
作者 李伟 黄鹤鸣 《计算机工程与设计》 北大核心 2023年第12期3670-3676,共7页
为弥补卷积神经网络在图像分类方面对颜色特征的不敏感,并生成更逼真的图像样本,提出一种基于双交叉熵的自适应残差卷积图像分类算法。将双交叉熵损失函数应用到深度卷积生成对抗网络中的判别模型;结合图像的主颜色特征和残差卷积神经... 为弥补卷积神经网络在图像分类方面对颜色特征的不敏感,并生成更逼真的图像样本,提出一种基于双交叉熵的自适应残差卷积图像分类算法。将双交叉熵损失函数应用到深度卷积生成对抗网络中的判别模型;结合图像的主颜色特征和残差卷积神经网络提取的空间位置特征,运用改进的差分演化算法解决多特征融合权重系数的设定问题。实验结果表明,所提算法与传统的CNN算法相比,准确率明显提高10.75个百分点。双交叉熵损失函数可以提高判别模型区分生成图像与真实图像的能力,迫使生成模型生成更逼真的图像样本。 展开更多
关键词 交叉熵损失 生成对抗网络 卷积神经网络 多特征融合 自适应权重 改进的差分演化算法 图像分类
在线阅读 下载PDF
结合小波变换与注意力机制的轴承故障诊断 被引量:1
5
作者 赵玲 孟阳 +2 位作者 蒋振霖 吕颖 王航 《振动.测试与诊断》 北大核心 2025年第3期430-437,616,共9页
针对传统一维轴承振动信号特征表达效果较弱、轴承故障数据时频特征提取困难及其诊断精度较低等问题,提出一种基于小波变换与注意力机制网络(wavelet transform and attention mechanism net,简称WTA-Net)的轻量化轴承故障诊断方法。首... 针对传统一维轴承振动信号特征表达效果较弱、轴承故障数据时频特征提取困难及其诊断精度较低等问题,提出一种基于小波变换与注意力机制网络(wavelet transform and attention mechanism net,简称WTA-Net)的轻量化轴承故障诊断方法。首先,通过小波变换将滚动轴承的一维振动时序信号转化为二维时频图;其次,针对网络训练时梯度消失的问题,提出改进的轻量化骨干网络R-ResNet18提取二维时频图特征;然后,在网络不同尺度的特征层嵌入时空注意力机制(convolutional block attention module,简称CBAM),使网络更加关注二维时频图的关键信息特征;最后,采用标签平滑的交叉熵损失函数来对网络模型进行训练。实验结果表明,所提出方法能够精准地辨识不同故障类型和故障严重程度,在凯斯西储大学轴承数据集10个分类任务中可达到99.9%的分类精度,模型应用在辛辛那提大学智能维护系统(intelligent maintenance systems,简称IMS)轴承数据集上的分类精度达到了99.9%,提取的特征信息区分度高,具有良好的泛化性和鲁棒性。 展开更多
关键词 小波变换 交叉熵损失 注意力机制 故障诊断 振动信号
在线阅读 下载PDF
基于声纹识别的变压器故障检测方法 被引量:1
6
作者 李章维 周浩 +1 位作者 郑文皓 陈毅恒 《浙江工业大学学报》 北大核心 2025年第3期293-298,共6页
由于传统的变压器故障检测方法通过专业技术人员根据设备运行声音判断故障类型与故障位置,存在一定的局限性和主观性,因此提出了一种利用变压器声音的纹理特征进行故障诊断的方法。在利用x-vector的基础上,针对变压器故障负样本数据获... 由于传统的变压器故障检测方法通过专业技术人员根据设备运行声音判断故障类型与故障位置,存在一定的局限性和主观性,因此提出了一种利用变压器声音的纹理特征进行故障诊断的方法。在利用x-vector的基础上,针对变压器故障负样本数据获取困难、数据量少的特点,引入抑制过拟合和改善交叉熵损失函数方法,解决内部数据分类不平衡的问题,准确实现变压器的故障识别。 展开更多
关键词 变压器故障 声纹识别 x-vector 交叉熵损失函数
在线阅读 下载PDF
基于数据驱动的水平井压裂裂缝扩展动态智能表征方法
7
作者 袁彬 赵明泽 +3 位作者 戴彩丽 张伟 吴淑红 范天一 《钻采工艺》 北大核心 2025年第1期138-146,共9页
水力压裂是提高地质能源开发的一项关键技术,实现压裂裂缝扩展准确高效预测对地质能源的开发至关重要。深度学习方法为压裂裂缝扩展快速预测提供了新技术,但现有神经网络结构不适用于受多因素耦合影响的水力压裂场景。为实现压裂裂缝扩... 水力压裂是提高地质能源开发的一项关键技术,实现压裂裂缝扩展准确高效预测对地质能源的开发至关重要。深度学习方法为压裂裂缝扩展快速预测提供了新技术,但现有神经网络结构不适用于受多因素耦合影响的水力压裂场景。为实现压裂裂缝扩展的高效智能预测,文章耦合快速傅里叶算法、并行卷积层和U-Net框架,建立了AttFC-U-Net网络结构。基于储层参数非均质性和压裂设计等参数,Att-FC-U-Net能够高效预测水平井各压裂段中裂缝扩展的三维形态。模型评价指标交叉熵损失(CE)低于0.0001,F1分数超过0.93。研究结果表明,与数值模拟方法相比,Att-FC-U-Net在预测裂缝扩展方面表现出极强的学习性和高效性,为压裂智能化提供了新思路,有望成为辅助甚至替代数值模拟技术的新技术。 展开更多
关键词 三维裂缝扩展 水平井压裂 天然裂缝 交叉熵损失 数据驱动
在线阅读 下载PDF
基于FDTRP-ALDCNN的小样本轴承故障诊断方法
8
作者 王娜 刘佳林 王子从 《铁道科学与工程学报》 北大核心 2025年第9期4271-4283,共13页
针对滚动轴承在小样本条件下诊断精度低的问题,提出一种基于频域无阈值递归图与自适应线性可变卷积神经网络(frequency domain thresholdless recurrence plot-adaptive linear deformable convolutional neural network,FDTRP-ALDCNN)... 针对滚动轴承在小样本条件下诊断精度低的问题,提出一种基于频域无阈值递归图与自适应线性可变卷积神经网络(frequency domain thresholdless recurrence plot-adaptive linear deformable convolutional neural network,FDTRP-ALDCNN)的滚动轴承故障诊断方法。首先,使用快速傅里叶变换(fast fourier transform,FFT)将一维时域信号转为频域信号,并与无阈值递归图(thresholdless recurrence plot,TRP)相结合,以有效构建初始特征,提高模型输入质量;其次,采用线性可变卷积核(linear deformable convolutional kernel,LDConv)替换卷积神经网络中方形卷积核,从而能够根据采样数据的分布来调整卷积核形状,准确获取空间信息中的关键特征,提高小样本数据的利用率;再次,设计自适应交叉熵(adaptive cross entropy,ACE)损失函数,根据样本分类损失自适应调整分类器对难分与易分样本的拟合程度,增强难分样本损失在整体分类损失中的显著性,进一步提高小样本下的模型诊断精度;最后,采用CWRU滚动轴承数据集对所提方法进行3组仿真验证。对比仿真的结果表明,所提模型在不同小样本数量下均有较高的诊断准确率,最高可达到99.82%。而对2组不平衡数据集的泛化性分析可知,本模型的诊断准确率分别达到98.56%与99.3%,泛化能力优于其他模型,且具有良好的稳定性。并通过消融实验验证了FFT、LDConv与ACE损失函数对提高故障诊断精度的有效性。综上所述,所提方法能够有效诊断出小样本轴承故障,具有较高的实际应用价值。 展开更多
关键词 故障诊断 小样本 无阈值递归图 线性可变卷积核 卷积神经网络 交叉熵损失函数
在线阅读 下载PDF
一种结合有监督分类器和MEWMA的控制图
9
作者 周茂袁 邱静 +1 位作者 周茂凯 钱琨 《应用概率统计》 北大核心 2025年第1期28-42,共15页
在过程监控中,使用现代工业系统中的变量进行准确有效的监控诊断仍然是一个具有挑战性的任务.本文以多元指数加权移动平均(MEWMA)策略结合一种有监督分类器(“one plus epsilon”,简称OPE分类器),提出OPE-MEWMA控制图.在考虑不同模型、... 在过程监控中,使用现代工业系统中的变量进行准确有效的监控诊断仍然是一个具有挑战性的任务.本文以多元指数加权移动平均(MEWMA)策略结合一种有监督分类器(“one plus epsilon”,简称OPE分类器),提出OPE-MEWMA控制图.在考虑不同模型、偏移模式和偏移大小的情况下,探究了控制图对均值偏移的检测能力,通过比较平均运行长度等多个指标衡量控制图的性能表现.仿真结果表明,所开发的OPE-MEWMA控制图能够快速检测到均值偏移,灵敏度较高. 展开更多
关键词 统计过程控制 多元指数加权移动平均控制图 交叉熵损失 蒙特卡洛模拟
在线阅读 下载PDF
图像分类卷积神经网络的反馈损失计算方法改进 被引量:17
10
作者 周非 李阳 范馨月 《小型微型计算机系统》 CSCD 北大核心 2019年第7期1532-1537,共6页
当前在图像分类领域,卷积神经网络主要通过反向传播算法训练权重和偏置.在参数的训练过程中,网络的实际输出与样本标签之间的反馈损失计算方式会影响到卷积神经网络对图像的最终分类性能.本文研究发现,当增大训练样本标签的维度,提高不... 当前在图像分类领域,卷积神经网络主要通过反向传播算法训练权重和偏置.在参数的训练过程中,网络的实际输出与样本标签之间的反馈损失计算方式会影响到卷积神经网络对图像的最终分类性能.本文研究发现,当增大训练样本标签的维度,提高不同类别标签间的最小汉明距离,并通过sigmoid激活函数结合交叉熵计算反馈损失时,所得到的卷积网络模型对图像的分类能力优于使用softmax激活函数结合独热编码计算反馈损失所得到的卷积网络模型的分类能力.本文使用多种卷积神经网络结构,并结合多个数据集进行训练和测试,所得到的仿真结果证明了本文观点的正确性. 展开更多
关键词 图像分类 卷积神经网络 sigmoid激活函数 交叉熵损失函数
在线阅读 下载PDF
基于FinalBlock与JRC的双流点击率预测模型
11
作者 巫辰伟 禹素萍 +1 位作者 范红 许武军 《应用科学学报》 北大核心 2025年第5期757-770,共14页
点击率(click-through rate,CTR)预测是推荐系统中的基本任务之一。双流模型凭借其出色的灵活性和扩展性,以及高效的信息交互与融合能力,广泛应用于主流推荐模型中。为进一步提升其在CTR预测中的性能表现,本文在双流模型结构基础上提出... 点击率(click-through rate,CTR)预测是推荐系统中的基本任务之一。双流模型凭借其出色的灵活性和扩展性,以及高效的信息交互与融合能力,广泛应用于主流推荐模型中。为进一步提升其在CTR预测中的性能表现,本文在双流模型结构基础上提出了一种融合因子交互模块(factorized interaction block,FinalBlock)和校准排序损失联合优化算法(joint ranking and calibration loss optimization algorithm,JRC)的FJ混合网络(FinalBlock-JRC hybrid network,FJHN)模型。首先,通过特征门控层实现差异化特征输入,提升重要特征的权重,并将FinalBlock与多层感知机组合,以强化高阶特征的交互学习能力;其次,采用增强型交互聚合层来融合流级输出,进一步加深特征交互程度;最后,应用改进后的JRC模型计算损失函数,有效提升模型的预测准确性及多应用场景下的适应能力。基于3个公开基准数据集的实验结果表明,与包括自注意力模型在内的多种主流模型相比,FJHN模型在性能上提升显著。 展开更多
关键词 特征门控 分层交互 流级融合 排序损失 交叉熵损失
在线阅读 下载PDF
“噪声标签”下的运动想象多尺度时空特征学习
12
作者 刘卓恒 杨丰 詹长安 《数据采集与处理》 北大核心 2025年第3期821-831,共11页
在运动想象脑电信号采集过程中,因受试者注意力不集中而未严格遵从提示进行对应的运动想象,导致所采集脑电数据与提示(标签)不一致,即出现“噪声标签”,降低了模型捕捉关键特征的能力,影响模型在新受试者上的泛化。基于此,本文提出一种... 在运动想象脑电信号采集过程中,因受试者注意力不集中而未严格遵从提示进行对应的运动想象,导致所采集脑电数据与提示(标签)不一致,即出现“噪声标签”,降低了模型捕捉关键特征的能力,影响模型在新受试者上的泛化。基于此,本文提出一种“噪声标签”下多尺度时空特征学习的运动想象分类方法。首先,采用卷积神经网络提取脑电信号多尺度局部时间特征,降低个体间差异性影响;其次,在时空维度上分块划分特征图,作为Transformer模块输入,利用时空特征融合模块,优化全局时空特征;最后,引入对称交叉熵损失,将交叉熵计算方式扩展到所有类别,降低“噪声标签”的影响。在PhysioNet和BCI IV 2a运动想象数据集上的实验结果表明,本文方法的平均准确率优于其他方法,其中在PhysioNet数据集上引入对称交叉熵损失,二、三和四分类的平均准确率分别提升0.09%、0.65%和0.66%。此外,在不同比例的“噪声标签”干扰下,无需增加模型参数量和计算量,对称交叉熵损失就能改善模型的分类性能与鲁棒性。 展开更多
关键词 运动想象 脑电信号分类 TRANSFORMER 对称交叉熵损失 脑机接口
在线阅读 下载PDF
基于联合损失胶囊网络的换衣行人重识别 被引量:3
13
作者 刘乾 王洪元 +3 位作者 曹亮 孙博言 肖宇 张继 《计算机应用》 CSCD 北大核心 2021年第12期3596-3601,共6页
目前的行人重识别(Re-ID)研究主要集中在短时间情形,即一个人的衣着不太可能发生改变的情况。然而现实中更常见的是长时间的情况,这时一个人有很大的机会更换衣服,Re-ID模型应该考虑这种情况。为此,研究了一种基于联合损失胶囊网络的换... 目前的行人重识别(Re-ID)研究主要集中在短时间情形,即一个人的衣着不太可能发生改变的情况。然而现实中更常见的是长时间的情况,这时一个人有很大的机会更换衣服,Re-ID模型应该考虑这种情况。为此,研究了一种基于联合损失胶囊网络的换衣行人重识别方法。所提方法基于换衣行人重识别胶囊网络ReIDCaps,使用与传统的标量神经元相比包含更多信息的矢量胶囊,用其长度表示行人身份信息,用其方向表示行人衣着信息;采用软嵌入注意力(SEA)防止模型过拟合;使用特征稀疏表示(FSR)机制提取具有判别性的特征;增加标签平滑正则化交叉熵损失与CircleLoss的联合损失以提高模型的泛化能力和鲁棒性。在三个换衣行人重识别数据集Celeb-reID、CelebreID-light和NKUP上进行实验,实验结果表明所提方法与目前已有的Re-ID方法相比具有一定优势。 展开更多
关键词 换衣行人重识别 胶囊网络 矢量胶囊 标签平滑正则化交叉熵损失 CircleLoss
在线阅读 下载PDF
基于聚焦损失与残差网络的远程监督关系抽取 被引量:5
14
作者 蔡强 李晶 郝佳云 《计算机工程》 CAS CSCD 北大核心 2019年第12期166-170,共5页
基于卷积神经网络的远程监督关系抽取方法提取的特征单一,且标准交叉熵损失函数未能较好处理数据集中正负样本比例不均衡的情况。为此,提出一种基于深度残差神经网络的远程监督关系抽取模型,通过改进交叉熵聚焦损失函数,提取句子中的深... 基于卷积神经网络的远程监督关系抽取方法提取的特征单一,且标准交叉熵损失函数未能较好处理数据集中正负样本比例不均衡的情况。为此,提出一种基于深度残差神经网络的远程监督关系抽取模型,通过改进交叉熵聚焦损失函数,提取句子中的深层语义特征,同时降低损失函数中负样本的权重,避免在NYT-Freebase标准数据集中引入NA关系类别的噪音。实验结果表明,该模型能增强深度残差神经网络对含噪音数据的表示学习能力,有效提高远程监督关系抽取任务的分类准确率。 展开更多
关键词 交叉熵损失函数 残差学习 远程监督模型 关系抽取 卷积神经网络
在线阅读 下载PDF
基于TW-Focal Loss的债券违约预测及可解释性分析 被引量:1
15
作者 闵继源 鲁统宇 +1 位作者 袁伟 许文甫 《系统管理学报》 北大核心 2025年第3期790-807,共18页
债券违约预测需应对样本不平衡、概念漂移及困难样本识别在内的多重问题。然而,现有的基础模型与解决单一问题的改进模型难以满足这种需求。为此,基于交叉熵损失提出一种改进的复合损失函数(TW-Focal Loss),通过加入改进因子来调节不同... 债券违约预测需应对样本不平衡、概念漂移及困难样本识别在内的多重问题。然而,现有的基础模型与解决单一问题的改进模型难以满足这种需求。为此,基于交叉熵损失提出一种改进的复合损失函数(TW-Focal Loss),通过加入改进因子来调节不同样本的损失权重,使得模型能有效学习违约样本、新样本和困难样本。利用2014~2022年我国公开发行的信用债数据,以XGBoost为实验模型,结果表明,TW-Focal Loss使模型在降低第2类错误率的同时,能够有效控制第1类错误率,性能评估指标Gmean相比于交叉熵损失提升46.4%,相比于专注不平衡改进的加权交叉熵损失提升12.9%。进一步,通过SHAP解释分析了不同损失函数下模型的特征重要性分配比例和部分依赖曲线,发现模型可以通过改变特征的影响程度和影响区间来控制对违约样本的识别。该研究为债券违约预测模型的设计与逻辑探索提供了新思路。 展开更多
关键词 债券违约预测 交叉熵损失 不平衡样本 概念漂移 SHAP解释
在线阅读 下载PDF
基于RetinaNet深度学习的煤矿带式运输机异物识别方法
16
作者 钟美华 钟国坚 曾志宏 《中国矿业》 北大核心 2025年第9期203-208,共6页
煤矿带式运输机工作环境复杂,针对环境图像难以有效区分异物与背景噪声,且依赖于固定特征的提取规则不适用于多样化形态的异物,进一步增加了异物识别的难度。因此,以提高煤矿带式运输机的工作效率和稳定性为目的,本文提出了一种基于Reti... 煤矿带式运输机工作环境复杂,针对环境图像难以有效区分异物与背景噪声,且依赖于固定特征的提取规则不适用于多样化形态的异物,进一步增加了异物识别的难度。因此,以提高煤矿带式运输机的工作效率和稳定性为目的,本文提出了一种基于RetinaNet深度学习的运输机异物识别方法。首先,分析RetinaNet深度学习模型的结构,结合交叉熵损失函数建立运输机样本候选区,采用RetinaNet深度学习算法对样本进行分类。通过多层次的卷积结构,RetinaNet能够捕捉到异物的细节特征,自动从复杂背景中提取异物的多层次特征。基于此,首先,通过引入权重系数的方式,区分难分样本和易分样本;然后,通过卷积和平均池化操作输出样本高频特征和低频特征;之后,建立运输机异物识别框,将样本特征输入其中,计算识别目标置信度、推导偏差函数,给出异物目标的高度、宽度及体积特征的损失函数;最后,采用加权方式融合偏置和所有特征损失函数,将异物特征作为对比值,输出异物识别结果。实验数据表明:该方法的损失函数最低仅为0.16,且未随训练样本数量的增加而出现明显波动;该方法能够精准识别出煤矿带式运输机上的异物,不存在漏识和误识的情况,且识别速度最高不超过0.8s。上述结果表明该方法能够精准、高效、稳定地识别异物。 展开更多
关键词 煤矿带式运输机 异物识别 RetinaNet深度学习 交叉熵损失函数 加权融合
在线阅读 下载PDF
基于内容引导注意力的车道线检测网络
17
作者 刘登峰 郭文静 陈世海 《浙江大学学报(工学版)》 北大核心 2025年第3期451-459,共9页
为了有效利用注意力机制以提高车道线检测的准确性,提出基于内容引导注意力的车道线检测网络(CGANet).通过设计内容引导注意力机制(CGA),增强捕捉上下文信息的能力,强调编码在特征中更有用的信息,从而削弱无关信息的影响.为了减轻尺度... 为了有效利用注意力机制以提高车道线检测的准确性,提出基于内容引导注意力的车道线检测网络(CGANet).通过设计内容引导注意力机制(CGA),增强捕捉上下文信息的能力,强调编码在特征中更有用的信息,从而削弱无关信息的影响.为了减轻尺度差异对模型性能的影响,提出均衡特征金字塔网络(BFPN),以实现多尺度特征的均衡融合.引入ROI(RegionofInterest)提取器,以解决无视觉线索问题.在损失函数中添加交叉熵损失作为辅助分类损失,激励模型生成更加清晰的概率分布.在多个车道线检测数据集上进行实验验证,结果表明,与跨层细化网络(CLRNet)算法相比,所提方法在CULane、Tusimple和CurveLanes数据集上的F1指标分别提升0.65、0.18和0.29个百分点. 展开更多
关键词 无人驾驶技术 车道线检测 注意力机制 多尺度特征融合 交叉熵损失
在线阅读 下载PDF
基于知识蒸馏的卷积神经网络压缩方法 被引量:1
18
作者 郑筠 高朋 《沈阳工业大学学报》 北大核心 2025年第3期348-354,共7页
【目的】卷积神经网络作为深度学习领域的一项重要技术,在图像识别、目标检测、自然语言处理等多个领域展现出了卓越的性能。然而,随着模型深度和复杂度的增加,卷积神经网络模型的大小和计算需求也急剧上升,这为模型的部署和实时应用提... 【目的】卷积神经网络作为深度学习领域的一项重要技术,在图像识别、目标检测、自然语言处理等多个领域展现出了卓越的性能。然而,随着模型深度和复杂度的增加,卷积神经网络模型的大小和计算需求也急剧上升,这为模型的部署和实时应用提出了严峻挑战。【方法】为减少神经网络的大小和计算量,并提高模型的效率和可部署性,提出了基于知识蒸馏的卷积神经网络压缩方法。通过将大型复杂模型(教师网络模型)中的知识转移给小型精简模型(学生网络模型)来实现模型的压缩和加速,本文建立了性能优异的教师网络和结构更简单、参数更少的学生网络。教师网络负责提供丰富的特征表示和准确的预测结果,学生网络则通过学习教师网络行为来逼近其性能。使用标准损失函数,并通过反向传播算法迭代更新其参数,确保其在训练数据集上达到良好的性能。采用改进知识蒸馏方法获取综合阈值函数,评估教师网络和学生网络之间的知识差异,并指导学生网络的学习过程。在训练过程中,学生网络利用综合阈值函数进行监督,逐步逼近教师网络的输出,同时保持较小的模型结构和计算复杂度,从而实现了卷积神经网络的压缩处理。【结果】实验结果表明:本文方法在ImageNet和Labelme数据集上均表现出较好的模型压缩效果。其中,本文方法在压缩前后卷积神经网络输出结果的拟合度较高,表明学生网络成功学到了教师网络的关键特征;交叉熵损失值较低,在1.0左右,进一步验证了其良好的预测性能;完成卷积神经网络模型的压缩时间较短,为79.8~89.4 s,表明本文方法具有较高的计算效率。【结论】由以上结果可知,基于知识蒸馏卷积神经网络压缩方法能够有效减小模型结构、降低计算量,并保持甚至提升了模型的性能。本文方法不仅为模型压缩提供了一种新的思路,还为深度学习模型的部署和应用提供了有力支持。此外,本文方法在知识蒸馏方法上进行了改进,通过引入综合阈值函数来更全面地评估和指导模型的学习过程,在一定程度上提升了知识蒸馏的效果和效率。因此,本文方法不仅具有理论价值,还具有重要的实践意义。 展开更多
关键词 卷积神经网络压缩 改进知识蒸馏方法 判别器 学生网络 教师网络 标准损失函数 综合阈值函数 交叉熵损失
在线阅读 下载PDF
多变量数据驱动的化工过程质量相关故障监测
19
作者 秦绪光 王雪 +2 位作者 陈锋 李磊 宋维燕 《现代化工》 北大核心 2025年第11期231-236,共6页
以多变量数据驱动为导向,分别对卷积神经网络(CNN)及交叉熵损失函数(CEL)进行改进优化,构建适用于复杂化工过程质量相关故障的监测模型——二维卷积神经网络(2DCNN)及基于类别加权的交叉熵损失函数(WCEL)。该方法能够将多变量数据转化... 以多变量数据驱动为导向,分别对卷积神经网络(CNN)及交叉熵损失函数(CEL)进行改进优化,构建适用于复杂化工过程质量相关故障的监测模型——二维卷积神经网络(2DCNN)及基于类别加权的交叉熵损失函数(WCEL)。该方法能够将多变量数据转化为若干样本矩阵,并以此作为2DCNN模型的输入,分别有效地捕捉矩阵行数和列数所表征的时空维度特征,从而实现高精准的质量相关故障监测;同时,嵌入损失函数——WCEL,自适应地动态调整2DCNN模型的学习率,从而解决故障类别分配不均衡问题。 展开更多
关键词 质量相关故障 化工过程 多变量数据 二维卷积神经网络 基于类别加权的交叉熵损失函数
在线阅读 下载PDF
基于多源损失自适应的交通指示灯识别
20
作者 张思诺 魏霞 《现代电子技术》 2022年第15期128-132,共5页
为了提高交通指示灯信号的识别精度,提出一种基于多源损失自适应的交通指示灯识别方法。该方法采用BI⁃LSTM多层自编码对交通指示灯信号进行特征提取,整合后的特征向量作为新的输入,将数据传输至MLP神经网络,再经过softmax层实现数据样... 为了提高交通指示灯信号的识别精度,提出一种基于多源损失自适应的交通指示灯识别方法。该方法采用BI⁃LSTM多层自编码对交通指示灯信号进行特征提取,整合后的特征向量作为新的输入,将数据传输至MLP神经网络,再经过softmax层实现数据样本的分类计算,最后采用梯度下降方法,通过模型训练实现模型参数和自适应参数的优化。与一般深度学习单一损失来源不同,该模型具有三个损失来源,分别是编解码损失、对比损失以及交叉熵损失,模型的总损失是由这三个损失以相应的权重叠加而来,权重参数ζ和β是自适应参数,随着模型的训练,ζ和β进行独立学习,最终达到理想值。结果表明多源损失自适应策略对模型自我优化的有效性,提高了模型识别精度。 展开更多
关键词 交通信号灯识别 多源损失自适应 双向长短期记忆网络 BI⁃LSTM自编码器 梯度下降 编解码损失 对比损失 交叉熵损失
在线阅读 下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部