期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到520篇文章
< 1 2 … 26 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于知识蒸馏的贝叶斯网络参数学习算法
1
作者 郭文强 张琦 +3 位作者 侯勇严 冯宽平 郭志高 刘佳乐 《陕西科技大学学报》 北大核心 2026年第2期187-196,共10页
在小数据集情况下进行贝叶斯网络(Bayesian Networks,BNs)参数学习时,通常依赖以定性参数约束形式的领域知识,然而此类知识的获取方法尚不明确,导致难以充分利用,进而影响模型的参数学习精度.为此,本文探索了一种基于知识蒸馏的知识提... 在小数据集情况下进行贝叶斯网络(Bayesian Networks,BNs)参数学习时,通常依赖以定性参数约束形式的领域知识,然而此类知识的获取方法尚不明确,导致难以充分利用,进而影响模型的参数学习精度.为此,本文探索了一种基于知识蒸馏的知识提取方法,并据此构建了贝叶斯网络参数学习算法(Knowledge Distillation BN,KD-BN).该算法从教师模型的参数空间中提取参数排序关系,将其转化为蒸馏后的知识:分布内约束(IDC)和跨分布约束(CDC),以限定学生模型的参数可行域.进一步地,设计了动态融合策略,融合约束引导生成的候选参数与学生模型的观测数据估计结果,从而获取最终的BN参数.实验结果表明,在小数据集上,KD-BN算法相较于传统的MLE、MAP与QMAP,表现出更高的参数学习精度.该算法已成功应用于真实的轴承故障诊断场景,为在小数据集上进行BN参数学习提供了一种解决方案. 展开更多
关键词 贝叶斯网络 小数据集 知识蒸馏 参数学习
在线阅读 下载PDF
面向视觉算法的知识蒸馏研究综述
2
作者 潘海为 于丰铭 +3 位作者 张可佳 兰海燕 孟庆宇 李哲 《计算机研究与发展》 北大核心 2026年第1期90-122,共33页
知识蒸馏作为深度学习中的关键技术,通过将大型教师模型的知识传递给较小的学生模型,实现了模型的压缩与加速。在保证性能的前提下,显著减少了计算资源和存储需求,促进了高性能模型在资源受限的边缘设备上的部署。围绕知识蒸馏的最新研... 知识蒸馏作为深度学习中的关键技术,通过将大型教师模型的知识传递给较小的学生模型,实现了模型的压缩与加速。在保证性能的前提下,显著减少了计算资源和存储需求,促进了高性能模型在资源受限的边缘设备上的部署。围绕知识蒸馏的最新研究进展进行了系统性的综述,从知识类型和师生模型架构2个角度对知识蒸馏进行分类,详细汇总了输出特征知识、中间特征知识、关系特征知识3种典型知识类型的蒸馏方法,以及卷积架构到卷积架构、卷积架构到ViT(vision Transformer)架构、ViT架构到卷积架构和ViT架构到ViT架构的蒸馏方法;探讨了离线蒸馏、在线蒸馏、自蒸馏、无数据蒸馏、多教师蒸馏和助理蒸馏的学习方式;归纳了基于蒸馏过程、知识结构、温度系数及损失函数的蒸馏优化方法,分析了对抗性技术、自动机器学习、强化学习和扩散模型对蒸馏的改进,并总结了蒸馏技术在常见应用中的实现。尽管知识蒸馏取得了显著进展,但在实际应用和理论研究中仍面临诸多挑战。最后,对这些问题进行了深入分析,并对未来发展方向提出了见解。 展开更多
关键词 知识蒸馏 模型压缩 深度学习 卷积神经网络 视觉Transformer
在线阅读 下载PDF
基于改进U-Net网络和知识蒸馏的三维断层识别方法
3
作者 王莉利 梁云虎 高新成 《石油物探》 北大核心 2026年第1期21-30,共10页
深度学习方法在三维地震资料断层识别中得到了广泛应用,但方法的应用面临数据集质量欠佳、资源消耗过高以及训练周期长等问题。为此,提出了一种融合改进U-Net网络和知识蒸馏的三维断层识别方法。该方法先将改进的U-Net网络模型作为教师... 深度学习方法在三维地震资料断层识别中得到了广泛应用,但方法的应用面临数据集质量欠佳、资源消耗过高以及训练周期长等问题。为此,提出了一种融合改进U-Net网络和知识蒸馏的三维断层识别方法。该方法先将改进的U-Net网络模型作为教师模型,将空洞空间金字塔池化(ASPP)结构与U-Net网络模型相融合,构建轻量级学生模型,然后引入知识蒸馏技术对学生模型进行优化,并调整网络训练超参数和知识蒸馏损失参数,使学生模型获取更丰富的断层信息,提升学生模型的网络性能。该方法通过将复杂的教师模型的知识迁移到轻量级学生模型,显著降低了模型的计算复杂度,同时保持了较高的识别精度。测试结果表明,在合成测试集和实际地震数据的断层识别中,经过知识蒸馏训练的学生模型在识别精度和连续性上均优于未经过蒸馏的学生模型和单独训练的教师模型,充分验证了方法的可行性和有效性。 展开更多
关键词 断层识别 知识蒸馏 U-Net 教师模型 学生模型
在线阅读 下载PDF
基于结构化知识蒸馏的轻量级伪装目标检测模型
4
作者 宋建华 刘淳 张龑 《计算机科学》 北大核心 2026年第4期299-307,共9页
伪装目标检测在自然场景分析与安全监控中发挥着重要作用,但伪装目标的复杂性和多样性对检测模型的性能提出了严峻挑战。现有知识蒸馏方法多用于模型压缩,通过对教师网络与学生网络的输出层特征对齐,实现轻量化。然而,现有知识蒸馏方法... 伪装目标检测在自然场景分析与安全监控中发挥着重要作用,但伪装目标的复杂性和多样性对检测模型的性能提出了严峻挑战。现有知识蒸馏方法多用于模型压缩,通过对教师网络与学生网络的输出层特征对齐,实现轻量化。然而,现有知识蒸馏方法通常忽略了教师网络中间特征的丰富语义信息。此外,固定学习率策略难以适应教师和学生模型规模差距过大的情况,导致蒸馏过程不稳定。为此,设计了一种基于结构化知识蒸馏的轻量级伪装目标检测模型,利用结构化知识改进传统的软硬标签损失计算,从而显著提升蒸馏效果。同时,将学习率优化问题建模为一个最优化任务,以稳定蒸馏过程中的性能波动。实验结果表明,该方法在COD10K-V3和CAMO伪装目标检测数据集上,S_(m)分别达到82.9%和81.0%,且训练时间减少至6.5 h。 展开更多
关键词 知识蒸馏 伪装目标检测 目标检测 结构化知识 学习率
在线阅读 下载PDF
基于联邦学习与知识蒸馏的轻量化负荷分解方法
5
作者 王守相 曹智 +2 位作者 赵倩宇 冯喜春 容春艳 《天津大学学报(自然科学与工程技术版)》 北大核心 2026年第1期52-64,共13页
针对深度学习模型在非侵入式负荷分解中面临的数据隐私保护和边缘部署两个问题,提出了一种基于联邦学习与知识蒸馏的轻量化负荷分解框架与方法.首先,设计了一种结合卷积神经网络(CNN)和Transformer(CNNTransformer)的混合架构,通过CNN... 针对深度学习模型在非侵入式负荷分解中面临的数据隐私保护和边缘部署两个问题,提出了一种基于联邦学习与知识蒸馏的轻量化负荷分解框架与方法.首先,设计了一种结合卷积神经网络(CNN)和Transformer(CNNTransformer)的混合架构,通过CNN模块高效提取负荷序列的局部时序特征,利用改进的Transformer结构增强对长期时序依赖关系的建模能力,提高了模型的整体辨识性能;其次,提出基于知识蒸馏的模型轻量化策略,通过设计知识迁移机制,将大参量教师模型的决策能力有效压缩至轻量级学生模型,实现模型的高效轻量化;最后,构建了基于联邦学习-知识蒸馏的云边协同训练架构,采用联邦平均算法实现模型参数的高效聚合,使边缘节点在不共享原始数据的情况下参与模型训练,同时引入轻量化模型作为全局模型显著降低了通信开销.实验结果表明:所提模型在REDD和UK-DALE数据集上的辨识性能优于现有方法;轻量化策略在将模型参数降低90%的同时保持了较好的精度;所提框架较传统联邦学习降低了约85%的通信量,为非侵入式负荷分解在边缘计算场景中的部署提供了有效方案. 展开更多
关键词 非侵入式负荷分解 联邦学习 知识蒸馏 轻量化 隐私保护
在线阅读 下载PDF
基于知识蒸馏及元梯度初始化剪枝的混合压缩方法
6
作者 张红梅 潘守登 +3 位作者 刘坷嘉 霍俊杰 杜瑞洋 韦宏毅 《计算机应用研究》 北大核心 2026年第3期818-824,共7页
针对深度神经网络在初始化剪枝中存在表征退化与精度下降的问题,提出一种双阶段同构蒸馏框架(dual-stagehomogeneousdistillation,DHD),以实现高效稀疏建模。该方法包括同构自蒸馏(homogeneousselfdistillation,HSD)阶段和稀疏感知温度... 针对深度神经网络在初始化剪枝中存在表征退化与精度下降的问题,提出一种双阶段同构蒸馏框架(dual-stagehomogeneousdistillation,DHD),以实现高效稀疏建模。该方法包括同构自蒸馏(homogeneousselfdistillation,HSD)阶段和稀疏感知温度耦合(sparsity-awaretemperature couplingmechanismSATC)阶段。HSD阶段采用参数镜像初始化策略,构建拓扑对称的学生网络,通过自蒸馏优化增强参数平滑性及模型性能;SATC阶段通过动态调整教师模型中正确类与错误类的蒸馏温度,实现知识迁移强度与剪枝率的自适应匹配。在CIFAR-10、Tiny-ImageNet和ImageNet数据集上的实验表明,该方法在91.4%的剪枝率下仍能保持较高精度,显著优于SNIP、GraSP等方法。提出的DHD框架有效缓解了高剪枝率下的表征退化问题,提升了稀疏子网的性能与鲁棒性,为边缘设备部署提供了可行的模型压缩方案。 展开更多
关键词 双阶段同构蒸馏 深度学习 初始化剪枝 知识蒸馏 模型压缩
在线阅读 下载PDF
基于知识蒸馏的中医辨证论治大模型的构建和应用 被引量：1
7
作者 王欣宇 杨涛 +3 位作者 孙晓荷 谢佳东 章益烔 胡孔法 《世界科学技术-中医药现代化》 北大核心 2026年第1期296-304,共9页
目的本研究旨在利用中医临床医案数据和知识蒸馏技术,构建具备推理能力强、可信度高的中医辨证论治智能诊疗模型。方法以GPT4o为教师模型,对中医医案数据进行知识蒸馏,生成高质量的中医辨证论治指令数据集,并基于Qwen2.5-7b模型采用LoR... 目的本研究旨在利用中医临床医案数据和知识蒸馏技术,构建具备推理能力强、可信度高的中医辨证论治智能诊疗模型。方法以GPT4o为教师模型,对中医医案数据进行知识蒸馏,生成高质量的中医辨证论治指令数据集,并基于Qwen2.5-7b模型采用LoRA方法进行监督微调,以增强其中医诊疗推理能力和个体化辨证论治能力。结果本研究提出的知识蒸馏微调方法大幅提升了中医诊疗推理过程的透明性和可解释性,并保留处方推荐的精准性,表明模型生成的文本可读性更高,诊疗推理能力更强。结论采用知识蒸馏的中医辨证论治大模型能有效提升诊疗推理和个体化辨证论治能力,为中医智能化诊疗和临床辅助决策提供了新思路。 展开更多
关键词 中医 辨证论治 大语言模型 知识蒸馏 监督微调
在线阅读 下载PDF
一种基于知识蒸馏的联邦学习后门攻击方法
8
作者 王亦帆 樊伟 +1 位作者 杨珂珂 李京 《计算机应用与软件》 北大核心 2026年第3期361-368,共8页
联邦学习去中心化的特点使其易在训练的过程中受到外界的攻击,比如后门攻击。现有的后门攻击方法所产生的模型更新通常会表现出一些异常的特征,一些研究中提出的联邦学习鲁棒聚合方法就利用了此特点来识别带有后门的本地模型。针对上述... 联邦学习去中心化的特点使其易在训练的过程中受到外界的攻击,比如后门攻击。现有的后门攻击方法所产生的模型更新通常会表现出一些异常的特征,一些研究中提出的联邦学习鲁棒聚合方法就利用了此特点来识别带有后门的本地模型。针对上述问题,提出将知识蒸馏应用于联邦学习后门攻击以减弱模型异常特征的方法。实验结果表明,所提出的方法在不同场景下均能成功向全局模型中添加后门。 展开更多
关键词 机器学习 联邦学习 知识蒸馏 后门攻击
在线阅读 下载PDF
知识蒸馏驱动的卫星网络流量轻量化预测模型
9
作者 何杏宇 李念慈 杨桂松 《小型微型计算机系统》 北大核心 2026年第4期974-981,共8页
传统流量预测模型计算复杂度高,难以适应卫星网络的资源限制,同时对卫星流量的时空特性建模不足,无法有效表征其拓扑变化和流量分布,导致预测精度与计算效率难以兼顾,限制了其在卫星网络中的实际应用.为此,提出一种由知识蒸馏驱动的轻... 传统流量预测模型计算复杂度高,难以适应卫星网络的资源限制,同时对卫星流量的时空特性建模不足,无法有效表征其拓扑变化和流量分布,导致预测精度与计算效率难以兼顾,限制了其在卫星网络中的实际应用.为此,提出一种由知识蒸馏驱动的轻量化卫星网络流量预测模型,旨在捕捉卫星网络流量的时空特征并降低模型复杂度.首先,该模型通过构建结合图卷积网络(GCN)和Transformer的教师模型,以及融合GCN和门控循环单元(GRU)的学生模型,实现时空特征提取.其次,设计包含软损失、硬损失、特征损失和时序动态加权KL(Kullback-Leibler)散度损失的蒸馏机制,利用多层次特征提取与动态序列权重调整,引导学生模型高效学习教师模型中的时空依赖关系与流量动态.实验结果表明,蒸馏后的学生模型在MSE和MAE上分别降低26.1%和17.4%,接近教师模型性能,同时参数量、计算量和推理时间分别减少75.6%、78.6%和3.6倍,展示了其在资源受限环境下的高效性. 展开更多
关键词 卫星网络 流量预测 时空特征 知识蒸馏 动态加权损失
在线阅读 下载PDF
基于知识蒸馏与类间关系的异构性缓解方法
10
作者 何洋 彭伟民 《计算机应用研究》 北大核心 2026年第2期510-516,共7页
模型异构性源于不同客户端的架构差异,阻碍了联邦学习中的有效知识共享,而通信开销则源于模型更新过程中频繁的参数传输,限制了联邦学习的可扩展性和效率。针对这些挑战,提出了一种基于知识蒸馏与类间关系的联邦学习框架FedKIC。FedKIC... 模型异构性源于不同客户端的架构差异,阻碍了联邦学习中的有效知识共享,而通信开销则源于模型更新过程中频繁的参数传输,限制了联邦学习的可扩展性和效率。针对这些挑战,提出了一种基于知识蒸馏与类间关系的联邦学习框架FedKIC。FedKIC引入知识网络,通过深度学习实现异构模型间知识迁移;提出基于注意力机制的类间关系学习策略,通过余弦相似度计算类别间相关性并融合特征,增强相似类别的区分能力;采用“类别知识聚合+浅层权重共享”策略优化通信效率。在CIFAR10和CIFAR100数据集上,FedKIC较FedAvg、FedProx等主流方法精度提升2.13%~3.48%,通信开销降低90%。FedKIC通过类间关系建模与轻量化通信设计,突破了异构联邦学习中“性能-效率-适配性”的三角制约,为物联网、边缘计算等分布式场景提供了实用的协同学习方案。 展开更多
关键词 联邦学习 知识蒸馏 模型异构性 注意力机制
在线阅读 下载PDF
基于分数阶混合几何特征的知识蒸馏算法
11
作者 刘雅文 周尚波 陈懿佳 《计算机学报》 北大核心 2026年第3期535-556,共22页
目前高光谱图像存在由中心点光谱变异引起的误分类问题。用于解决该问题的高光谱图像分类模型计算成本高、结构复杂,难以部署;而轻量化网络虽计算效率高,却未能有效处理光谱变异,影响分类精度。针对上述问题,本文创新性地提出了一种基... 目前高光谱图像存在由中心点光谱变异引起的误分类问题。用于解决该问题的高光谱图像分类模型计算成本高、结构复杂,难以部署;而轻量化网络虽计算效率高,却未能有效处理光谱变异,影响分类精度。针对上述问题,本文创新性地提出了一种基于分数阶混合几何特征的知识蒸馏算法(Knowledge Distillation with FractionalOrdered Mixed Geometric Features,KDFMGF)。本文提出了一种批处理分数阶微分几何特征计算模块,创新性地使用分数阶高斯曲率和分数阶平均曲率定位变异像素点,提出了分数阶微分几何特征蒸馏损失计算模块,让学生模型精准学习教师模型中关于变异像素点的分类知识,设计了一种分数阶几何特征直接损失计算模块,让学生模型从标签中学习关于变异像素点的分类知识,同时首次提出针对不同教师模型的两种模式:累积模式和消除模式;累积模式用于已解决误分类的教师模型,消除模式适用于未解决误分类问题的教师模型。KDFMGF显著降低了模型计算成本。KDFMGF不同于其他蒸馏算法,经KDFMGF蒸馏后的学生模型的分类性能能够超越教师模型。实验结果表明,在累积模式和消除模式下,KDFMGF算法显著优于现行的先进知识蒸馏算法,经过KDFMGF蒸馏的学生模型,在计算开销大幅下降的同时,分类性能超越教师模型,特别是在累积模式下,其分类性能超越十种先进的高光谱图像分类算法。 展开更多
关键词 高光谱图像分类 知识蒸馏 分数阶导数 微分几何
在线阅读 下载PDF
基于知识蒸馏的电力系统暂态稳定评估持续学习框架
12
作者 崔俊杰 秦文萍 +3 位作者 朱志龙 逯瑞鹏 李旭霞 邓娇娇 《高电压技术》 北大核心 2026年第3期1255-1267,I0048,I0049,共15页
目前,深度学习方法被广泛应用于电力系统暂态稳定评估,但仍然缺乏适应于不断演变的电网数据流的持续评估方案。此外,伴随着持续涌现的多样化样本,数据管理和类不平衡问题亦成为亟需正视的挑战。为此,该文提出一种基于知识蒸馏的电力系... 目前,深度学习方法被广泛应用于电力系统暂态稳定评估,但仍然缺乏适应于不断演变的电网数据流的持续评估方案。此外,伴随着持续涌现的多样化样本,数据管理和类不平衡问题亦成为亟需正视的挑战。为此,该文提出一种基于知识蒸馏的电力系统暂态稳定评估持续学习框架。该框架基于知识蒸馏技术,在离线训练阶段实现模型的轻量初始化,在在线更新阶段赋予模型持续学习的能力,不断提升模型对于不同运行场景的泛化性能,克服历史遗忘问题,兼顾模型对历史案例和新增案例的敏感度。针对在线样本代表性不足和数据累积的问题,通过基于互相关性距离度量的多维时序聚类抽样算法筛选出最具代表性样本以供模型更新迭代。最后,在Transformer分类器后构建类不平衡校正器以降低类不平衡问题导致的漏判风险。经过算例分析验证,所提持续学习框架在暂态稳定评估中展现出较好的持续评估能力。 展开更多
关键词 知识蒸馏 轻量化 持续学习 多维时序聚类 类不平衡 暂态稳定评估
在线阅读 下载PDF
基于深度卷积生成对抗网络与知识蒸馏的聚丙烯电缆缺陷局部放电模式识别方法
13
作者 吴吉 贾诗媛 +2 位作者 李银格 彭小圣 范亚洲 《广东电力》 北大核心 2026年第2期108-119,共12页
聚丙烯电缆作为一种新型环保材料电缆,其安全稳定运行面临着局部放电带来的挑战。针对此问题,提出一种基于深度卷积生成对抗网络(deep convolutional generative adversarial network,DCGAN)和知识蒸馏(knowledge distillation,KD)技术... 聚丙烯电缆作为一种新型环保材料电缆,其安全稳定运行面临着局部放电带来的挑战。针对此问题,提出一种基于深度卷积生成对抗网络(deep convolutional generative adversarial network,DCGAN)和知识蒸馏(knowledge distillation,KD)技术的模式识别方法。首先,设计了4种典型聚丙烯电缆缺陷,开展了20 kV的耐压实验,获取相位分辩的局部放电(phase resolved partial discharge,PRPD)数据共400个,并利用DCGAN扩展高质量的PRPD数据集;进而采用ResNet-110作为教师模型进行训练,利用知识蒸馏将教师模型学习到的特征知识传递至轻量化的学生模型ResNet-20。结果表明:DCGAN生成图谱分布与原始样本的弗雷谢起始距离(Frechet inception distance,FID)指标低至13.22;通过引入知识蒸馏,学生模型在实现模型参数量减少63.25%的同时,分类准确率仍达到91.25%,推理速度提升4.16倍。研究结果表明,所提方法不仅能够实现高精度的聚丙烯电缆缺陷模式识别,还可显著提升模型的轻量化性能,为电缆故障诊断的智能化提供了理论与技术支持。 展开更多
关键词 聚丙烯电缆 局部放电 相位分辩的局部放电 深度卷积生成对抗网络 知识蒸馏 模式识别
在线阅读 下载PDF
基于目标检测提议框信息的知识蒸馏模式
14
作者 贺琳 朱子奇 《计算机应用与软件》 北大核心 2026年第2期278-283,308,共7页
针对目标检测的蒸馏方法主要存在两个问题:第一,大都侧重于特征提取部分的蒸馏;第二,大都依赖Ground Truth(GT)确定蒸馏区域。针对上述问题,提出置信度排序蒸馏,对区域生成网络(Region Proposal Network,RPN)产生的提议框创建基于排序... 针对目标检测的蒸馏方法主要存在两个问题:第一,大都侧重于特征提取部分的蒸馏;第二,大都依赖Ground Truth(GT)确定蒸馏区域。针对上述问题,提出置信度排序蒸馏,对区域生成网络(Region Proposal Network,RPN)产生的提议框创建基于排序的自适应蒸馏模式;提出置信度引导特征蒸馏,探索一种利用教师网络所产生的提议框来指导蒸馏区域的新范式。实验表明,相较于基线模型,该算法在PASCAL VOC数据集上提升了8.5百分点。 展开更多
关键词 知识蒸馏 目标检测 排序蒸馏 特征蒸馏
在线阅读 下载PDF
形状感知引导边缘结构化的知识蒸馏语义分割算法
15
作者 段泽云 司昊岳 +1 位作者 常辰昊 谢新林 《现代电子技术》 北大核心 2026年第5期147-156,共10页
针对交通场景中小目标与细长条型目标的边缘细节信息丢失以及模型参数量过大等问题,文中提出一种形状感知引导边缘结构化的知识蒸馏语义分割算法。该算法能够在缓解小目标信息丢失的同时平滑目标分割边缘,且在低模型参数量下保持较好的... 针对交通场景中小目标与细长条型目标的边缘细节信息丢失以及模型参数量过大等问题,文中提出一种形状感知引导边缘结构化的知识蒸馏语义分割算法。该算法能够在缓解小目标信息丢失的同时平滑目标分割边缘,且在低模型参数量下保持较好的分割性能。首先,构建形状感知注意力特征融合模块,动态融合局部几何信息和空间特征,增强目标形状信息的感知能力;其次,提出基于轻量级卷积的语义金字塔模块,构建并行深度分解卷积运算编码多尺度上下文信息;最后,提出基于空间相关性的边缘损失函数传递结构化的全局像素依赖关系,构建基于边缘损失的结构化知识蒸馏网络,精炼轻量级模型的目标分割边缘。在交通场景数据Cityscapes和CamVid上的实验结果表明,所提算法能够在减少模型参数量的同时显著改善目标边缘的分割性能,特别是在处理纤细长条形目标边界时具有显著优势。 展开更多
关键词 语义分割 深度学习 知识蒸馏 注意力机制 轻量化模型 特征融合
在线阅读 下载PDF
基于多阶段知识蒸馏的古籍文本相似性匹配
16
作者 史明伟 林民 +3 位作者 孙艳茹 张树钧 斯日古楞 王玉荣 《计算机工程与应用》 北大核心 2026年第7期207-214,共8页
现有基于“预训练+孪生网络”范式的语义相似性匹配算法在数据丰富的语种文本中表现优异,但在低资源语种上效果显著下降,尤其在古籍文本中更为明显。古文数据稀缺且标注困难,缺乏专门的相似性匹配数据集,导致现有方法难以有效应用。为此... 现有基于“预训练+孪生网络”范式的语义相似性匹配算法在数据丰富的语种文本中表现优异,但在低资源语种上效果显著下降,尤其在古籍文本中更为明显。古文数据稀缺且标注困难,缺乏专门的相似性匹配数据集,导致现有方法难以有效应用。为此,提出一种基于多阶段知识蒸馏的古籍文本相似性匹配算法。该方法以易获得的文白句对数据集为基础,采用白话文预训练语言模型作为教师模型,古文预训练语言模型作为学生模型,通过多阶段知识蒸馏将白话文模型的相似性匹配知识迁移到古文模型,从而提高古文模型的相似性匹配能力。同时,为解决模型臃肿问题,在蒸馏过程中引入模型压缩策略,使得模型在保持性能的同时,便于部署。实验结果表明,采用多阶段知识蒸馏框架(multi-stage distillation framework,MSDF)的模型在《二十四史》数据集上性能优于其他方法,并且模型缩小至原来的25%时,依然保持较高的匹配精度,为古籍整理和数字人文研究提供支持。 展开更多
关键词 相似性匹配 知识蒸馏 孪生网络 预训练语言模型 中文古籍
在线阅读 下载PDF
基于改进知识蒸馏的铝型材表面缺陷实时检测
17
作者 鲁栋 木合塔尔·克力木 杨波 《计算机应用与软件》 北大核心 2026年第3期153-159,共7页
为解决铝型材表面缺陷小目标和多尺度等问题,通常采用大规模网络来获得较好的检测结果,但会使实时性较差。针对上述问题,提出一种基于知识蒸馏的模型压缩技术,它将教师网络中特征知识迁移到小规模学生网络中,以实现检测的高速和高精度... 为解决铝型材表面缺陷小目标和多尺度等问题,通常采用大规模网络来获得较好的检测结果,但会使实时性较差。针对上述问题,提出一种基于知识蒸馏的模型压缩技术,它将教师网络中特征知识迁移到小规模学生网络中,以实现检测的高速和高精度。为了更好地进行多尺度特征迁移,设计一种多尺度注意力特征蒸馏模块(MADM)。针对铝型材表面缺陷图像中小目标多和分类与定位任务的差异性,设计一种基于空间注意力机制的蒸馏模块(SADM)。实验结果表明,所提出模型的大小为20.07 MB,检测精度达到73.8%,实现检测速度和精度的均衡。进行实时检测,速度达到64帧每秒,满足实时需求。 展开更多
关键词 铝型材表面缺陷 轻量化网络 知识蒸馏 实时检测
在线阅读 下载PDF
基于注意力的双学生知识蒸馏异常检测方法
18
作者 丁长德 蒋三新 江友华 《陕西科技大学学报》 北大核心 2026年第1期194-200,218,共8页
在工业视觉异常检测领域,知识蒸馏方法因相似的师生结构限制了对异常特征的表示能力,进而影响检测效果.为此,本文提出基于高效金字塔分散注意力的双学生知识蒸馏异常检测方法(EPSA Based on Dual Student Knowledge Distillation Anomal... 在工业视觉异常检测领域,知识蒸馏方法因相似的师生结构限制了对异常特征的表示能力,进而影响检测效果.为此,本文提出基于高效金字塔分散注意力的双学生知识蒸馏异常检测方法(EPSA Based on Dual Student Knowledge Distillation Anomaly Detection,EPSA-DSAD),该方法采用结构不同的双学生网络,并引入高效金字塔分散注意力(Efficient Pyramid Squeeze Attention,EPSA)模块,增强网络差异性与异常重构误差.在经典工业数据集MVTec AD和BeanTech AD(BTAD)上的实验结果表明,该模型平均接收者工作特征曲线下面积(AUROC)得分分别达到最优的99.55%和96.22%,超过目前多个先进的方法,验证了该模型的有效性和优越性. 展开更多
关键词 异常检测 知识蒸馏 注意力机制
在线阅读 下载PDF
体育人工智能训练中知识蒸馏的法律风险及规制路径
19
作者 李茵晖 黎浩田 《武汉体育学院学报》 北大核心 2026年第3期34-41,共8页
体育人工智能训练中知识蒸馏技术的应用,在优化模型性能并推动其广泛部署的同时也引发了法律争议。此种将教师模型知识迁移至学生模型的技术潜藏着多种法律风险,包括对教师模型输出进行系统性采样时,易触碰服务协议中禁止开发竞争性模... 体育人工智能训练中知识蒸馏技术的应用,在优化模型性能并推动其广泛部署的同时也引发了法律争议。此种将教师模型知识迁移至学生模型的技术潜藏着多种法律风险,包括对教师模型输出进行系统性采样时,易触碰服务协议中禁止开发竞争性模型的条款构成违约;蒸馏过程中对运动员姿态、步态等数据的处理,易违反法律对个人信息处理活动的规定;蒸馏还可能逾越合理借鉴的边界,构成对权利人商业秘密的非法获取与使用。对此,在梳理体育人工智能训练中知识蒸馏的应用类型及其法律风险的基础上,提出在合同层面关注履行方式与再训练意图是否超出了许可范围,通过司法解释细化非竞争性使用的体育场景释义,明确满足特定要件下的蒸馏行为合法;在个人信息保护层面建立健全场景化体育数据属性识别标准、分级合规与匿名化缓释机制;在商业秘密保护层面聚焦对战术逻辑和领域知识替代的实质性评估,建立包含保护措施、获取方式、结果用途等因素的司法审查框架,以期在鼓励创新与维护公平竞争之间实现平衡。 展开更多
关键词 体育人工智能 知识蒸馏 合同违约 个人信息保护 商业秘密
在线阅读 下载PDF
基于跨模块知识蒸馏的3阶段少样本目标检测
20
作者 王双丞 朱松豪 《计算机研究与发展》 北大核心 2026年第1期199-213,共15页
少样本学习是少样本目标检测的主流方法,但其存在2个问题:1)新类样本的极度缺乏导致新类特征分布存在偏差;2)由于微调过程中的鲁棒性假设不一定适用于新类样本,因此,特征提取网络无法提取未失真的新类样本特征。为解决上述2个问题,提出... 少样本学习是少样本目标检测的主流方法,但其存在2个问题:1)新类样本的极度缺乏导致新类特征分布存在偏差;2)由于微调过程中的鲁棒性假设不一定适用于新类样本,因此,特征提取网络无法提取未失真的新类样本特征。为解决上述2个问题,提出基于跨模块知识蒸馏的3阶段少样本目标检测方法。首先,利用特征分布校准策略,校准2步微调过程中新类样本的特征分布;其次,利用提出的首项偏差削减策略,有效缓解线性探测阶段(微调过程的第1阶段)中权重参数的偏差估计问题;然后,利用提出的基于逆首项偏差削减的整体微调策略,有效缓解整体微调过程(微调过程的第2阶段)中特征提取网络的过拟合问题;最后,利用提出的跨模块知识蒸馏策略,引导模型的浅层模块学习深层特征,以便捕获更具辨别力的新类样本特征。大量实验结果表明,所提的3阶段微调的少样本目标检测方法有效提高了少样本目标检测的准确性和鲁棒性。 展开更多
关键词 少样本目标检测 3阶段微调 首项偏差削减 逆首项偏差削减 跨模块知识蒸馏
在线阅读 下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 26 下一页 到第 页
关于我们 | 版权声明 | 联系我们 | 帮助中心| 意见反馈
主办单位：上海市教育委员会
技术支持：重庆维普资讯有限公司
版权所有© 2001-2026 渝B2-20050021-1渝公网安备 50019002500403号
使用帮助 返回顶部