结合对比学习和提示调优的层次文本分类方法

1

作者 郑诚 纪子威 《小型微型计算机系统》 北大核心 2025年第8期1878-1885,共8页

层次文本分类是文本分类领域一项重要的子任务,但复杂的标签层次结构使其具有挑战性.目前最先进的方法通过预训练语言模型对文本进行编码,并结合图编码器处理标签结构信息.但是,独立建模文本和标签信息可能导致信息利用率不高,预训练和... 层次文本分类是文本分类领域一项重要的子任务,但复杂的标签层次结构使其具有挑战性.目前最先进的方法通过预训练语言模型对文本进行编码,并结合图编码器处理标签结构信息.但是,独立建模文本和标签信息可能导致信息利用率不高,预训练和微调阶段的不同策略也限制了模型挖掘预训练模型的知识.本文提出一种结合对比学习和提示调优的层次文本分类方法,将层次标签信息嵌入到文本编码过程,同时设计提示模板整合标签信息,捕获文本与标签的关联性,弥合预训练模型与下游任务间的差距.借助对比学习,根据标签信息生成正样本,强化模型对关键特征的学习与保留,使模型有效指导文本特征表示的学习.在两个公开数据集上的大量实验表明了方法的有效性. 展开更多

关键词 层次文本分类 提示调优 对比学习 深度学习 自然语言处理

在线阅读 下载PDF 职称材料

基于原型语义增强和动态筛选的半监督关系抽取方法

2

作者 宋潇楠 王成汗 +1 位作者 车超 费宏程 《计算机工程与设计》 北大核心 2025年第6期1571-1577,共7页

针对现有半监督关系抽取模型的监督信号不足和伪标签误差累积问题,提出一种融合原型语义和动态筛选机制的关系抽取方法。通过对比学习技术增强关系原型表示,构建一个能够区分不同关系类型的语义嵌入空间;设计动态筛选模块自适应选择高... 针对现有半监督关系抽取模型的监督信号不足和伪标签误差累积问题,提出一种融合原型语义和动态筛选机制的关系抽取方法。通过对比学习技术增强关系原型表示,构建一个能够区分不同关系类型的语义嵌入空间;设计动态筛选模块自适应选择高置信度的伪标签,执行正反馈迭代并减少确认偏差。在公共数据集TACRED和SemEval上的实验结果表明,该模型与当前表现最好的模型fmLRE相比,关系抽取的F1值平均提升了0.97%和3.63%,验证了模型在半监督关系抽取任务上的有效性。 展开更多

关键词 关系抽取 关系分类 对比学习 自训练 半监督学习 预训练模型 深度学习

在线阅读 下载PDF 职称材料

深度对比一类分类在轴承异常检测中的应用 被引量：1

3

作者 严如强 朱启翔 +1 位作者 李亚松 周峥 《振动.测试与诊断》 北大核心 2025年第1期1-9,196,共10页

针对机械设备的异常数据难以获取和传统异常检测方法容易误报的问题,提出了一种基于深度对比一类分类的无监督异常检测框架,用于检测轴承等关键部件产生异常的时间点。所提出的框架分为2部分。第1部分,针对深度一类分类方法的分布未知... 针对机械设备的异常数据难以获取和传统异常检测方法容易误报的问题,提出了一种基于深度对比一类分类的无监督异常检测框架,用于检测轴承等关键部件产生异常的时间点。所提出的框架分为2部分。第1部分,针对深度一类分类方法的分布未知与模型坍缩问题,提出一种改进的深度对比一类分类损失,修改了相似度度量方式,并添加了增强样本对之间的相似度约束。在训练过程中,选取4种备选的数据增强方案进行实验和分析,并选取了最佳的数据增强组合,使模型学习得到了更加均匀的正常数据分布。第2部分,采用极值理论在检测过程中不断拟合分布尾部的极值分布,动态更新异常样本阈值进而避免误报。最后,在辛辛那提轴承寿命数据集上验证了提出的异常检测框架在特征分布的均匀性、异常样本的分类准确性与故障起始点检测的精准性方面都具有优越性。 展开更多

关键词 深度一类分类 异常检测 极值理论 对比学习

在线阅读 下载PDF 职称材料

面向遥感图像场景分类的特征对比域适应网络

4

作者 苗旺 耿杰 +1 位作者 邓鑫洋 蒋雯 《指挥与控制学报》 北大核心 2025年第3期331-338,共8页

遥感图像场景分类能够提供实时的地表信息,对于复杂环境态势感知具有重要意义。遥感图像训练和测试数据通常来自不同分布,导致算法模型泛化性能差。针对场景分类任务中目标域与源域数据存在差异的问题,提出一种特征对比域适应网络,提取... 遥感图像场景分类能够提供实时的地表信息,对于复杂环境态势感知具有重要意义。遥感图像训练和测试数据通常来自不同分布,导致算法模型泛化性能差。针对场景分类任务中目标域与源域数据存在差异的问题,提出一种特征对比域适应网络,提取遥感图像域风格特征,构建域对比特征转换方法,实现遥感图像跨域场景分类。所提方法在公开遥感数据集上开展实验,较国际同类方法具有更优的性能。 展开更多

关键词 遥感图像场景分类 域适应 对比学习 深度学习

在线阅读 下载PDF 职称材料

基于三元互信息的图对比学习方法研究

5

作者 李旭 蔡彪 胡能兵 《智能系统学报》 CSCD 北大核心 2024年第5期1257-1267,共11页

最近,图对比学习成为一种成功的无监督图表示学习方法,大多数方法都基于最大化互信息原则,通过数据增强来得到两个视图,并最大化两个视图的互信息。然而,两个视图的互信息可能包含不利于下游任务的信息。为了克服这些缺陷,提出基于三元... 最近,图对比学习成为一种成功的无监督图表示学习方法,大多数方法都基于最大化互信息原则,通过数据增强来得到两个视图,并最大化两个视图的互信息。然而,两个视图的互信息可能包含不利于下游任务的信息。为了克服这些缺陷,提出基于三元互信息的图对比学习框架。该框架首先对输入图进行随机数据增强来生成两个视图,使用权重共享的编码器获得两个节点表示矩阵,随后使用共享权重解码器解码两个视图的节点表示。通过对比损失函数分别计算视图之间和视图与原图之间的损失,以最大化视图之间和视图与原图之间的互信息。实验结果表明,该方法在节点分类准确性方面的表现优于基线方法,甚至超过部分监督学习方法,验证了框架的有效性。 展开更多

关键词 图对比学习 互信息 图神经网络 无监督学习 对比学习 表示学习 节点分类 深度学习

在线阅读 下载PDF 职称材料

基于对比学习和注意力机制的文本分类方法 被引量：3

6

作者 钱来 赵卫伟 《计算机工程》 CAS CSCD 北大核心 2024年第7期104-111,共8页

文本分类作为自然语言处理领域的基本任务,在信息检索、机器翻译和情感分析等应用中发挥着重要作用。然而大多数深度模型在预测时未充分考虑训练实例的丰富信息,导致学到的文本特征不够全面。为了充分利用训练实例信息,提出一种基于对... 文本分类作为自然语言处理领域的基本任务,在信息检索、机器翻译和情感分析等应用中发挥着重要作用。然而大多数深度模型在预测时未充分考虑训练实例的丰富信息,导致学到的文本特征不够全面。为了充分利用训练实例信息,提出一种基于对比学习和注意力机制的文本分类方法。首先,设计一种有监督对比学习训练策略,旨在优化模型对文本向量表征的检索,提高模型在推理过程中检索到的训练实例的质量;然后,构建注意力机制,对获取的训练文本特征进行注意力分布学习,聚焦关联性更强的相邻实例信息,获得更多隐含的相似特征;最后,将注意力机制与模型网络相结合,融合相邻的训练实例信息,增强模型提取多样性特征的能力,实现全局特征和局部特征的提取。实验结果表明,所提方法在卷积神经网络(CNN)、双向长短期记忆网络(Bi LSTM)、图卷积网络(GCN)、BERT和Ro BERTa等多个模型上都取得了显著的性能提升。以CNN模型为例,其在THUCNews数据集、今日头条数据集和搜狗数据集上宏F1值分别提高了4.15、6.2和1.92个百分点。因此,该方法也为文本分类任务提供了一种有效的解决方案。 展开更多

关键词 文本分类 深度模型 对比学习 近似最近邻算法 注意力机制

在线阅读 下载PDF 职称材料

基于自监督对比学习的深度神经网络对抗鲁棒性提升 被引量：8

7

作者 孙浩 徐延杰 +3 位作者 陈进 雷琳 计科峰 匡纲要 《信号处理》 CSCD 北大核心 2021年第6期903-911,共9页

基于深度神经网络的多源图像内容自动分析与目标识别方法近年来不断取得新的突破,并逐步在智能安防、医疗影像辅助诊断和自动驾驶等多个领域得到广泛部署。然而深度神经网络的对抗脆弱性给其在安全敏感领域的部署带来巨大安全隐患。对... 基于深度神经网络的多源图像内容自动分析与目标识别方法近年来不断取得新的突破,并逐步在智能安防、医疗影像辅助诊断和自动驾驶等多个领域得到广泛部署。然而深度神经网络的对抗脆弱性给其在安全敏感领域的部署带来巨大安全隐患。对抗鲁棒性的有效提升方法是采用最大化网络损失的对抗样本重训练深度网络,但是现有的对抗训练过程生成对抗样本时需要类别标记信息,并且会大大降低无攻击数据集上的泛化性能。本文提出一种基于自监督对比学习的深度神经网络对抗鲁棒性提升方法,充分利用大量存在的无标记数据改善模型在对抗场景中的预测稳定性和泛化性。采用孪生网络架构,最大化训练样本与其无监督对抗样本间的多隐层表征相似性,增强模型的内在鲁棒性。本文所提方法可以用于预训练模型的鲁棒性提升,也可以与对抗训练相结合最大化模型的“预训练+微调”鲁棒性,在遥感图像场景分类数据集上的实验结果证明了所提方法的有效性和灵活性。 展开更多

关键词 深度神经网络 对抗鲁棒性 自监督对比学习 遥感场景分类

在线阅读 下载PDF 职称材料

基于快速持续对比散度的卷积受限玻尔兹曼机 被引量：7

8

作者 张娟 蒋芸 +1 位作者 胡学伟 沈健 《计算机工程》 CAS CSCD 北大核心 2016年第9期174-179,共6页

受限玻尔兹曼机是深度学习中的重要模型,以其为基础的卷积受限玻尔兹曼机模型被广泛应用于图像处理与语音识别等领域,但其存在训练时间过长的问题。为此,使用快速持续对比散度(FPCD)算法对卷积受限玻尔兹曼机进行学习,从而提高模型的学... 受限玻尔兹曼机是深度学习中的重要模型,以其为基础的卷积受限玻尔兹曼机模型被广泛应用于图像处理与语音识别等领域,但其存在训练时间过长的问题。为此,使用快速持续对比散度(FPCD)算法对卷积受限玻尔兹曼机进行学习,从而提高模型的学习速度和分类精度。实验结果表明,与PCD,CD_1等算法相比,FPCD算法可有效提高卷积受限玻尔兹曼机的分类性能。 展开更多

关键词 卷积受限玻尔兹曼机 深度学习 快速持续对比散度 训练时间 分类精度

在线阅读 下载PDF 职称材料

松辽盆地达深1井早白垩世孢粉化石的发现及其地质意义 被引量：5

9

作者 高平 万传彪 薛云飞 《大庆石油地质与开发》 CAS CSCD 北大核心 2011年第4期35-39,共5页

达深1井是安达地区一口重要探井，为解决该井地层划分对比问题，采用氢氟酸-盐酸冷处理法对33块样品进行孢粉分析。在玄武岩所夹的沉积岩中发现了具有确定地质时代和层位意义的孢粉化石，命名为桫椤孢Cyathidites-周壁粉Perinopollenit... 达深1井是安达地区一口重要探井，为解决该井地层划分对比问题，采用氢氟酸-盐酸冷处理法对33块样品进行孢粉分析。在玄武岩所夹的沉积岩中发现了具有确定地质时代和层位意义的孢粉化石，命名为桫椤孢Cyathidites-周壁粉Perinopollenites-原始松柏粉Protoconiferus组合。其特征为裸子类花粉占绝对优势（80．0％～96．0％），蕨类孢子含量低（4．0％～20．0％），未见被子类花粉，裸子类花粉中气囊分化不好的古松柏类花粉含量极高，是该孢粉组合的最主要特点。依据孢粉化石组合特征，结合同位素、岩性、电性资料，将达深1井3221．0～3723．0m井段自下而上划分为11个小层，并确定这套火山碎屑岩地层为营城组，其地质时代为早白垩世Hauterivian—Barremian期。推测营城组沉积时期为亚热带-温带气候。 展开更多

关键词 达深1井 孢粉组合 地层划分对比 地质时代 古气候 松辽盆地

在线阅读 下载PDF 职称材料

基于特征空间嵌入的对比知识蒸馏算法 被引量：3

10

作者 叶峰 陈彪 赖乙宗 《华南理工大学学报（自然科学版）》 EI CAS CSCD 北大核心 2023年第5期13-23,共11页

因能有效地压缩卷积神经网络模型,知识蒸馏在深度学习领域备受关注。然而,经典知识蒸馏算法在进行知识迁移时,只利用了单个样本的信息,忽略了样本间关系的重要性,算法性能欠佳。为了提高知识蒸馏算法知识迁移的效率和性能,文中提出了一... 因能有效地压缩卷积神经网络模型,知识蒸馏在深度学习领域备受关注。然而,经典知识蒸馏算法在进行知识迁移时,只利用了单个样本的信息,忽略了样本间关系的重要性,算法性能欠佳。为了提高知识蒸馏算法知识迁移的效率和性能,文中提出了一种基于特征空间嵌入的对比知识蒸馏(FSECD)算法。该算法采用批次内构建策略,将学生模型的输出特征嵌入到教师模型特征空间中,使得每个学生模型的输出特征和教师模型输出的N个特征构成N个对比对。每个对比对中,教师模型的输出特征是已优化、固定的,学生模型的输出特征是待优化、可调优的。在训练过程中,FSECD缩小正对比对的距离并扩大负对比对的距离,使得学生模型可感知并学习教师模型输出特征的样本间关系,进而实现教师模型知识向学生模型的迁移。在CIFAR-100和ImageNet数据集上对不同师生网络架构进行的实验结果表明,与其他主流蒸馏算法相比,FSECD算法在不需要额外的网络结构和数据的情况下,显著提升了性能,进一步证明了样本间关系在知识蒸馏中的重要性。 展开更多

关键词 图像分类 知识蒸馏 卷积神经网络 深度学习 对比学习

在线阅读 下载PDF 职称材料

基于深度学习训练上腹部DCE-MRI扫描期相分类模型的可行性 被引量：5

11

作者 额·图娅 郭小超 +4 位作者 王可 黄嘉豪 王祥鹏 张晓东 王霄英 《放射学实践》 CSCD 北大核心 2021年第8期1052-1058,共7页

目的:探讨基于深度学习算法建立的上腹部DCE-MRI图像自动分类模型的立场应用价值。方法:回顾性搜集417例患者上腹部DCE-MRI扫描不同期相的共1330组图像数据。由两位专家将所有图像按平扫、动脉早期、动脉晚期和门静脉-延迟期进行分类。... 目的:探讨基于深度学习算法建立的上腹部DCE-MRI图像自动分类模型的立场应用价值。方法:回顾性搜集417例患者上腹部DCE-MRI扫描不同期相的共1330组图像数据。由两位专家将所有图像按平扫、动脉早期、动脉晚期和门静脉-延迟期进行分类。将1330组的数据随机分为训练集(train set,n=1118),调优集(validation set,n=108)和测试集(test set,n=104)。训练3D-ResNet模型对图像的扫描期相进行分类,应用混淆矩阵(confusion matrix)评价模型的分类预测效能。结果:在训练集、调优集及测试集中总体预测符合率分别为99.9%(1117/1118)、99.1%(107/108)和99.0%(103/104)。训练集及调优集中动脉晚期的预测符合率分别为99.5%(193/194)和90.9%(10/11),平扫、动脉早期及门静脉-延迟期的预测符合率均为100%。测试集中各期相图像分类符合率:平扫97.5%(39/40)、动脉早期100%(14/14)、动脉晚期100%(8/8)、门静脉-延迟期100%(42/42)。结论:基于深度学习方法训练的分类模型对DCE-MRI各期相图像的分类预测效能良好,有利于工作流程的优化及后续对接AI诊断模型。 展开更多

关键词 磁共振成像 对比增强扫描 深度学习 图像分类 质量控制

在线阅读 下载PDF 职称材料

注意力机制结合残差收缩网络对遥感图像分类 被引量：5

12

作者 车思韬 郭荣佐 +1 位作者 李卓阳 杨军 《计算机应用研究》 CSCD 北大核心 2022年第8期2532-2537,共6页

针对遥感场景图像中背景复杂、类内差异大以及类间相似度高问题所导致的分类效果欠佳情况,提出一种基于有监督对比学习的注意力机制和残差收缩单元算法。首先对有效通道注意力机制(ECA)进行改进,优化对待识别图像特征的提取;然后提出一... 针对遥感场景图像中背景复杂、类内差异大以及类间相似度高问题所导致的分类效果欠佳情况,提出一种基于有监督对比学习的注意力机制和残差收缩单元算法。首先对有效通道注意力机制(ECA)进行改进,优化对待识别图像特征的提取;然后提出一种协同残差收缩单元算法,利用算法对图像进行冗余信息的筛选消除;再用有监督对比学习算法,增强算法的泛化能力。最后在遥感图像数据集进行实验,并与最新算法如增强注意算法、尺度注意力机制算法进行对比。实验表明,该算法在20%训练比例的AID数据集中分类精度提高了1.75%和2.5%。 展开更多

关键词 深度学习 遥感图像分类 注意力机制 深度残差收缩网络 有监督对比学习

在线阅读 下载PDF 职称材料

细粒度视觉分类:深度成对特征对比交互算法

13

作者 汪敏 赵鹏 +1 位作者 郭鑫平 闵帆 《计算机科学与探索》 CSCD 北大核心 2023年第11期2663-2675,共13页

由于高类内和低类间方差,细粒度图像识别成为计算机视觉领域一项极具挑战性的研究课题。经典的细粒度图像识别方法采用单输入单输出的方式,限制了模型从成对图像中对比学习推理的能力。受人类在判别细粒度图像时的行为启发,提出了深度... 由于高类内和低类间方差,细粒度图像识别成为计算机视觉领域一项极具挑战性的研究课题。经典的细粒度图像识别方法采用单输入单输出的方式,限制了模型从成对图像中对比学习推理的能力。受人类在判别细粒度图像时的行为启发,提出了深度成对特征对比交互细粒度分类算法(PCI),深度对比寻找图像对之间的共同、差异特征,有效提升细粒度识别精度。首先,PCI建立正负对输入策略,提取细粒度图像的成对深度特征;其次,建立深度成对特征交互机制,实现成对深度特征的全局信息学习、深度对比以及深度自适应交互;最后,建立成对特征对比学习机制,通过对比学习约束成对深度细粒度特征,增大正对之间的相似性并减小负对之间的相似性。在流行的细粒度数据集CUB-200-2011、Stanford Dogs、Stanford Cars以及FGVC-Aircraft上开展了广泛的实验,实验结果表明PCI的性能优于当前最先进的方法。 展开更多

关键词 细粒度 图像分类 深度神经网络 对比学习 注意力机制

在线阅读 下载PDF 职称材料