针对多模态遥感数据的自监督策略模型预训练方法

1

作者 刁文辉 龚铄 +2 位作者 辛林霖 申志平 孙超 《电子与信息学报》 北大核心 2025年第6期1658-1668,共11页

随着遥感领域以及大模型技术的发展,自监督学习能够通过掩码-重建的方式实现基于未标注遥感数据的模型训练。然而,现有的掩码策略更多基于空间特征建模,而忽略了光谱特征建模,导致光谱数据不能充分挖掘其光谱维度信息问题。为了充分挖... 随着遥感领域以及大模型技术的发展,自监督学习能够通过掩码-重建的方式实现基于未标注遥感数据的模型训练。然而,现有的掩码策略更多基于空间特征建模,而忽略了光谱特征建模,导致光谱数据不能充分挖掘其光谱维度信息问题。为了充分挖掘不同模态遥感数据信息,该文通过探索遥感成像机理和数据特性,构建了支持合成孔径雷达(SAR)、激光探测雷达(LiDAR)数据和高光谱(HSI)数据输入的基于掩码自编码器(MAE)自监督学习的预训练基础模型,通过空间分支随机掩码像素块重建缺失像素以及光谱分支随机掩码频谱通道重建通道,使模型能够有效表征多模态遥感图像数据的空间特征以及光谱特征,进而提升了像素级地物分类的精度。该文为了验证提出模型的有效性,对模型针对两个公开的数据集进行了分类实验,均证明了该模型训练方法的优越效果。 展开更多

关键词 深度学习 自监督训练 多模态遥感图像 地物分类

在线阅读 下载PDF 职称材料

基于自监督预训练与时序注意力机制的变压器顶层油温预测 被引量：4

2

作者 李启明 李彬 +4 位作者 刘浩 甘津瑞 石富岭 卢卫疆 杨春萍 《中国电机工程学报》 EI CSCD 北大核心 2024年第S01期318-331,共14页

变压器故障预警依赖于更精确可信的变压器顶层油温预测。应用自监督预训练方法将预测模型训练过程中的油温预测任务转变为油温重建任务,泛化模型训练方式的同时提升模型对历史油温态势信息的抽取能力。该文提出双通道预训练时序注意力网... 变压器故障预警依赖于更精确可信的变压器顶层油温预测。应用自监督预训练方法将预测模型训练过程中的油温预测任务转变为油温重建任务,泛化模型训练方式的同时提升模型对历史油温态势信息的抽取能力。该文提出双通道预训练时序注意力网络(dual-channel pre-trained time-series attention network,DPAnet)模型,模型是采用时序注意力机制和趋势周期分支的深度神经网络,分别针对油温数据的趋势规律和周期规律实现单时间步级别的建模,从而加强在多时间步上的预测能力。算例分析表明,在以小时为颗粒度的1~72 h短期预测场景下,该文所提出的顶层油温预测模型平均预测损失为1.847,平均确定性系数为0.862,相比其他模型提升预测精度,且具有较强的泛化能力和鲁棒性,有效支撑变压器顶层油温变化趋势分析。 展开更多

关键词 顶层油温 自监督预训练 时序注意力 深度神经网络

在线阅读 下载PDF 职称材料

引入自监督预训练的轨迹预测方法 被引量：1

3

作者 李琳辉 付一帆 +2 位作者 王霆 王雪成 连静 《汽车工程》 EI CSCD 北大核心 2024年第7期1219-1227,共9页

针对目前基于监督学习的轨迹预测模型数据利用效率低、精度有限的问题,提出一种轨迹预测模型及通用的自监督预训练策略。首先,基于Transformer搭建轻量化的轨迹预测模型,实现场景时序空间特征提取与交互关系建模;其次,设计运动信息时序... 针对目前基于监督学习的轨迹预测模型数据利用效率低、精度有限的问题,提出一种轨迹预测模型及通用的自监督预训练策略。首先,基于Transformer搭建轻量化的轨迹预测模型,实现场景时序空间特征提取与交互关系建模;其次,设计运动信息时序掩码、道路信息空间掩码、交互关系掩码3类掩码重建任务对模型进行自监督预训练,以提升模型对场景通用特征的提取能力;最后,以预训练权重为初始化参数在下游任务中进行监督学习微调。在Argoverse2 Motion Forecasting数据集的实验表明,模型在预训练任务中能够很好地重建出交通场景,引入自监督预训练能够有效提升预测精度和数据利用效率,且对不同预测任务具有通用性,在单目标轨迹预测与多目标轨迹预测任务上minFDE6指标分别提升3.3%与3.7%。 展开更多

关键词 自动驾驶 轨迹预测 自监督预训练

在线阅读 下载PDF 职称材料

基于字节编码与预训练任务的加密流量分类模型

4

作者 姚利峰 蔡满春 +2 位作者 朱懿 陈咏豪 张溢文 《计算机工程》 北大核心 2025年第2期188-201,共14页

当预训练模型BERT应用于加密流量分类领域时,缺乏针对加密流量特性设计的编码方法和相应预训练任务。为此,提出一种融合字节级编码与改进预训练任务的加密流量分类预训练模型。首先,设计了一种新型词汇表构建方法,增强模型对流量传输结... 当预训练模型BERT应用于加密流量分类领域时,缺乏针对加密流量特性设计的编码方法和相应预训练任务。为此,提出一种融合字节级编码与改进预训练任务的加密流量分类预训练模型。首先,设计了一种新型词汇表构建方法,增强模型对流量传输结构的表征能力;其次,提出动态掩码BURST预测和同源BURST连贯性预测2个新的自监督预训练任务,动态掩码BURST预测任务增强模型对加密流量语义多样性的获取能力,同源BURST连贯性预测任务提高模型对加密流量连贯性顺序的建模能力。实验结果表明,所提模型在CSTNET-TLS 1.3数据集上的准确率、精确率、召回率和F1值分别为98.52%、98.40%、98.35%、98.43%,与现有性能最好的预训练基准模型相比,分别提高了1.15、0.98、0.93、1.02百分点。此外,在5个下游加密流量分类任务的7个主流数据集上,所提模型能够有效分类加密流量。 展开更多

关键词 加密流量分类 预训练模型 字节级编码 自监督预训练任务 微调方法

在线阅读 下载PDF 职称材料

自监督对比的属性图联合表示聚类

5

作者 王静红 王慧 《计算机工程与应用》 CSCD 北大核心 2024年第16期133-142,共10页

现实世界中越来越多的复杂数据被表示为具有属性节点的图,因此属性图聚类是图挖掘中的一个重要问题。图神经网络在图结构数据的编码表示方面取得较好性能,但基于卷积操作或者注意力机制的图神经网络方法存在节点噪声、特征过度平滑、网... 现实世界中越来越多的复杂数据被表示为具有属性节点的图,因此属性图聚类是图挖掘中的一个重要问题。图神经网络在图结构数据的编码表示方面取得较好性能,但基于卷积操作或者注意力机制的图神经网络方法存在节点噪声、特征过度平滑、网络异质性、计算代价高昂等问题。基于深度学习方法如自编码器能够有效地提取节点属性表示,但不能包含丰富结构信息。因此提出了一种基于自监督训练和对比学习的图联合表示聚类方法(self-supervised contrastive graph joint representation clustering,SCRC)。使用自编码器预训练学习节点的属性表示,通过在图结构信息上增加对比损失信息,使用影响对比损失融合更加丰富的结构信息,联合图结构信息和属性表示,基于神经网络自监督训练机制迭代优化完成聚类任务。通过设计简单的线性模型,避免使用卷积和注意力机制,有效整合结构信息,使得运行速度更快。在广泛使用的引文网络数据上进行实验,对参数敏感性进行分析,验证了影响对比损失和自监督联合聚类的有效性。实验结果表明,所提出的方法取得了显著的性能提升,并且对节点噪声、特征过度平滑和网络异质性更具有鲁棒性。 展开更多

关键词 属性图聚类 自监督训练 对比学习 自编码器 联合表示学习

在线阅读 下载PDF 职称材料

基于预训练固定参数和深度特征调制的红外与可见光图像融合网络 被引量：1

6

作者 徐少平 周常飞 +2 位作者 肖建 陶武勇 戴田宇 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第8期3305-3313,共9页

为了更好地利用红外与可见光图像中互补的图像信息,得到符合人眼感知特性的融合图像,该文采用两阶段训练策略提出一种基于预训练固定参数和深度特征调制的红外与可见光图像融合网络(PDNet)。具体地,在自监督预训练阶段,以大量清晰的自... 为了更好地利用红外与可见光图像中互补的图像信息,得到符合人眼感知特性的融合图像,该文采用两阶段训练策略提出一种基于预训练固定参数和深度特征调制的红外与可见光图像融合网络(PDNet)。具体地,在自监督预训练阶段,以大量清晰的自然图像分别作为U型网络结构(UNet)的输入和输出,采用自编码器技术完成预训练。所获得编码器模块能有效提取输入图像的多尺度深度特征功能,而解码器模块则能将其重构为与输入图像差异极小的输出图像;在无监督融合训练阶段,将预训练编码器和解码器模块的网络参数保持固定不变,而在两者之间新增包含Transformer结构的融合模块。其中,Transformer结构中的多头自注意力机制能对编码器分别从红外和可见光图像提取到的深度特征权重进行合理分配,从而在多个尺度上将两者融合调制到自然图像深度特征的流型空间上来,进而保证融合特征经解码器重构后所获得融合图像的视觉感知效果。大量实验表明:与当前主流的融合模型(算法)相比,所提PDNet模型在多个客观评价指标方面具有显著优势,而在主观视觉评价上,也更符合人眼视觉感知特点。 展开更多

关键词 红外与可见光图像 图像融合 自监督预训练 无监督融合训练 固定参数 深度特征调制

在线阅读 下载PDF 职称材料

基于参数高效微调及双流网络的人脸伪造检测

7

作者 陈咏豪 蔡满春 +3 位作者 张溢文 彭舒凡 姚利峰 朱懿 《计算机工程与应用》 北大核心 2025年第10期288-298,共11页

随着深度伪造技术的发展,伪造的人脸图像愈发逼真,深度伪造技术一旦被不法分子滥用将对社会治安和公共安全造成危害,因此如何对深度伪造进行有效检测成为重要的研究课题。现有的深度伪造检测技术普遍存在跨库检测泛化性差、跨压缩率检... 随着深度伪造技术的发展,伪造的人脸图像愈发逼真,深度伪造技术一旦被不法分子滥用将对社会治安和公共安全造成危害,因此如何对深度伪造进行有效检测成为重要的研究课题。现有的深度伪造检测技术普遍存在跨库检测泛化性差、跨压缩率检测鲁棒性差的问题。为解决上述问题,提出了一种基于参数高效微调及双流网络的人脸伪造检测。利用MIM(masked image modeling)自监督方法预训练的ViT作为分支主干,并引入低秩适应(lowrank adaptation,LoRA)进行微调,以保留预训练模型的先验知识并提高在深度伪造检测任务中的适应能力;设计了一种跨域双向适配器BCA(bi-directional cross-modal adapter)和跨域交叉注意力适配器DCA(dual-modal crossattention adapter)用于对两条分支进行微调及信息互补。在双流网络尾部加入多层感知机适配器以完成分类。实验结果表明,在训练参数为3.75×10^(7)的情况下,该方法在六个主流数据集上的平均AUC达到了99.67%,在跨库泛化性实验中平均AUC达到了77.3%,在跨压缩率实验中平均AUC达到了89.5%。 展开更多

关键词 深度伪造检测 双流网络 高效参数微调 高频噪声 自监督预训练

在线阅读 下载PDF 职称材料

改进注意力模型的食品图像识别方法 被引量：1

8

作者 姜枫 周莉莉 《计算机工程与应用》 CSCD 北大核心 2024年第12期153-159,共7页

随着人们对健康饮食需求的日益增加,各种饮食评估辅助软件应运而生,食品图像识别问题受到越来越多的关注。食品图像识别属于细粒度图像识别问题,较其他图像识别难度更大。目前主流的食品图像数据集,如ISIA Food-500、ETH Food-101、Vire... 随着人们对健康饮食需求的日益增加,各种饮食评估辅助软件应运而生,食品图像识别问题受到越来越多的关注。食品图像识别属于细粒度图像识别问题,较其他图像识别难度更大。目前主流的食品图像数据集,如ISIA Food-500、ETH Food-101、Vireo Food-172等所包含的图像数量偏少,难以很好地训练图像识别系统,进一步增大了图像识别难度。提出一种基于注意力机制的图像识别方法,该方法在自注意力的基础上引入局部注意力的概念,用于描绘图像细粒度特征,提高图像识别的准确率。此外,还提出一种图像自监督预训练算法,缓解食品图像训练样本不足的问题。实验结果表明,所提方法在ISIA Food-500数据集的Top-1和Top-5准确率分别达到65.58%和90.03%,性能优于现有的其他算法。 展开更多

关键词 食品图像 细粒度图像识别 局部注意力 自监督预训练 ISIA Food-500数据集

在线阅读 下载PDF 职称材料

融合多种参数高效微调技术的深度伪造检测方法 被引量：1

9

作者 张溢文 蔡满春 +2 位作者 陈咏豪 朱懿 姚利峰 《计算机科学与探索》 CSCD 北大核心 2024年第12期3335-3347,共13页

近年来,随着深度伪造技术趋于成熟,换脸软件、合成视频已经随处可见。尽管深度伪造技术为人们带来了娱乐,但同时也为不法分子提供了滥用的机会。因此,深度伪造检测技术的重要性也日益凸显。现有的深度伪造检测方法普遍存在跨压缩率鲁棒... 近年来,随着深度伪造技术趋于成熟,换脸软件、合成视频已经随处可见。尽管深度伪造技术为人们带来了娱乐,但同时也为不法分子提供了滥用的机会。因此,深度伪造检测技术的重要性也日益凸显。现有的深度伪造检测方法普遍存在跨压缩率鲁棒性差、跨数据集泛化性差以及模型训练开销大等问题。为解决上述问题,提出一种融合多种参数高效微调技术的深度伪造检测方法,使用以掩码图像建模(MIM)自监督方法预训练的视觉自注意力模型作为主干,使用克罗内克积改进的低秩自适应方法对预训练模型的自注意力模块参数进行微调,同时采用并行结构加入卷积适配器对图像局部纹理信息进行学习,以增强预训练模型在深度伪造检测任务中的适应能力,采用并行结构引入经典适配器对预训练模型的前馈网络微调以充分利用预训练阶段学习到的知识,使用多层感知机代替原预训练模型分类头实现深度伪造检测。在六个数据集上的实验结果表明,该模型在可训练参数仅有2×10^(7)的情况下,在六个主流数据集上实现了平均约0.996的帧水平AUC。在跨压缩率实验中,帧水平AUC的平均下降为0.135。在跨数据集泛化性实验中,帧水平AUC达到了平均0.765。 展开更多

关键词 深度伪造 视觉自注意力模型 自监督预训练模型 低秩自适应 参数高效微调

在线阅读 下载PDF 职称材料

基于TabNet-LSTNet的多特征短期负荷预测

10

作者 吴文辉 何家峰 +1 位作者 蔡高琰 骆德汉 《重庆大学学报》 CAS CSCD 北大核心 2024年第9期129-140,共12页

为了挖掘负荷预测中不同输入特征的重要性,有效处理负荷数据中的线性成分和非线性成分,提高负荷预测的精度,提出一种基于TabNet和长期和短期时间序列网络(long and short-term temporal networks,LSTNet)的组合负荷预测模型。通过引入... 为了挖掘负荷预测中不同输入特征的重要性,有效处理负荷数据中的线性成分和非线性成分,提高负荷预测的精度,提出一种基于TabNet和长期和短期时间序列网络(long and short-term temporal networks,LSTNet)的组合负荷预测模型。通过引入自监督预训练来提高TabNet的预测精度,通过训练得到输入特征的全局重要性和预测结果,然后把重要性高的特征输入到LSTNet训练得出预测结果,最后通过方差-协方差组合方法得出TabNet-LSTNet模型的预测结果。通过仿真分析,与传统的长短期记忆网络(long short-term memory,LSTM)、极端梯度提升机(extreme gradient boost,Xgboost)、轻量级梯度提升机(lignt gradient boosting machine,Lightgbm)和其他组合模型相比较,TabNet-LSTNet模型具有更高的精度。 展开更多

关键词 负荷预测 特征重要性 TabNet 自监督预训练 LSTNet

在线阅读 下载PDF 职称材料

面向无人机平台视觉任务的基于ViT的轻量型目标检测方法 被引量：1

11

作者 高一博 杨传栋 陈栋 《兵器装备工程学报》 CAS CSCD 北大核心 2022年第S02期241-246,共6页

设计了一种基于Vision Transformer结构的轻量化目标检测算法,前期采用一个小型CNN网络对图象做预处理提取初级特征,而后用多尺度特征金字塔ViT结构对不同分辨率特征图做注意力建模进行检测。算法采用窗口与全局注意力结合的方式减小推... 设计了一种基于Vision Transformer结构的轻量化目标检测算法,前期采用一个小型CNN网络对图象做预处理提取初级特征,而后用多尺度特征金字塔ViT结构对不同分辨率特征图做注意力建模进行检测。算法采用窗口与全局注意力结合的方式减小推测时计算量预测加速。同时采用特征级掩码自监督训练方式对ViT结构做预训练。在实验中,所设计的两种不同层数模型均在保持实时检测速度的前提下达到了高于其他轻量算法的AP值。 展开更多

关键词 无人机平台 目标检测 轻量化 自监督训练

在线阅读 下载PDF 职称材料