期刊文献+
共找到100篇文章
< 1 2 5 >
每页显示 20 50 100
基于多尺度胶囊Swin Transformer的SAR图像目标识别方法 被引量:1
1
作者 侯宇超 王洁 +4 位作者 李洪涛 郝岩 段晓旗 黄凯文 田有亮 《通信学报》 北大核心 2025年第3期274-290,共17页
通过协同胶囊单元的语义特征编码和Swin Transformer的上下文特征图建模优势相结合,提出了一种多尺度胶囊Swin Transformer网络(MSCSTN),将胶囊编码和Swin Transformer联合应用于SAR图像目标识别。该网络集成3个并行的胶囊Swin Transfor... 通过协同胶囊单元的语义特征编码和Swin Transformer的上下文特征图建模优势相结合,提出了一种多尺度胶囊Swin Transformer网络(MSCSTN),将胶囊编码和Swin Transformer联合应用于SAR图像目标识别。该网络集成3个并行的胶囊Swin Transformer编码结构,融合后对输入图像进行分类。每个结构通过基于膨胀卷积切片划分的胶囊令牌编码器和三维胶囊Swin Transformer模块构建,能捕获更深层次、更广泛的语义特征。在运动和静止目标的获取与识别(MSTAR)数据集及FUSAR-Ship数据集上的实验结果表明,MSCSTN在各种测试条件下均优于其他方法。结果表明,MSCSTN展现了良好的识别性能、泛化能力和应用潜力。 展开更多
关键词 膨胀卷积切片分区 胶囊令牌编码器 三维胶囊swin transformer模块 多尺度胶囊swin transformer网络 SAR图像目标识别
在线阅读 下载PDF
轻量型Swin Transformer与多尺度特征融合相结合的人脸表情识别方法 被引量:1
2
作者 李艳秋 李胜赵 +1 位作者 孙光灵 颜普 《光电工程》 北大核心 2025年第1期24-37,共14页
针对Swin Transformer模型应用在表情识别上参数量过大、实时性较差和对表情中存在的复杂且微小的表情变化特征捕捉能力有限的问题,提出了一个轻量型Swin Transformer和多尺度特征融合(EMA)模块相结合的人脸表情识别方法。该方法首先利... 针对Swin Transformer模型应用在表情识别上参数量过大、实时性较差和对表情中存在的复杂且微小的表情变化特征捕捉能力有限的问题,提出了一个轻量型Swin Transformer和多尺度特征融合(EMA)模块相结合的人脸表情识别方法。该方法首先利用提出的SPST模块替换掉原Swin Transformer模型第四个stage中的Swin Transformer block模块,来降低模型的参数量,实现模型的轻量化。然后在轻量型模型的第二个stage后嵌入了多尺度特征融合(EMA)模块,通过多尺度特征提取和跨空间信息聚合,有效地增强了模型对人脸表情细节的捕捉能力,从而提高人脸表情识别的准确性和鲁棒性。实验结果表明,所提方法在JAFFE、FERPLUS、RAF-DB和FANE这4个公共数据集上分别达到了97.56%、86.46%、87.29%和70.11%的识别准确率,且相比于原Swin Transformer模型,改进后的模型参数量下降了15.8%,FPS提升了9.6%,在保持模型较低参数量的同时,显著增强了模型的实时性。 展开更多
关键词 表情识别 swin transformer SPST模块 EMA模块
在线阅读 下载PDF
基于Swin Transformer与多尺度特征融合的图像描述方法
3
作者 王子怡 李卫军 +3 位作者 刘雪洋 丁建平 刘世侠 苏易礌 《计算机应用》 北大核心 2025年第10期3154-3160,共7页
基于Transformer的图像描述方法通过多头注意力会在整个输入序列上计算注意力权重,缺乏层次化的特征提取能力,并且两阶段的图像描述方法限制了模型性能。针对上述问题,提出一种基于Swin Transformer与多尺度特征融合的图像描述方法(STM... 基于Transformer的图像描述方法通过多头注意力会在整个输入序列上计算注意力权重,缺乏层次化的特征提取能力,并且两阶段的图像描述方法限制了模型性能。针对上述问题,提出一种基于Swin Transformer与多尺度特征融合的图像描述方法(STMSF)。在编码器中通过Agent Attention保持全局上下文建模能力的同时,提高计算效率;在解码器中提出多尺度交叉注意力(MSCA),融合交叉注意力与深度可分离卷积,在得到多尺度特征的同时更充分地融合多模态特征。实验结果表明,在MSCOCO数据集上与SCD-Net(Semantic-Conditional Diffusion Network)方法相比,STMSF的BLEU4(BiLingual Evaluation Understudy with 4-grams)和CIDEr(Consensus-based Image Description Evaluation)指标分别提升了1.1和5.3个百分点。对比实验和消融实验的结果表明,所提的一阶段STMSF能够有效提高模型性能,生成高质量的图像描述语句。 展开更多
关键词 swin transformer 多尺度特征 特征融合 图像描述 深度可分离卷积
在线阅读 下载PDF
基于Swin-Transformer的多尺度多源域自适应轴承故障诊断 被引量:1
4
作者 周玉国 张志凯 +2 位作者 张金超 于春风 周立俭 《机床与液压》 北大核心 2025年第1期32-42,共11页
针对当前多源域自适应方法无法充分挖掘多源域中不同尺度故障信息的问题,提出一种基于Swin-Transformer(Swin-T)的多尺度多源域自适应轴承故障诊断方法。通过连续小波变换,获得振动信号在不同频带的特征。为更充分地利用多源域中不同尺... 针对当前多源域自适应方法无法充分挖掘多源域中不同尺度故障信息的问题,提出一种基于Swin-Transformer(Swin-T)的多尺度多源域自适应轴承故障诊断方法。通过连续小波变换,获得振动信号在不同频带的特征。为更充分地利用多源域中不同尺度的故障信息,提出基于Swin-T的多尺度特征提取网络。为了减小各域之间的数据分布差异,构建基于最大均值差异的特征对齐网络,并根据不同尺度对分类的贡献赋予权值。此外,构建多尺度特征融合模块,对不同尺度的特征信息进行融合,得到故障特征集。最后,利用Softmax对特征集进行故障分类,并通过最小化多分类器预测差异损失得到最终分类结果。在凯斯西储大学和青岛理工大学轴承数据集上,该方法的故障分类准确度分别达到99.63%和99.40%。 展开更多
关键词 轴承 故障诊断 多源域自适应 swin-transformer 多尺度特征提取 最大均值差异
在线阅读 下载PDF
基于MCSP和Swin Transformer的转录因子结合位点预测模型
5
作者 李雪 石晋雪 +2 位作者 王会青 闫奥煜 王森 《华东理工大学学报(自然科学版)》 北大核心 2025年第4期552-563,共12页
预测转录因子结合位点(Transcription Factor Binding Sites,TFBS)可以帮助识别特定细胞和组织的特异性调控机制,对于理解基因表达调控机制至关重要。现有方法结合DNA的序列和形状信息进行TFBS的预测,生成的形状信息未考虑长侧翼核苷酸... 预测转录因子结合位点(Transcription Factor Binding Sites,TFBS)可以帮助识别特定细胞和组织的特异性调控机制,对于理解基因表达调控机制至关重要。现有方法结合DNA的序列和形状信息进行TFBS的预测,生成的形状信息未考虑长侧翼核苷酸的影响,在对序列信息进行特征提取时忽略了不同通道间特征的互补性,模型的预测能力有待提高。本文提出了TFBS预测模型MSSW,考虑长侧翼核苷酸来生成形状信息;利用Swin Transformer提取形状信息中长程依赖和局部关联相结合的特性,将分裂注意力融入多尺度卷积神经网络(Multiscale Convolution and Split attention,MCSP)来捕获序列中不同通道间特征的互补性,获得跨通道的多尺度序列特征;结合提取的高级序列和形状特征进行TFBS的预测。结果表明,MSSW模型优于现有TFBS预测模型,可有效预测TFBS。 展开更多
关键词 转录因子结合位点 多尺度卷积 分裂注意力 swin transformer Deep DNAshape
在线阅读 下载PDF
基于Swin Transformer的位移与应变测量
6
作者 但西佐 杨浩 李桂华 《光学精密工程》 北大核心 2025年第15期2455-2467,共13页
为解决传统数字图像相关(DIC)方法依赖固定子集而导致的高频位移捕捉能力不足及对复杂应变适应性差的问题,提出了一种基于Swin Transformer的位移与应变同步预测网络模型。该模型由ST-DIC-d(位移预测)和ST-DIC-s(应变预测)两个子网络组... 为解决传统数字图像相关(DIC)方法依赖固定子集而导致的高频位移捕捉能力不足及对复杂应变适应性差的问题,提出了一种基于Swin Transformer的位移与应变同步预测网络模型。该模型由ST-DIC-d(位移预测)和ST-DIC-s(应变预测)两个子网络组成。首先,利用Swin Transformer的分层编码器-解码器结构进行多尺度特征提取;然后,通过注意力机制与跳跃连接有效捕捉图像的局部和全局特征,从而得到位移场;最后,通过应变计算层从位移场精确计算应变分量。在DIC Challenge数据集上的实验结果表明,ST-DIC相比传统DIC方法和基于CNN的模型,平均绝对误差在垂直位移预测上减少21%。在实际拉伸实验中,ST-DIC在高梯度区域最大应变精度提高8%。本文所提出的方法在测量复杂变形方面具有更高的可靠性与精度。 展开更多
关键词 数字图像相关 swin transformer 高频位移 多尺度特征提取 应变测量
在线阅读 下载PDF
基于Swin Transformer的生成对抗网络水下图像增强模型 被引量:1
7
作者 李慧 贾炳志 +4 位作者 王晨曦 董子宇 李纪龙 仲兆满 陈艳艳 《计算机应用》 北大核心 2025年第5期1439-1446,共8页
针对水下图像对比度低、噪声大和存在色彩偏差等问题,以生成对抗网络(GAN)为核心框架,提出一种基于Swin Transformer的生成对抗网络水下图像增强模型SwinGAN(GAN based on Swin Transformer)。首先,生成网络部分遵循编码器-瓶颈层-解码... 针对水下图像对比度低、噪声大和存在色彩偏差等问题,以生成对抗网络(GAN)为核心框架,提出一种基于Swin Transformer的生成对抗网络水下图像增强模型SwinGAN(GAN based on Swin Transformer)。首先,生成网络部分遵循编码器-瓶颈层-解码器的结构设计,在瓶颈层将输入的特征图分割成多个不重叠的局部窗口;其次,引入双路窗口多头自注意力机制(DWMSA),在加强捕获全局信息和长距离依赖关系的同时,增强局部注意力;最后,在解码器中将下采样后的特征图经过多个上采样窗口重新组合成原始尺寸的特征图,判别网络则采用马尔可夫判别器。实验结果表明,与URSCT-SESR模型相比,在UFO-120数据集上,SwinGAN的峰值信噪比(PSNR)提升了0.837 2 dB,结构相似度(SSIM)提高了0.003 6;在EUVP-515数据集上,SwinGAN的PSNR提升了0.843 9 dB,SSIM提高了0.005 1,水下图像质量评价指标(UIQM)增加了0.112 4,水下彩色图像质量评估指标(UCIQE)略有上升,增加了0.001 0。可见,SwinGAN的主观评价以及客观评价指标都表现出色,在改善水下图像的色彩偏差问题上取得了不错的效果。 展开更多
关键词 水下图像增强 swin transformer 生成对抗网络 多头自注意力机制 马尔可夫判别器
在线阅读 下载PDF
结合Swin Transformer的多尺度遥感图像变化检测研究 被引量:4
8
作者 刘丽 张起凡 +1 位作者 白宇昂 黄凯烨 《图学学报》 CSCD 北大核心 2024年第5期941-956,共16页
由于地物信息的复杂性及变化检测数据的多元性,遥感图像特征提取的充分性和有效性难以得到保证,导致变化检测方法获取的检测结果可靠性较低。虽然卷积神经网络(CNN)凭借有效提取语义特征的优势,被广泛应用于遥感领域的变化检测之中,但... 由于地物信息的复杂性及变化检测数据的多元性,遥感图像特征提取的充分性和有效性难以得到保证,导致变化检测方法获取的检测结果可靠性较低。虽然卷积神经网络(CNN)凭借有效提取语义特征的优势,被广泛应用于遥感领域的变化检测之中,但卷积操作固有的局部性导致感受野受限,无法捕获时空上的全局信息以至于特征空间对中远距离依赖关系的建模受限。为捕获远距离的语义依赖,提取深层全局语义特征,设计了一种基于Swin Transformer的多尺度特征融合网络SwinChangeNet。首先,SwinChangeNet采用孪生的多级Swin Transformer特征编码器进行远距离上下文建模;其次,编码器中引入特征差异提取模块,计算不同尺度下变化前后的多级特征差异,再通过自适应融合层将多尺度特征图进行融合;最后,引入残差连接和通道注意力机制对融合后的特征信息进行解码,从而生成完整准确的变化图。在CDD和CD_Data_GZ 2个公开数据集上分别与7种经典和前沿变化检测方法进行比较,CDD数据集中本文模型的性能最优,相比于性能第二的模型,F1分数提高了1.11%,精确率提高了2.38%。CD_Data_GZ数据集中本文模型的性能最优,相比于性能第二的模型,F1分数、精确率和召回率分别提高了4.78%,4.32%,4.09%,提升幅度较大。对比实验结果证明了该模型具有更好的检测效果。在消融实验中也证实了模型中各个改进模块的稳定性和有效性。本文模型针对遥感图像变化检测任务,引入了Swin Transformer结构,使网络可以对遥感图像的局部特征和全局特征进行更有效地编码,让检测结果更加准确,同时保证网络在地物要素种类繁多的数据集上容易收敛。 展开更多
关键词 变化检测 孪生网络 swin transformer 多尺度特征融合 注意力机制 特征差异提取
在线阅读 下载PDF
一种改进型粘连大米实例分割模型Swin-STR
9
作者 张庆辉 张浩宇 +3 位作者 张梦雅 陈卫东 田国军 武勇 《中国粮油学报》 北大核心 2025年第7期177-186,共10页
现有基于卷积神经网络的图像分割方法虽能有效提取粘连大米图像中相似米粒的特征,但在边界模糊和粘连程度不一的情况下,难以实现理想的分割效果。研究受Swin Transformer启发,设计了更加适合粘连大米分割任务的主干网络STRNet,通过考虑... 现有基于卷积神经网络的图像分割方法虽能有效提取粘连大米图像中相似米粒的特征,但在边界模糊和粘连程度不一的情况下,难以实现理想的分割效果。研究受Swin Transformer启发,设计了更加适合粘连大米分割任务的主干网络STRNet,通过考虑图像全局关系及优化粘连大米边缘的分割合理性,构建了一种改进型粘连大米实例分割模型Swin-STR。STRNet包含特征先验模块(FPM)和特征交互融合模块(FIF)2个重要设计,FPM模块通过结合不同尺度的卷积操作,捕捉从局部到全局的多尺度空间信息,增强粘连区域识别,FIF通过多尺度特征融合提升模型对米粒不同程度粘连的分割能力。为了验证所提出模型的有效性,本文构建了包含4种品种大米、多光照干扰、非单一程度粘连的粘连大米实例分割数据集STR-900。实验结果表明,Swin-STR在粘连大米分割任务上相比多种基于卷积神经网络的实例分割模型有更好的效果。与Swin Transformer相比,Swin-STR在Box AP和Mask AP有4.8%和6.7%的提升,表明所提出模型在随机散落籽粒粘连分割任务上的优势。 展开更多
关键词 粘连大米图像 实例分割 swin transformer 多尺度特征 特征交互融合
在线阅读 下载PDF
基于感知增强Swin Transformer的遥感图像检测 被引量:7
10
作者 祝冰艳 陈志华 盛斌 《计算机工程》 CSCD 北大核心 2024年第1期216-223,共8页
随着遥感技术的快速发展,遥感图像检测被广泛应用于农业、军事、国防安全等众多领域。遥感图像相较于传统图像检测存在诸多难点,如何实现高效精准的遥感图像检测成为该领域的研究热点。针对遥感图像检测中存在的计算复杂度高、正负样本... 随着遥感技术的快速发展,遥感图像检测被广泛应用于农业、军事、国防安全等众多领域。遥感图像相较于传统图像检测存在诸多难点,如何实现高效精准的遥感图像检测成为该领域的研究热点。针对遥感图像检测中存在的计算复杂度高、正负样本不平衡、目标尺度小等问题,提出一种基于感知增强Swin Transformer的遥感图像检测网络,以提升遥感图像检测性能。在主干网络设计过程中,利用Swin Transformer分层设计和移动窗口的优点有效减小计算复杂度,同时插入空间局部感知块,加强网络对局部相关性和结构信息的提取能力。设计区域分布回归损失为小目标分配更大的权重,解决了正负样本不平衡的问题,同时结合改进的IoU-aware分类损失消除不同分支之间的差距,降低分类和回归损失。在公共遥感数据集DOTA上的多组实验结果表明,该网络获得了78.47%的平均精度均值和10.8帧/s的检测速度,检测性能优于经典的目标检测网络Faster R-CNN、Mask R-CNN以及现有优秀的遥感图像检测网络,并且在各类不同尺度的目标上均具有较好的性能表现。 展开更多
关键词 遥感图像 目标检测 swin transformer 多尺度特征 深度学习
在线阅读 下载PDF
一种融合Transformer的多尺度结构图像去模糊方法
11
作者 郭业才 阳刚 毛湘南 《电光与控制》 北大核心 2025年第3期62-68,共7页
针对现有图像去模糊模型对于全局特征信息学习的不足以及感受野受限的问题,提出一种改进的融合Transformer的多尺度结构图像去模糊方法。首先,为了提高模型对全局特征学习以及远程像素捕获的能力,设计了一个多特征多尺度融合模块,该模... 针对现有图像去模糊模型对于全局特征信息学习的不足以及感受野受限的问题,提出一种改进的融合Transformer的多尺度结构图像去模糊方法。首先,为了提高模型对全局特征学习以及远程像素捕获的能力,设计了一个多特征多尺度融合模块,该模块利用双旁路结构将局部特征信息和全局特征信息有效地结合起来,同时简化Transformer以提升计算效率;其次,为了缓解卷积操作缺乏输入内容自适应的缺点,将通道注意力引入到特征融合模块中来动态地学习有用信息;最后,在基准数据集GoPro上,所提方法取得的峰值信噪比为31.87 dB,结构相似度为0.952。实验结果表明,所提方法与主流方法相比能够有效地复原图像细节特征,并且能够提升后续计算机视觉任务的鲁棒性。 展开更多
关键词 图像去模糊 多尺度结构 transformer 卷积神经网络 注意力机制
在线阅读 下载PDF
基于Swin-Transformer改进的目标跟踪算法 被引量:1
12
作者 刘时 朱明 《液晶与显示》 CAS CSCD 北大核心 2024年第11期1569-1580,共12页
基于STARK目标跟踪方法中采用ResNet为骨干网络,其特征提取能力不足,跟踪效果较差。针对此问题,本文基于Swin-Transformer网络,提出了一种改进的目标跟踪算法。首先,对Swin-Transformer内窗口注意力机制进行多尺度改进,设计多尺度窗口模... 基于STARK目标跟踪方法中采用ResNet为骨干网络,其特征提取能力不足,跟踪效果较差。针对此问题,本文基于Swin-Transformer网络,提出了一种改进的目标跟踪算法。首先,对Swin-Transformer内窗口注意力机制进行多尺度改进,设计多尺度窗口模块MW-MSA,旨在提取更为丰富的局部细节信息,与全局上下文信息共同构成多尺度判别性特征。接着,结合Transformer的编码-解码结构作为特征融合网络,采用优化的多层感知机作为更新分数判断网络构成状态感知模块。最后,针对目标消失、重现挑战,提出了一种多跟踪器融合方法。融合多尺度改进的跟踪算法和SuperDiMP跟踪算法,设计消失状态判断模块,综合考虑两种跟踪器的置信度分数及目标在预测框附近的可能性估计。实验结果表明,相较STARK跟踪算法,本文算法在GOT-10K数据集上的平均重叠率(AO)提升2.7%、成功率SR_(0.5)提高3.3%。在L-LaSOT数据集上,相较于STARK算法,成功率(AUC)提升0.8%,在目标消失重现挑战下成功率提升1%。 展开更多
关键词 目标跟踪 多尺度窗口 swin-transformer 模板更新 多模型融合
在线阅读 下载PDF
基于Swin Transformer的地震相识别模型 被引量:3
13
作者 硕良勋 李志轩 +2 位作者 柴变芳 王天意 郑晓东 《天然气工业》 EI CAS CSCD 北大核心 2024年第12期63-72,共10页
地震相识别是油气勘探开发过程中的一项重要技术,但该技术长期存在方法模型训练速度较慢、预测耗时、解释结果人为主观性较强,以及各层特征提取忽略多尺度特征等问题。为此,针对目前地震相识别精度不够且计算成本高的问题,构建了一个基... 地震相识别是油气勘探开发过程中的一项重要技术,但该技术长期存在方法模型训练速度较慢、预测耗时、解释结果人为主观性较强,以及各层特征提取忽略多尺度特征等问题。为此,针对目前地震相识别精度不够且计算成本高的问题,构建了一个基于Swin Transformer的地震相识别模型(Seismic Facies Identification based on Swin Transformer,SFI-ST),首先联合卷积神经网络,利用编码器和解码器不断捕捉地震相细节特征,然后采用两种不同的数据集测试并评估模型的有效性,同时考虑到数据集划分对模型的影响,针对不同划分比例进行性能分析对比,最后对模型进行了消融实验以及抗噪性分析。研究结果表明:①编码器使用的Swin Transformer模块具有较好的特征提取能力,基于较小移动窗口进行特征提取的策略保证模型更快地学习高分辨率地震剖面特征,在各移动窗口使用自注意力机制计算特征的方法保证模型在较大视野下更准确地提取局部特征;②Swin Transformer使用逐层特征融合的方式,在提升特征提取速度的同时保证模型获取更多尺度的特征;③融合Swin Transformer和卷积神经网络模块实现各层特征提取,增强了模型对轮廓、边缘的提取能力。结论认为:①SFI-ST模型应用于两工区数据上的平均交并比分别为73.2%和77.6%,相较于其他主流深度学习算法至少分别提升了10.7%和6.0%,SFI-ST模型运行时间分别为0.62 h和2.88 h,相较于其他主流深度学习算法至少减少了15.1%和24.2%;②SFI-ST模型一定程度上解决了现有地震相智能识别方法识别速度慢、精度低等问题,为地震相识别提供了新方法,在技术上助力了油气勘探开发进程。 展开更多
关键词 地震相识别 语义分割模型 swin transformer 多尺度特征 油气藏预测
在线阅读 下载PDF
一种交互连接CNN和Transformer的肠道息肉图像分类网络
14
作者 曹博 叶淑芳 +3 位作者 饶钰君 汤晓恒 何熊熊 李胜 《小型微型计算机系统》 北大核心 2025年第4期932-939,共8页
利用内镜图像对结直肠息肉进行风险分类至关重要,能够提高临床诊断准确性并降低结直肠癌死亡率.然而,目前基于卷积神经网络(CNN)或视觉Transformer(ViT)的分类方法不能很好地区分类内尺度大和类间相似性高的息肉图像,针对息肉风险的分... 利用内镜图像对结直肠息肉进行风险分类至关重要,能够提高临床诊断准确性并降低结直肠癌死亡率.然而,目前基于卷积神经网络(CNN)或视觉Transformer(ViT)的分类方法不能很好地区分类内尺度大和类间相似性高的息肉图像,针对息肉风险的分类任务亟需改善.CNN中的卷积算子擅长提取局部特征.ViT通过级联自注意力模块可以捕获长距离依赖关系和全局特征.本文提出一个交互连接模块,以交互式的方式将CNN和ViT相连接,以整合多尺度特征;所设计的交互混合模型,能最大限度地保留局部特征和全局表示,显著缓解息肉多分类的类内差异性大、类间相似性高的问题;在大规模自然图像数据集中进行预训练;通过微调模型结构,使用预训练的交互混合模型参数初始化主干网络,并迁移至结直肠息肉数据集中再次训练,实现息肉多分类.在结直肠息肉私有数据集和Kvasir公共数据集上评估所提出模型,实验结果显示总体分类准确率分别达到了85.83%和96.84%,优于本文比较的其他算法;且引入迁移学习可以在降低训练成本的同时提升交互混合模型的分类性能和泛化性,在有限的训练数据集下有助于提高临床诊断效率. 展开更多
关键词 卷积神经网络(CNN) 视觉transformer(ViT) 结直肠息肉分类 多尺度特征 迁移学习
在线阅读 下载PDF
多尺度特征融合的双阶段Transformer去雨网络
15
作者 李世平 周冬明 《小型微型计算机系统》 北大核心 2025年第4期898-906,共9页
图像去雨研究旨在提升图像质量,强化视觉感知.现有去雨算法由于通常采用单阶段实现,在去除雨纹干扰的同时会造成无雨背景的信息缺失,导致无法兼顾去雨效果和图像清晰度.为此,本文提出了一种基于Transformer的多尺度、双阶段U型去雨网络... 图像去雨研究旨在提升图像质量,强化视觉感知.现有去雨算法由于通常采用单阶段实现,在去除雨纹干扰的同时会造成无雨背景的信息缺失,导致无法兼顾去雨效果和图像清晰度.为此,本文提出了一种基于Transformer的多尺度、双阶段U型去雨网络,将去雨任务通过两个分别侧重于雨纹提取和细节修复的子网络逐步完成.第1阶段,引入反投射技术提出了一种特征融合模块,通过迭代逐渐融合不同尺度下的特征信息以弥补U型结构造成的信息缺失.同时,基于Boosting算法提出了一种增强连接的特征提取模块,以增强细节特征,提高输出信噪比.第2阶段,提出了一种细节增强注意力模块对粗糙去雨图像进行细节修复以生成轮廓清晰的无雨图像.实验结果表明,本文提出的算法在合成和真实数据集上都取得了出色的去雨效果,在Rain100H、SPA-data等数据集上相比近期其他优秀去雨算法均有一定程度的指标提升. 展开更多
关键词 图像去雨 transformer 多阶段网络 多尺度特征融合
在线阅读 下载PDF
结合多尺度特征增强与记忆引导Transformer的遥感图像描述算法
16
作者 姚志远 桑国明 张益嘉 《小型微型计算机系统》 北大核心 2025年第8期1978-1985,共8页
为解决传统的遥感图像描述算法对图像多尺度信息利用不充分的问题,本文提出了结合多尺度特征增强与记忆引导Transformer的遥感图像描述生成算法(MFE-MGT).首先,利用预训练的视觉特征提取器提取图像特征,并将卷积神经网络中浅层与深层的... 为解决传统的遥感图像描述算法对图像多尺度信息利用不充分的问题,本文提出了结合多尺度特征增强与记忆引导Transformer的遥感图像描述生成算法(MFE-MGT).首先,利用预训练的视觉特征提取器提取图像特征,并将卷积神经网络中浅层与深层的特征进行拼接;其次,通过多尺度特征增强模块获得融合增强后的图像特征,以更好地捕捉多尺度特征;接着,将融合增强后的视觉特征输入记忆引导Transformer的编码器进行编码聚合;最后,通过Transformer记忆解码器生成图像描述.模型采用RSICD数据集进行训练,实验结果表明,MFE-MGT在多个评价指标上的表现均优于当前主流的遥感图像描述生成算法,能够准确的描述图像内容. 展开更多
关键词 多尺度特征增强 深度神经网络 transformer 遥感图像描述
在线阅读 下载PDF
融合条形卷积和Transformer的风机叶片裂纹检测研究
17
作者 黄启昀 李黄强 +2 位作者 舒征宇 李欣 付军军 《现代电子技术》 北大核心 2025年第14期123-128,共6页
针对风机叶片早期出现的浅色、细小裂纹难以识别问题,提出一种融合条形卷积和Transformer的风机叶片裂纹检测方法。首先基于不同方向条形卷积构建多方向裂纹特征增强模块,在不同尺度下增强网络对裂纹特征的提取能力;其次,在Transformer... 针对风机叶片早期出现的浅色、细小裂纹难以识别问题,提出一种融合条形卷积和Transformer的风机叶片裂纹检测方法。首先基于不同方向条形卷积构建多方向裂纹特征增强模块,在不同尺度下增强网络对裂纹特征的提取能力;其次,在Transformer中引入非线性无激活网络,以降低Transformer在利用高分辨率图像进行检测任务时的计算复杂度;最后结合Transformer与条形卷积的优势,构建一种四级对称编码-解码器网络,完成叶片裂纹缺陷检测任务。测试结果表明,该方法在自制数据集上的mPA值和mIoU值分别达到86.87%和79.54%,且网络的训练速率达到13.24幅/s,说明风机叶片裂纹检测方法在检测性能与检测速率上均具有良好的效果。 展开更多
关键词 风机叶片 裂纹检测 多尺度特征 条形卷积 transformer 编码-解码器网络
在线阅读 下载PDF
融合多特征与全局-局部Transformer的图像修复算法 被引量:1
18
作者 滕诗宇 何丽君 《电子测量技术》 北大核心 2025年第6期121-129,共9页
针对当前图像修复领域所面临的高计算复杂度以及在生成结构合理且细节丰富的图像方面的局限,提出了一种融合多尺度分层特征与全局-局部协同Transformer的图像修复模型。首先提出多尺度分层特征融合模块,以实现深层特征与浅层特征细节上... 针对当前图像修复领域所面临的高计算复杂度以及在生成结构合理且细节丰富的图像方面的局限,提出了一种融合多尺度分层特征与全局-局部协同Transformer的图像修复模型。首先提出多尺度分层特征融合模块,以实现深层特征与浅层特征细节上的有效融合,在扩大感受野的同时减少关键信息丢失情况。其次提出用于全局推理的全局-局部协同Transformer模块,它通过集成矩形窗口注意力机制和局部前馈神经网络,在降低计算复杂度的同时,提高模型对全局上下文信息的宏观理解和对局部细节特征的微观捕捉能力,增强图像的整体一致性。实验在CelebA-HQ和Places2数据集上进行了验证,在处理40%~50%掩码时,所提方法与常用的修复方法对比,PSNR平均提高了0.26~6.25 dB,SSIM平均提升了1.4%~19%,L1平均下降了0.2%~5.66%。实验证明,所提方法修复后的图像在视觉上具有更加真实和自然的效果,进一步验证了该方法的有效性。 展开更多
关键词 深度学习 图像修复 多尺度分层特征融合 全局-局部协同transformer 矩形窗口注意力机制 局部前馈神经网络
在线阅读 下载PDF
多尺度特征融合的轻量化Transformer医学图像分割研究
19
作者 王骁崴 邢树礼 毛国君 《中国生物医学工程学报》 北大核心 2025年第2期165-173,共9页
UNet网络在医学图像分割领域得到广泛应用,其编码器搭配解码器的U形网络结构已经逐渐成为医学图像分割的主流构架之一。然而,传统UNet属于纯卷积神经网络,由于其定位准确性受制于卷积的局部视野,所以缺乏利用全局依赖关系的能力。Transf... UNet网络在医学图像分割领域得到广泛应用,其编码器搭配解码器的U形网络结构已经逐渐成为医学图像分割的主流构架之一。然而,传统UNet属于纯卷积神经网络,由于其定位准确性受制于卷积的局部视野,所以缺乏利用全局依赖关系的能力。Transformer作为目前大模型的核心支撑技术,具有优秀的捕捉全局依赖关系的能力,可弥补传统UNet的不足。本研究构建一种新的医学图像分割模型MoFormer。该模型以UNet的编码-解码结构为基础构架,在编码器中融合Transformer学习机制,扩大了模型上下文感知视野,提升了局部与全局信息的多尺度特征提取能力。随机初始化的MoFormer模型在BTCV数据集(共包含50例腹部CT图像)上平均Dice系数为0.823;在包含2 750张皮肤镜图像的ISIC2017数据集上达到了与TransFuse相同的效果,但参数量比TransFuse少10.91 M;在包含2 590张内窥镜图像的息肉数据集上实验,其性能超越了PraNet等其他流行的对比模型,其mIoU值平均提高了0.123。该神经网络模型平衡了参数量和分割精度,在多种医学图像数据集中表现出良好的泛化性。本研究设计的MoFormer模型有效地平衡了参数量和精度,在多种医学图像分割任务中取得了良好性能。 展开更多
关键词 U形网络 transformer 多尺度特征 轻量化 医学图像分割
在线阅读 下载PDF
基于生成对抗网络与Transformer的多尺度光伏出力预测
20
作者 颜俊 贺伟 +4 位作者 郭创新 刘洁 李冰 李存凯 赵继爽 《电力自动化设备》 北大核心 2025年第11期25-35,共11页
为了应对光伏出力波动性对电网的挑战,提出一种“特征分解-生成建模-多尺度融合”的生成式人工智能框架,实现对年、季度、日多时间尺度特征的精准预测。提取年周期出力的起止时刻及最大幅度,构建长期出力时间-幅度特征;基于生成对抗网... 为了应对光伏出力波动性对电网的挑战,提出一种“特征分解-生成建模-多尺度融合”的生成式人工智能框架,实现对年、季度、日多时间尺度特征的精准预测。提取年周期出力的起止时刻及最大幅度,构建长期出力时间-幅度特征;基于生成对抗网络设计季度出力范围生成器,引入Wasserstein距离和动态时间规整损失,提高季度出力预测的稳定性;采用多注意力Transformer模型融合不同时间尺度特征,提升短期出力预测精度。实验结果表明,所提方法在光伏出力的趋势和波动建模方面优于已有方法,能有效降低出力预测误差,为新能源电网调度和储能管理提供可靠支持。 展开更多
关键词 光伏出力预测 多时间尺度建模 生成式人工智能 transformer 不确定性量化 生成对抗网络
在线阅读 下载PDF
上一页 1 2 5 下一页 到第
使用帮助 返回顶部