期刊文献+
共找到705篇文章
< 1 2 36 >
每页显示 20 50 100
Spectral matching algorithm based on nonsubsampled contourlet transform and scale-invariant feature transform 被引量:4
1
作者 Dong Liang Pu Yan +2 位作者 Ming Zhu Yizheng Fan Kui Wang 《Journal of Systems Engineering and Electronics》 SCIE EI CSCD 2012年第3期453-459,共7页
A new spectral matching algorithm is proposed by us- ing nonsubsampled contourlet transform and scale-invariant fea- ture transform. The nonsubsampled contourlet transform is used to decompose an image into a low freq... A new spectral matching algorithm is proposed by us- ing nonsubsampled contourlet transform and scale-invariant fea- ture transform. The nonsubsampled contourlet transform is used to decompose an image into a low frequency image and several high frequency images, and the scale-invariant feature transform is employed to extract feature points from the low frequency im- age. A proximity matrix is constructed for the feature points of two related images. By singular value decomposition of the proximity matrix, a matching matrix (or matching result) reflecting the match- ing degree among feature points is obtained. Experimental results indicate that the proposed algorithm can reduce time complexity and possess a higher accuracy. 展开更多
关键词 point pattern matching nonsubsampled contourlet transform scale-invariant feature transform spectral algorithm.
在线阅读 下载PDF
基于时序二维变换和多尺度Transformer的电能质量扰动分类方法
2
作者 王守相 李慧强 +3 位作者 赵倩宇 郭陆阳 王同勋 王洋 《电力系统自动化》 北大核心 2025年第7期198-207,共10页
随着新能源渗透率的不断提高,电网面临的电能质量扰动(PQD)问题变得更加复杂,基于一维PQD信号的传统分类方法难以同时提取并辨识周期性与趋势性扰动。针对此问题,提出了一种基于时序二维变换和多尺度Transformer的PQD分类方法。首先,利... 随着新能源渗透率的不断提高,电网面临的电能质量扰动(PQD)问题变得更加复杂,基于一维PQD信号的传统分类方法难以同时提取并辨识周期性与趋势性扰动。针对此问题,提出了一种基于时序二维变换和多尺度Transformer的PQD分类方法。首先,利用时序二维变换将一维PQD时间序列转换为一组基于多个周期的二维张量,以实现在二维空间中深入挖掘PQD信号中所包含的特征信息。然后,通过多尺度Transformer编码器模块提取PQD信号的多尺度特征图,利用多尺度Transformer解码器模块对多尺度特征图进行拼接和特征融合,有效合并在不同尺度上提取的特征图。最后,通过全连接层和Softmax分类器完成PQD分类任务。为验证所提方法的有效性,建立了含24种PQD的数据集对模型进行测试,结果表明所提方法对PQD信号具有较高的分类准确率和噪声鲁棒性。 展开更多
关键词 电能质量 扰动 分类 时序二维变换 多尺度transformer 特征提取 特征融合
在线阅读 下载PDF
多维度聚合Transformer的图像超分辨率重建
3
作者 陈清江 陈鹏民 《光学精密工程》 北大核心 2025年第12期1955-1970,共16页
针对现有基于Transformer的图像超分辨率网络中感受野尺度单一以及未充分挖掘额外维度信息等问题,本文提出了一种多维度聚合Transformer网络。首先,通过构建多尺度交互调制模块,从低分辨率图像中提取多尺度特征,以增强信息流的丰富性。... 针对现有基于Transformer的图像超分辨率网络中感受野尺度单一以及未充分挖掘额外维度信息等问题,本文提出了一种多维度聚合Transformer网络。首先,通过构建多尺度交互调制模块,从低分辨率图像中提取多尺度特征,以增强信息流的丰富性。其次,设计了空间-通道交互模块,并将其集成于Transformer层中,利用四种形式的注意力机制充分提取关键特征并实现特征融合,从而提升模型性能。最后,提出了特征重用Transformer模块,深入挖掘各层特征之间的关联,精准提取并高效重用重要特征,进一步加强模型表现。实验结果表明,在五个基准测试集上,所提方法优于其他先进算法。在不同放大倍数的超分辨率任务中,相较于基于Swin Transformer的图像恢复方法,峰值信噪比和结构相似度分别平均提升了约0.26 dB和0.0024,且重建效果更加清晰。该方法有效克服了现有方法的不足,在超分辨率任务中展现出显著的性能提升和应用潜力。 展开更多
关键词 图像超分辨率 transformER 注意力机制 特征交互 特征重用 多尺度
在线阅读 下载PDF
一种交互连接CNN和Transformer的肠道息肉图像分类网络
4
作者 曹博 叶淑芳 +3 位作者 饶钰君 汤晓恒 何熊熊 李胜 《小型微型计算机系统》 北大核心 2025年第4期932-939,共8页
利用内镜图像对结直肠息肉进行风险分类至关重要,能够提高临床诊断准确性并降低结直肠癌死亡率.然而,目前基于卷积神经网络(CNN)或视觉Transformer(ViT)的分类方法不能很好地区分类内尺度大和类间相似性高的息肉图像,针对息肉风险的分... 利用内镜图像对结直肠息肉进行风险分类至关重要,能够提高临床诊断准确性并降低结直肠癌死亡率.然而,目前基于卷积神经网络(CNN)或视觉Transformer(ViT)的分类方法不能很好地区分类内尺度大和类间相似性高的息肉图像,针对息肉风险的分类任务亟需改善.CNN中的卷积算子擅长提取局部特征.ViT通过级联自注意力模块可以捕获长距离依赖关系和全局特征.本文提出一个交互连接模块,以交互式的方式将CNN和ViT相连接,以整合多尺度特征;所设计的交互混合模型,能最大限度地保留局部特征和全局表示,显著缓解息肉多分类的类内差异性大、类间相似性高的问题;在大规模自然图像数据集中进行预训练;通过微调模型结构,使用预训练的交互混合模型参数初始化主干网络,并迁移至结直肠息肉数据集中再次训练,实现息肉多分类.在结直肠息肉私有数据集和Kvasir公共数据集上评估所提出模型,实验结果显示总体分类准确率分别达到了85.83%和96.84%,优于本文比较的其他算法;且引入迁移学习可以在降低训练成本的同时提升交互混合模型的分类性能和泛化性,在有限的训练数据集下有助于提高临床诊断效率. 展开更多
关键词 卷积神经网络(CNN) 视觉transformer(ViT) 结直肠息肉分类 多尺度特征 迁移学习
在线阅读 下载PDF
融合CNN和Transformer的三维冠状动脉CT图像分割
5
作者 潘成龙 刘立程 潘丹 《电子测量技术》 北大核心 2025年第6期143-151,共9页
冠状动脉的分割有利于医生快速诊断心血管疾病,针对冠状动脉复杂结构和其它血管组织干扰带来的难分割,造成大量碎片分割的问题,保证模型对不同形态结构冠脉分割的自适应能力,提出了一种新的三维冠状动脉分割网络模型CA-SegNet。融合CNN... 冠状动脉的分割有利于医生快速诊断心血管疾病,针对冠状动脉复杂结构和其它血管组织干扰带来的难分割,造成大量碎片分割的问题,保证模型对不同形态结构冠脉分割的自适应能力,提出了一种新的三维冠状动脉分割网络模型CA-SegNet。融合CNN和Transformer为骨干网络,利用其优势和互补性,充分提取冠状动脉的局部和全局特征。通过提出多尺度特征交互模块,提取冠脉多尺度特征的同时进行特征通道之间的交互。在解码阶段,提出注意力加权特征融合模块,分别从空间和通道的角度对特征进行加权融合,使模型更加关注冠状动脉区域。实验结果表明,提出的模型在Dice相似系数、Recall、Precision和HD95值分别达到了81.96%、84.24%、80.11%和14.94,优于当前流行的分割网络模型,验证了CA-SegNet的有效性。 展开更多
关键词 冠状动脉分割 卷积神经网络 transformER 特征融合 注意力机制 多尺度特征
在线阅读 下载PDF
多尺度特征融合的双阶段Transformer去雨网络
6
作者 李世平 周冬明 《小型微型计算机系统》 北大核心 2025年第4期898-906,共9页
图像去雨研究旨在提升图像质量,强化视觉感知.现有去雨算法由于通常采用单阶段实现,在去除雨纹干扰的同时会造成无雨背景的信息缺失,导致无法兼顾去雨效果和图像清晰度.为此,本文提出了一种基于Transformer的多尺度、双阶段U型去雨网络... 图像去雨研究旨在提升图像质量,强化视觉感知.现有去雨算法由于通常采用单阶段实现,在去除雨纹干扰的同时会造成无雨背景的信息缺失,导致无法兼顾去雨效果和图像清晰度.为此,本文提出了一种基于Transformer的多尺度、双阶段U型去雨网络,将去雨任务通过两个分别侧重于雨纹提取和细节修复的子网络逐步完成.第1阶段,引入反投射技术提出了一种特征融合模块,通过迭代逐渐融合不同尺度下的特征信息以弥补U型结构造成的信息缺失.同时,基于Boosting算法提出了一种增强连接的特征提取模块,以增强细节特征,提高输出信噪比.第2阶段,提出了一种细节增强注意力模块对粗糙去雨图像进行细节修复以生成轮廓清晰的无雨图像.实验结果表明,本文提出的算法在合成和真实数据集上都取得了出色的去雨效果,在Rain100H、SPA-data等数据集上相比近期其他优秀去雨算法均有一定程度的指标提升. 展开更多
关键词 图像去雨 transformER 多阶段网络 多尺度特征融合
在线阅读 下载PDF
结合多尺度特征增强与记忆引导Transformer的遥感图像描述算法
7
作者 姚志远 桑国明 张益嘉 《小型微型计算机系统》 北大核心 2025年第8期1978-1985,共8页
为解决传统的遥感图像描述算法对图像多尺度信息利用不充分的问题,本文提出了结合多尺度特征增强与记忆引导Transformer的遥感图像描述生成算法(MFE-MGT).首先,利用预训练的视觉特征提取器提取图像特征,并将卷积神经网络中浅层与深层的... 为解决传统的遥感图像描述算法对图像多尺度信息利用不充分的问题,本文提出了结合多尺度特征增强与记忆引导Transformer的遥感图像描述生成算法(MFE-MGT).首先,利用预训练的视觉特征提取器提取图像特征,并将卷积神经网络中浅层与深层的特征进行拼接;其次,通过多尺度特征增强模块获得融合增强后的图像特征,以更好地捕捉多尺度特征;接着,将融合增强后的视觉特征输入记忆引导Transformer的编码器进行编码聚合;最后,通过Transformer记忆解码器生成图像描述.模型采用RSICD数据集进行训练,实验结果表明,MFE-MGT在多个评价指标上的表现均优于当前主流的遥感图像描述生成算法,能够准确的描述图像内容. 展开更多
关键词 多尺度特征增强 深度神经网络 transformER 遥感图像描述
在线阅读 下载PDF
融合条形卷积和Transformer的风机叶片裂纹检测研究
8
作者 黄启昀 李黄强 +2 位作者 舒征宇 李欣 付军军 《现代电子技术》 北大核心 2025年第14期123-128,共6页
针对风机叶片早期出现的浅色、细小裂纹难以识别问题,提出一种融合条形卷积和Transformer的风机叶片裂纹检测方法。首先基于不同方向条形卷积构建多方向裂纹特征增强模块,在不同尺度下增强网络对裂纹特征的提取能力;其次,在Transformer... 针对风机叶片早期出现的浅色、细小裂纹难以识别问题,提出一种融合条形卷积和Transformer的风机叶片裂纹检测方法。首先基于不同方向条形卷积构建多方向裂纹特征增强模块,在不同尺度下增强网络对裂纹特征的提取能力;其次,在Transformer中引入非线性无激活网络,以降低Transformer在利用高分辨率图像进行检测任务时的计算复杂度;最后结合Transformer与条形卷积的优势,构建一种四级对称编码-解码器网络,完成叶片裂纹缺陷检测任务。测试结果表明,该方法在自制数据集上的mPA值和mIoU值分别达到86.87%和79.54%,且网络的训练速率达到13.24幅/s,说明风机叶片裂纹检测方法在检测性能与检测速率上均具有良好的效果。 展开更多
关键词 风机叶片 裂纹检测 多尺度特征 条形卷积 transformER 编码-解码器网络
在线阅读 下载PDF
多尺度特征融合的轻量化Transformer医学图像分割研究
9
作者 王骁崴 邢树礼 毛国君 《中国生物医学工程学报》 北大核心 2025年第2期165-173,共9页
UNet网络在医学图像分割领域得到广泛应用,其编码器搭配解码器的U形网络结构已经逐渐成为医学图像分割的主流构架之一。然而,传统UNet属于纯卷积神经网络,由于其定位准确性受制于卷积的局部视野,所以缺乏利用全局依赖关系的能力。Transf... UNet网络在医学图像分割领域得到广泛应用,其编码器搭配解码器的U形网络结构已经逐渐成为医学图像分割的主流构架之一。然而,传统UNet属于纯卷积神经网络,由于其定位准确性受制于卷积的局部视野,所以缺乏利用全局依赖关系的能力。Transformer作为目前大模型的核心支撑技术,具有优秀的捕捉全局依赖关系的能力,可弥补传统UNet的不足。本研究构建一种新的医学图像分割模型MoFormer。该模型以UNet的编码-解码结构为基础构架,在编码器中融合Transformer学习机制,扩大了模型上下文感知视野,提升了局部与全局信息的多尺度特征提取能力。随机初始化的MoFormer模型在BTCV数据集(共包含50例腹部CT图像)上平均Dice系数为0.823;在包含2 750张皮肤镜图像的ISIC2017数据集上达到了与TransFuse相同的效果,但参数量比TransFuse少10.91 M;在包含2 590张内窥镜图像的息肉数据集上实验,其性能超越了PraNet等其他流行的对比模型,其mIoU值平均提高了0.123。该神经网络模型平衡了参数量和分割精度,在多种医学图像数据集中表现出良好的泛化性。本研究设计的MoFormer模型有效地平衡了参数量和精度,在多种医学图像分割任务中取得了良好性能。 展开更多
关键词 U形网络 transformER 多尺度特征 轻量化 医学图像分割
在线阅读 下载PDF
基于Transformer全局-局部特征融合的RGB-D显著性检测
10
作者 宋梦柯 王芸 郑元超 《计算机应用与软件》 北大核心 2025年第3期176-182,共7页
现有的RGB-D方法一般通过局部操作分别应用多尺度和多模态融合,但这无法捕获远程依赖性,因此对特征整体表征能力不足。针对此问题,提出一种全局-局部特征融合网络。在低层特征提取阶段,将两个分支特征直接融合;在高层特征提取阶段,将融... 现有的RGB-D方法一般通过局部操作分别应用多尺度和多模态融合,但这无法捕获远程依赖性,因此对特征整体表征能力不足。针对此问题,提出一种全局-局部特征融合网络。在低层特征提取阶段,将两个分支特征直接融合;在高层特征提取阶段,将融合后特征送入Transformer编码器通过在所有位置同时整合多尺度和多模态的特征来进行充分的特征融合,获得全局特征依赖关系之后再送入主干网络提取全局—局部融合特征。同时提出双重注意力模块,用来增强两个分支特征的融合效果。在五个公开数据集上进行的实验表明,该网络在三个评价指标上均取得了较好的表现。 展开更多
关键词 RGB-D显著性检测 全局-局部特征 跨模态融合 多尺度 transformER
在线阅读 下载PDF
双路Transformer在轴承故障诊断中的应用
11
作者 邰志艳 侯婷悦 +2 位作者 刘铭 于子奇 冯子懿 《重庆理工大学学报(自然科学)》 北大核心 2025年第5期179-184,共6页
针对传统算法在轴承故障诊断任务中无法充分利用信号特征,提出双路Transformer方法对轴承故障进行诊断分类。Transformer的自注意力机制可以深度提取长序列频谱数据中全局时域关联信息,双路Transformer在2条路径上采用不同大小的卷积核... 针对传统算法在轴承故障诊断任务中无法充分利用信号特征,提出双路Transformer方法对轴承故障进行诊断分类。Transformer的自注意力机制可以深度提取长序列频谱数据中全局时域关联信息,双路Transformer在2条路径上采用不同大小的卷积核和不同特性的注意力机制,提取信号的高低频特征。双路Transformer可从信号序列的多重频谱中有效识别表征轴承故障的高低频特征,增加特征信息丰富度。此外,设计多尺度特征融合模块,对双路Transformer提取的包含全局关联信息的高低频特征进行融合,得到深度故障特征,实现对不同类型故障的高效诊断。以美国机械故障预防技术学会的轴承数据集进行验证,结果表明双路Transformer在一定收敛速度下准确率达97.44%,比传统诊断算法具有更高的准确率和鲁棒性。 展开更多
关键词 轴承故障诊断 双路transformer 多尺度特征融合 MFPT数据集 自注意力机制
在线阅读 下载PDF
基于Swin-Transformer的多尺度多源域自适应轴承故障诊断
12
作者 周玉国 张志凯 +2 位作者 张金超 于春风 周立俭 《机床与液压》 北大核心 2025年第1期32-42,共11页
针对当前多源域自适应方法无法充分挖掘多源域中不同尺度故障信息的问题,提出一种基于Swin-Transformer(Swin-T)的多尺度多源域自适应轴承故障诊断方法。通过连续小波变换,获得振动信号在不同频带的特征。为更充分地利用多源域中不同尺... 针对当前多源域自适应方法无法充分挖掘多源域中不同尺度故障信息的问题,提出一种基于Swin-Transformer(Swin-T)的多尺度多源域自适应轴承故障诊断方法。通过连续小波变换,获得振动信号在不同频带的特征。为更充分地利用多源域中不同尺度的故障信息,提出基于Swin-T的多尺度特征提取网络。为了减小各域之间的数据分布差异,构建基于最大均值差异的特征对齐网络,并根据不同尺度对分类的贡献赋予权值。此外,构建多尺度特征融合模块,对不同尺度的特征信息进行融合,得到故障特征集。最后,利用Softmax对特征集进行故障分类,并通过最小化多分类器预测差异损失得到最终分类结果。在凯斯西储大学和青岛理工大学轴承数据集上,该方法的故障分类准确度分别达到99.63%和99.40%。 展开更多
关键词 轴承 故障诊断 多源域自适应 Swin-transformer 多尺度特征提取 最大均值差异
在线阅读 下载PDF
融合多特征与全局-局部Transformer的图像修复算法
13
作者 滕诗宇 何丽君 《电子测量技术》 北大核心 2025年第6期121-129,共9页
针对当前图像修复领域所面临的高计算复杂度以及在生成结构合理且细节丰富的图像方面的局限,提出了一种融合多尺度分层特征与全局-局部协同Transformer的图像修复模型。首先提出多尺度分层特征融合模块,以实现深层特征与浅层特征细节上... 针对当前图像修复领域所面临的高计算复杂度以及在生成结构合理且细节丰富的图像方面的局限,提出了一种融合多尺度分层特征与全局-局部协同Transformer的图像修复模型。首先提出多尺度分层特征融合模块,以实现深层特征与浅层特征细节上的有效融合,在扩大感受野的同时减少关键信息丢失情况。其次提出用于全局推理的全局-局部协同Transformer模块,它通过集成矩形窗口注意力机制和局部前馈神经网络,在降低计算复杂度的同时,提高模型对全局上下文信息的宏观理解和对局部细节特征的微观捕捉能力,增强图像的整体一致性。实验在CelebA-HQ和Places2数据集上进行了验证,在处理40%~50%掩码时,所提方法与常用的修复方法对比,PSNR平均提高了0.26~6.25 dB,SSIM平均提升了1.4%~19%,L1平均下降了0.2%~5.66%。实验证明,所提方法修复后的图像在视觉上具有更加真实和自然的效果,进一步验证了该方法的有效性。 展开更多
关键词 深度学习 图像修复 多尺度分层特征融合 全局-局部协同transformer 矩形窗口注意力机制 局部前馈神经网络
在线阅读 下载PDF
多尺度局部特征和Transformer全局学习融合的发动机剩余寿命预测 被引量:3
14
作者 陈俊英 席月芸 李朝阳 《自动化学报》 EI CAS CSCD 北大核心 2024年第9期1818-1830,共13页
飞机发动机剩余寿命(Remaining useful life,RUL)的准确预测对确保其安全性和可靠性至关重要.在基于多传感器检测数据预测时,需解决局部特征提取问题以全面捕捉设备在不同时间尺度下的退化趋势,并需解决时间序列中各元素之间长期依赖性... 飞机发动机剩余寿命(Remaining useful life,RUL)的准确预测对确保其安全性和可靠性至关重要.在基于多传感器检测数据预测时,需解决局部特征提取问题以全面捕捉设备在不同时间尺度下的退化趋势,并需解决时间序列中各元素之间长期依赖性的全局学习问题.因此,提出了结合多尺度局部特征增强单元(Multi-sacle local feature enhancement unit,MSLFU_BLOCK)和Transformer编码器的预测模型,称之为MS_Transformer.MSLFU_BLOCK利用堆叠的因果卷积逐层从时间序列数据中提取多尺度局部信息,同时避免了传统卷积计算中固有的未来数据泄漏问题.随后,Transformer编码器通过其自注意机制进一步捕获时间序列数据中的短期和长期依赖关系.通过将多尺度局部特征增强单元与Transformer编码器相结合,提出的MS_Transformer全面捕捉了时间序列数据中的局部和全局模式.在广泛使用的CMAPSS基准数据集上进行的消融和预测实验验证了模型的合理性和有效性.与13个先进预测模型的比较分析表明,MS_Transformer模型在操作条件更复杂的FD002和FD004数据集上的RMSE和Score指标优于其他模型,同时在四个数据集上的平均性能最优.该研究为发动机剩余寿命预测提供了更为可靠的解决方案. 展开更多
关键词 剩余寿命预测 航空发动机 transformER 多尺度特征 局部特征
在线阅读 下载PDF
结合Swin Transformer的多尺度遥感图像变化检测研究 被引量:1
15
作者 刘丽 张起凡 +1 位作者 白宇昂 黄凯烨 《图学学报》 CSCD 北大核心 2024年第5期941-956,共16页
由于地物信息的复杂性及变化检测数据的多元性,遥感图像特征提取的充分性和有效性难以得到保证,导致变化检测方法获取的检测结果可靠性较低。虽然卷积神经网络(CNN)凭借有效提取语义特征的优势,被广泛应用于遥感领域的变化检测之中,但... 由于地物信息的复杂性及变化检测数据的多元性,遥感图像特征提取的充分性和有效性难以得到保证,导致变化检测方法获取的检测结果可靠性较低。虽然卷积神经网络(CNN)凭借有效提取语义特征的优势,被广泛应用于遥感领域的变化检测之中,但卷积操作固有的局部性导致感受野受限,无法捕获时空上的全局信息以至于特征空间对中远距离依赖关系的建模受限。为捕获远距离的语义依赖,提取深层全局语义特征,设计了一种基于Swin Transformer的多尺度特征融合网络SwinChangeNet。首先,SwinChangeNet采用孪生的多级Swin Transformer特征编码器进行远距离上下文建模;其次,编码器中引入特征差异提取模块,计算不同尺度下变化前后的多级特征差异,再通过自适应融合层将多尺度特征图进行融合;最后,引入残差连接和通道注意力机制对融合后的特征信息进行解码,从而生成完整准确的变化图。在CDD和CD_Data_GZ 2个公开数据集上分别与7种经典和前沿变化检测方法进行比较,CDD数据集中本文模型的性能最优,相比于性能第二的模型,F1分数提高了1.11%,精确率提高了2.38%。CD_Data_GZ数据集中本文模型的性能最优,相比于性能第二的模型,F1分数、精确率和召回率分别提高了4.78%,4.32%,4.09%,提升幅度较大。对比实验结果证明了该模型具有更好的检测效果。在消融实验中也证实了模型中各个改进模块的稳定性和有效性。本文模型针对遥感图像变化检测任务,引入了Swin Transformer结构,使网络可以对遥感图像的局部特征和全局特征进行更有效地编码,让检测结果更加准确,同时保证网络在地物要素种类繁多的数据集上容易收敛。 展开更多
关键词 变化检测 孪生网络 Swin transformer 多尺度特征融合 注意力机制 特征差异提取
在线阅读 下载PDF
基于边缘辅助和多尺度Transformer的无参考屏幕内容图像质量评估
16
作者 陈羽中 陈友昆 +1 位作者 林闽沪 牛玉贞 《电子学报》 EI CAS CSCD 北大核心 2024年第7期2242-2256,共15页
与从现实场景中拍摄的自然图像不同,屏幕内容图像是一种合成图像,通常由计算机生成的文本、图形和动画等各种多媒体形式组合而成.现有评估方法通常未能充分考虑图像边缘结构信息和全局上下文信息对屏幕内容图像质量感知的影响.为解决上... 与从现实场景中拍摄的自然图像不同,屏幕内容图像是一种合成图像,通常由计算机生成的文本、图形和动画等各种多媒体形式组合而成.现有评估方法通常未能充分考虑图像边缘结构信息和全局上下文信息对屏幕内容图像质量感知的影响.为解决上述问题,本文提出一种基于边缘辅助和多尺度Transformer的无参考屏幕内容图像质量评估模型.首先,使用高斯拉普拉斯算子构造由失真屏幕内容图像高频信息组成的边缘结构图,然后通过卷积神经网络(Convolutional Neural Network,CNN)对输入的失真屏幕内容图像和相应的边缘结构图进行多尺度的特征提取与融合,以图像的边缘结构信息为模型训练提供额外的信息增益.此外,本文进一步构建了基于Transformer的多尺度特征编码模块,从而在CNN获得的局部特征基础上更好地建模不同尺度图像和边缘特征的全局上下文信息.实验结果表明,本文提出的方法在指标上优于其他现有的无参考和全参考屏幕内容图像质量评估方法,能够取得更高的主客观视觉感知一致性. 展开更多
关键词 无参考屏幕内容图像质量评估 高斯拉普拉斯算子 卷积神经网络 transformER 多尺度特征
在线阅读 下载PDF
结合沙漏注意力与渐进式混合Transformer的图像分类方法
17
作者 彭晏飞 崔芸 +1 位作者 陈坤 李泳欣 《液晶与显示》 CAS CSCD 北大核心 2024年第9期1223-1232,共10页
Transformer在图像分类任务中具有广泛应用,但在小数据集分类任务中,Transformer受到数据量较少、模型参数量过大等因素的影响,导致分类精度低、收敛速度缓慢。本文提出了一种融合沙漏注意力的渐进式混合Transformer模型。首先,通过下-... Transformer在图像分类任务中具有广泛应用,但在小数据集分类任务中,Transformer受到数据量较少、模型参数量过大等因素的影响,导致分类精度低、收敛速度缓慢。本文提出了一种融合沙漏注意力的渐进式混合Transformer模型。首先,通过下-上采样的沙漏自注意力建模全局特征关系,利用上采样补充下采样操作丢失的信息,同时采用可学习温度参数和负对角掩码锐化注意力的分数分布,避免因层数过多产生过度平滑的现象;其次,设计渐进式下采样模块获得细粒度多尺度特征图,有效捕获低维特征信息;最后,使用混合架构,在顶层阶段使用设计的沙漏注意力,底层阶段使用池化层替代注意力模块,并引入带有深度卷积的层归一化,增加网络局部性。所提方法在T-ImageNet、CIFAR10、CIFAR100、SVHN数据集上进行实验,分类精度可以达到97.42%,计算量和参数量分别为3.41G和25M。实验结果表明,与对比算法相比,该方法的分类精度有明显提升,计算量和参数量有明显降低,提高了Transformer模型在小数据集上的性能表现。 展开更多
关键词 小数据集图像分类 transformER 沙漏注意力 多尺度特征 混合架构
在线阅读 下载PDF
混合U型网络与Transformer的图像去模糊
18
作者 陈清江 邵菲 王炫钧 《计算机工程与科学》 CSCD 北大核心 2024年第10期1843-1851,共9页
针对现有去模糊方法不能有效地恢复图像精细细节的问题,提出了一种混合U型网络与Transformer的图像去模糊方法。首先,使用一个多尺度特征提取模块提取图像的浅层特征信息。然后,通过一个含逐级特征增强模块的层级嵌套U型子网络,在保留... 针对现有去模糊方法不能有效地恢复图像精细细节的问题,提出了一种混合U型网络与Transformer的图像去模糊方法。首先,使用一个多尺度特征提取模块提取图像的浅层特征信息。然后,通过一个含逐级特征增强模块的层级嵌套U型子网络,在保留图像细节信息的同时获取图像深层特征信息。再次,构建了一个局部-全局残差细化模块,通过卷积神经网络和SwinTransformer之间的信息交互充分提取全局和局部信息,并实现特征信息的进一步细化。最后,使用一个1×1卷积层进行特征重建。所提方法在GoPro数据集上的实验结果显示,图像的峰值信噪比和结构相似度均值分别为32.92和0.964,均优于其他对比方法。实验结果表明,所提方法可以有效地去除模糊,重建出具有丰富细节的潜在清晰图像。 展开更多
关键词 图像去模糊 细节信息 层级嵌套U型子网络 transformER 多尺度特征
在线阅读 下载PDF
卷积神经网络与视觉Transformer联合驱动的跨层多尺度融合网络高光谱图像分类方法 被引量:8
19
作者 赵凤 耿苗苗 +2 位作者 刘汉强 张俊杰 於俊 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第5期2237-2248,共12页
高光谱图像(HSI)分类是地球科学和遥感影像处理任务中最受关注的研究热点之一。近年来,卷积神经网络(CNN)和视觉Transformer相结合的方法,通过综合考虑局部-全局信息,在HSI分类任务中取得了成功。然而,HSI中地物具有丰富的纹理信息和复... 高光谱图像(HSI)分类是地球科学和遥感影像处理任务中最受关注的研究热点之一。近年来,卷积神经网络(CNN)和视觉Transformer相结合的方法,通过综合考虑局部-全局信息,在HSI分类任务中取得了成功。然而,HSI中地物具有丰富的纹理信息和复杂多样的结构,且不同地物之间存在尺度差异。现有的二者结合的方法通常对多尺度地物目标的纹理和结构信息的提取能力有限。为了克服上述局限性,该文提出CNN与视觉Transformer联合驱动的跨层多尺度融合网络HSI分类方法。首先,从结合CNN与视觉Transformer的角度出发,设计了跨层多尺度局部-全局特征提取模块分支,其主要由卷积嵌入的视觉Transformer和跨层特征融合模块构成。具体来说,卷积嵌入的视觉Transformer通过深度融合多尺度CNN与视觉Transformer实现了多尺度局部-全局特征信息的有效提取,从而增强网络对不同尺度地物的关注。进一步地,跨层特征融合模块深度聚合了不同层次的多尺度局部-全局特征信息,以综合考虑地物的浅层纹理信息和深层结构信息。其次,构建了分组多尺度卷积模块分支来挖掘HSI中密集光谱波段潜在的多尺度特征。最后,为了增强网络对HSI中局部波段细节和整体光谱信息的挖掘,设计了残差分组卷积模块对局部-全局光谱特征进行提取。Indian Pines, Houston 2013和Salinas Valley 3个HSI数据集上的实验结果证实了所提方法的有效性。 展开更多
关键词 高光谱图像分类 卷积神经网络 视觉transformer 多尺度特征 融合网络
在线阅读 下载PDF
基于渐进式多尺度Transformer的图像去雾算法 被引量:1
20
作者 周宇 陈志华 +1 位作者 盛斌 梁磊 《计算机科学》 CSCD 北大核心 2024年第5期117-124,共8页
现有的去雾方法难以在复原图像细节的同时保持全局信息。为了解决此问题,文中提出了一种基于渐进式多尺度Transformer(Multi Scale Progressive Transformer,MSP-Transformer)的图像去雾算法。该模型能够有效提取和利用不同尺度的雾相... 现有的去雾方法难以在复原图像细节的同时保持全局信息。为了解决此问题,文中提出了一种基于渐进式多尺度Transformer(Multi Scale Progressive Transformer,MSP-Transformer)的图像去雾算法。该模型能够有效提取和利用不同尺度的雾相关特征,实现了特征和图像的多尺度学习和融合,渐进式地从有雾图像中复原清晰图像。所提出的MSP-Transformer分为编码、解码和复原3个阶段。在编码阶段,利用基于Transformer模块的编码器将输入图像分解为不同尺度的雾图像特征,以全面表征真实有雾图像的信息损失。在解码阶段,考虑到有雾图像的不同区域存在不同尺度的信息丢失,设计了一个包含多尺度注意力机制的特征聚合模块,利用通道注意力和多尺度空间注意力来融合不同尺度的特征信息。复原阶段包含了复原模块和融合模块,首先基于多尺度特征融合的复原模块聚合不同尺度的雾相关特征以增加不同尺度特征的联系,并在每个尺度复原出清晰的无雾图像,然后将每个尺度的复原图像送入融合模块以获得最终的去雾结果。定性和定量的实验结果表明,所提出的MSP-Transformer在真实图像和合成数据集上能够实现雾的有效去除,具有良好的鲁棒性。在公开的RESIDE数据集上与11种去雾方法进行定量和定性比较,MSP-Transformer取得了最高的PSNR(39.53db)和SSIM(0.9954),并获得了良好的视觉效果。此外,消融实验也证明了MSP-Transformer中所提出的模块的有效性。 展开更多
关键词 图像去雾 多尺度 transformER 注意力机制 特征融合
在线阅读 下载PDF
上一页 1 2 36 下一页 到第
使用帮助 返回顶部