期刊文献+
共找到551篇文章
< 1 2 28 >
每页显示 20 50 100
基于Transformer模型的时序数据预测方法综述 被引量:7
1
作者 孟祥福 石皓源 《计算机科学与探索》 北大核心 2025年第1期45-64,共20页
时序数据预测(TSF)是指通过分析历史数据的趋势性、季节性等潜在信息,预测未来时间点或时间段的数值和趋势。时序数据由传感器生成,在金融、医疗、能源、交通、气象等众多领域都发挥着重要作用。随着物联网传感器的发展,海量的时序数据... 时序数据预测(TSF)是指通过分析历史数据的趋势性、季节性等潜在信息,预测未来时间点或时间段的数值和趋势。时序数据由传感器生成,在金融、医疗、能源、交通、气象等众多领域都发挥着重要作用。随着物联网传感器的发展,海量的时序数据难以使用传统的机器学习解决,而Transformer在自然语言处理和计算机视觉等领域的诸多任务表现优秀,学者们利用Transformer模型有效捕获长期依赖关系,使得时序数据预测任务取得了飞速发展。综述了基于Transformer模型的时序数据预测方法,按时间梳理了时序数据预测的发展进程,系统介绍了时序数据预处理过程和方法,介绍了常用的时序预测评价指标和数据集。以算法框架为研究内容系统阐述了基于Transformer的各类模型在TSF任务中的应用方法和工作原理。通过实验对比了各个模型的性能、优点和局限性,并对实验结果展开了分析与讨论。结合Transformer模型在时序数据预测任务中现有工作存在的挑战提出了该方向未来发展趋势。 展开更多
关键词 深度学习 时序数据预测 数据预处理 transformer模型
在线阅读 下载PDF
基于Transformer的时间序列预测方法综述 被引量:1
2
作者 陈嘉俊 刘波 +2 位作者 林伟伟 郑剑文 谢家晨 《计算机科学》 北大核心 2025年第6期96-105,共10页
时间序列预测作为分析历史数据以预测未来趋势的关键技术,已广泛应用于金融、气象等领域。然而,传统方法如自回归移动平均模型和指数平滑法等在处理非线性模式、捕捉长期依赖性时存在局限。最近,基于Transformer的方法因其自注意力机制... 时间序列预测作为分析历史数据以预测未来趋势的关键技术,已广泛应用于金融、气象等领域。然而,传统方法如自回归移动平均模型和指数平滑法等在处理非线性模式、捕捉长期依赖性时存在局限。最近,基于Transformer的方法因其自注意力机制,在自然语言处理与计算机视觉领域取得突破,也开始拓展至时间序列预测领域并取得显著成果。因此,探究如何将Transformer高效运用于时间序列预测,成为推动该领域发展的关键。首先,介绍了时间序列的特性,阐述了时间序列预测的常见任务类别及评估指标。接着,深入解析Transformer的基本架构,并挑选了近年来在时间序列预测中广受关注的Transfo-rmer衍生模型,从模块及架构层面进行分类,并分别从问题解决、创新点及局限性3个维度进行比较和分析。最后,进一步探讨了时间序列预测Transformer在未来可能的研究方向。 展开更多
关键词 时间序列 transformer模型 深度学习 注意力机制 预测
在线阅读 下载PDF
小数据集上基于语义的局部注意视觉Transformer方法
3
作者 冯欣 王俊杰 +1 位作者 钟声 方婷婷 《计算机应用研究》 北大核心 2025年第1期314-320,共7页
在小数据集上从零开始训练时,视觉Transformer无法与同规模的卷积神经网络媲美。基于图像的局部注意力方法,可以显著提高ViT的数据效率,但是会丢失距离较远但相关的补丁之间的信息。为了解决上述问题,提出一种双向并行局部注意力视觉Tra... 在小数据集上从零开始训练时,视觉Transformer无法与同规模的卷积神经网络媲美。基于图像的局部注意力方法,可以显著提高ViT的数据效率,但是会丢失距离较远但相关的补丁之间的信息。为了解决上述问题,提出一种双向并行局部注意力视觉Transformer的方法。该方法首先在特征层面上对补丁进行分组,在组内执行局部注意力,以利用特征空间中补丁之间的关系弥补信息丢失。其次,为了有效融合补丁之间的信息,将基于语义的局部注意力和基于图像的局部注意力并行结合起来,通过双向自适应学习来增强ViT模型在小数据上的性能。实验结果表明,该方法在计算量为15.2 GFLOPs和参数量为57.2 M的情况下,分别在CIFAR-10和CIFAR-100数据集上实现了97.93%和85.80%的准确性。相比于其他方法,双向并行局部注意力视觉Transformer在增强局部引导能力的同时,保持了局部注意力所需属性的有效性。 展开更多
关键词 深度学习 图像分类 transformER 局部注意力 基于语义的局部注意
在线阅读 下载PDF
电网N-1下融合CNN与Transformer的综合能源系统静态安全校核
4
作者 陈厚合 丁唯一 +2 位作者 刘光明 李雪 张儒峰 《电力自动化设备》 北大核心 2025年第5期1-9,18,共10页
风光等新能源高比例渗透衍生出大量的源-荷场景,电-气综合能源系统(IEGS)的N-1安全校核面临计算挑战。深度学习技术在处理大量数据时具备显著优势,为解决该问题提供了新的思路。将评价电力系统安全性的Hyper-box和Hyper-ellipse判据推... 风光等新能源高比例渗透衍生出大量的源-荷场景,电-气综合能源系统(IEGS)的N-1安全校核面临计算挑战。深度学习技术在处理大量数据时具备显著优势,为解决该问题提供了新的思路。将评价电力系统安全性的Hyper-box和Hyper-ellipse判据推广到天然气系统,并形成IEGS综合安全指标以划分子系统的运行状态;构建卷积神经网络(CNN)-Transformer神经网络以适应量测数据与校核目标的非线性关系,实现快速校核;考虑到系统数据的量纲和数值差异大以及系统状态离散化的特点,分别对数据进行Z-score标准化和独热编码数值化以提升校核精度,并设计改进焦点损失函数以进一步提取不同的场景下天然气系统运行状态的变化规律。以含高比例新能源的综合能源系统(E5G5、E39G20系统)为算例,验证所提方法的高效性和准确性。 展开更多
关键词 电-气综合能源系统 N-1安全校核 深度学习 卷积神经网络 transformer神经网络 改进焦点损失函数
在线阅读 下载PDF
基于Transformer和Text-CNN的日志异常检测
5
作者 尹春勇 张小虎 《计算机工程与科学》 北大核心 2025年第3期448-458,共11页
日志数据作为软件系统中最为重要的数据资源之一,记录着系统运行期间的详细信息,自动化的日志异常检测对于维护系统安全至关重要。随着大型语言模型在自然语言处理领域的广泛应用,基于Transformer的日志异常检测方法被广泛地提出。传统... 日志数据作为软件系统中最为重要的数据资源之一,记录着系统运行期间的详细信息,自动化的日志异常检测对于维护系统安全至关重要。随着大型语言模型在自然语言处理领域的广泛应用,基于Transformer的日志异常检测方法被广泛地提出。传统的基于Transformer的方法,难以捕捉日志序列的局部特征,针对上述问题,提出了基于Transformer和Text-CNN的日志异常检测方法LogTC。首先,通过规则匹配将日志转换成结构化的日志数据,并保留日志语句中的有效信息;其次,根据日志特性采用固定窗口或会话窗口将日志语句划分为日志序列;再次,使用自然语言处理技术Sentence-BERT生成日志语句的语义化表示;最后,将日志序列的语义化向量输入到LogTC日志异常检测模型中进行检测。实验结果表明,LogTC能够有效地检测日志数据中的异常,且在2个数据集上都取得了较好的结果。 展开更多
关键词 日志异常检测 深度学习 词嵌入 transformER Text-CNN
在线阅读 下载PDF
融合时空重构单元和Transformer的雷达回波外推算法
6
作者 方巍 王淏西 《郑州大学学报(工学版)》 北大核心 2025年第5期137-144,共8页
针对现有基于深度学习的雷达回波外推算法时空特征提取能力不足和建模能力有限的问题,提出了一种融合时空重构单元(SRU)和Transformer的雷达回波外推模型SRU-Former。首先,在模型的编码器和解码器中引入新设计的时空重构单元,通过分离... 针对现有基于深度学习的雷达回波外推算法时空特征提取能力不足和建模能力有限的问题,提出了一种融合时空重构单元(SRU)和Transformer的雷达回波外推模型SRU-Former。首先,在模型的编码器和解码器中引入新设计的时空重构单元,通过分离、变换和重构的策略来提取雷达图像精细化时空特征;其次,在编码器和解码器之间引入Transformer的变体架构模型Poolformer,用全局平均池化操作代替自注意力机制,帮助模型对高度动态变化的雷达序列进行建模;最后,在江苏省气象雷达数据集和上海市气象雷达数据集上训练和测试,与目前主流的深度学习模型进行对比。实验结果表明:在2 h外推任务中,CSI、FAR、MSE和SSIM 4个指标均取得最优值,在江苏省数据集上CSI提升了0.020,上海市中数据集上CSI提升了0.048;SRU-Former能够有效提升模型的预报准确率,外推后期对强回波区域的捕捉更加精确,细节纹理更加丰富清晰。 展开更多
关键词 深度学习 雷达回波外推 transformER 时空重构单元 全局平均池化
在线阅读 下载PDF
基于Transformer的逐像素细节补偿去雾网络
7
作者 王燕 刘晶晶 +1 位作者 胡津源 陈燕燕 《计算机工程与科学》 北大核心 2025年第9期1647-1657,共11页
目前,基于深度学习的图像去雾算法难以同时提取图像的全局特征和局部特征,导致复原后的图像细节信息丢失,存在颜色失真现象。针对这一问题,提出一种基于Transformer的逐像素细节补偿去雾网络,主要由基于Transformer的编码器-解码器和CN... 目前,基于深度学习的图像去雾算法难以同时提取图像的全局特征和局部特征,导致复原后的图像细节信息丢失,存在颜色失真现象。针对这一问题,提出一种基于Transformer的逐像素细节补偿去雾网络,主要由基于Transformer的编码器-解码器和CNN分支构成。输入有雾图像,通过编码器进行全局特征提取,编码器中的Transformer由通道自注意力块CAB、压缩注意力块CANB和双分支自适应块DANB组成,其中CANB通过特征聚合、注意力计算和特征恢复捕获图像超像素全局依赖性,DANB采用双分支结构将超像素全局依赖性封装到单个像素中,得到全局特征信息;同时,CNN分支中的空间注意力能够提高网络对不同雾度的感知能力,进行局部特征提取;最后,在解码器部分将编码器和CNN分支提取到的特征进行融合,输出清晰图像。实验结果表明,提出的网络在合成数据集RESIDE和真实数据集O-HAZE与NH-HAZE上均表现突出,能够有效解决细节特征丢失和颜色失真问题。 展开更多
关键词 图像去雾 深度学习 双分支特征融合 细节补偿 transformer架构
在线阅读 下载PDF
DeepSeek模型分析及其在AI辅助蛋白质工程中的应用 被引量:1
8
作者 李明辰 钟博子韬 +6 位作者 余元玺 姜帆 张良 谭扬 虞慧群 范贵生 洪亮 《合成生物学》 北大核心 2025年第3期636-650,共15页
2025年年初,杭州深度求索人工智能基础技术研究有限公司发布并开源了其自主研发的DeepSeek-R1对话大模型。该模型具备极低的推理成本和出色的思维链推理能力,在多种任务上能够媲美甚至超越闭源的GPT-4o和o1模型,引发了国际社会的高度关... 2025年年初,杭州深度求索人工智能基础技术研究有限公司发布并开源了其自主研发的DeepSeek-R1对话大模型。该模型具备极低的推理成本和出色的思维链推理能力,在多种任务上能够媲美甚至超越闭源的GPT-4o和o1模型,引发了国际社会的高度关注。此外,DeepSeek模型在中文对话上的优异表现以及免费商用的策略,在国内引发了部署和使用的热潮,推动了人工智能技术的普惠与发展。本文围绕DeepSeek模型的架构设计、训练方法与推理机制进行系统性分析,探讨其核心技术在AI蛋白质研究中的迁移潜力与应用前景。DeepSeek模型融合了多项自主创新的前沿技术,包括多头潜在注意力机制、混合专家网络及其负载均衡、低精度训练等,显著降低了Transformer模型的训练和推理成本。尽管DeepSeek模型原生设计用于人类语言的理解与生成,但其优化技术对同样基于Transformer模型的蛋白质预训练语言模型具有重要的参考价值。借助DeepSeek所采用的关键技术,蛋白质语言模型在训练成本、推理成本等方面有望得到显著降低。 展开更多
关键词 大语言模型 AI蛋白质 深度自注意力变换网络 蛋白质语言模型 深度学习
在线阅读 下载PDF
新解码器的CNNs-Transformers融合网络及其病理图像肿瘤分割应用 被引量:1
9
作者 马丽晶 王朝立 +2 位作者 孙占全 程树群 王康 《小型微型计算机系统》 北大核心 2025年第6期1442-1449,共8页
病理图像是肿瘤诊断的"金标准",但超高分辨率的病理图像使得医生需要消耗大量的精力和时间,而且诊断结果主观性比较强.随着人工智能技术的发展,深度学习模型提供了计算机代替人对病理图像进行快速、准确和可靠诊断的可能性.然... 病理图像是肿瘤诊断的"金标准",但超高分辨率的病理图像使得医生需要消耗大量的精力和时间,而且诊断结果主观性比较强.随着人工智能技术的发展,深度学习模型提供了计算机代替人对病理图像进行快速、准确和可靠诊断的可能性.然而,目前大多数的网络更注重如何在编码器部分提取更准确的特征,而对于同等重要的解码器部分的结构设计研究则稍显不足.针对该问题,本文提出了由三类上采样模块组成的新网络,而编码器部分采用Swin Transformer和ConvNeXt作为网络的双分支并行独立结构.三类上采样模块分别是多重转置卷积采样、双线性上采样和Swin Transformer上采样,其特点是可以充分利用病理图像特征之间局部和全局的依赖关系.该网络分别在肝癌数据集和GLAS数据集上进行了验证,并与不同类型的主流网络进行了对比,性能指标皆达到比较好的结果. 展开更多
关键词 医学图像分割 深度学习 卷积神经网络 Swin transformer
在线阅读 下载PDF
基于Transformer-DCGAR-SAC的移动机器人路径规划 被引量:1
10
作者 张文科 李宏涛 +1 位作者 王科平 杨艺 《传感器与微系统》 北大核心 2025年第5期152-158,共7页
为提升移动机器人在静态或动态场景下处理环境信息的能力及基于随机性策略的动作选取机制,通过深入探讨随机性策略梯度算法,提出了一种基于Transformer的双重Critic网络引导的动作选择机制-柔性策略-评估(Transformer DCGAR-SAC)算法的... 为提升移动机器人在静态或动态场景下处理环境信息的能力及基于随机性策略的动作选取机制,通过深入探讨随机性策略梯度算法,提出了一种基于Transformer的双重Critic网络引导的动作选择机制-柔性策略-评估(Transformer DCGAR-SAC)算法的移动机器人路径规划方法。首先,利用了Transformer的高效序列处理能力可以捕捉环境动态变化的特点,将Transformer模型与SAC算法的随机性策略网络融合。随后,提出一种基于双重Critic网络引导的动作选择机制。该机制引入了V网络,并与Q网络共同评估价值差异,指导动作根据相对价值进行选择,减小偏向过估计动作的风险。在仿真实验方面,与两种随机性策略算法进行了对比,所提算法在样本利用率和成功率等多个关键指标上优于其他算法。此外,在真实场景中进行算法的实车实验,并成功在真实场景下实现了路径规划,验证了算法的可行性和有效性。 展开更多
关键词 动态场景 路径规划 深度强化学习 transformER 动作选择机制
在线阅读 下载PDF
基于Transformer的状态−动作−奖赏预测表征学习 被引量:1
11
作者 刘民颂 朱圆恒 赵冬斌 《自动化学报》 北大核心 2025年第1期117-132,共16页
为了提升具有高维动作空间的复杂连续控制任务的性能和样本效率,提出一种基于Transformer的状态−动作−奖赏预测表征学习框架(Transformer-based state-action-reward prediction representation learning framework,TSAR).具体来说,TSA... 为了提升具有高维动作空间的复杂连续控制任务的性能和样本效率,提出一种基于Transformer的状态−动作−奖赏预测表征学习框架(Transformer-based state-action-reward prediction representation learning framework,TSAR).具体来说,TSAR提出一种基于Transformer的融合状态−动作−奖赏信息的序列预测任务.该预测任务采用随机掩码技术对序列数据进行预处理,通过最大化掩码序列的预测状态特征与实际目标状态特征间的互信息,同时学习状态与动作表征.为进一步强化状态和动作表征与强化学习(Reinforcement learning,RL)策略的相关性,TSAR引入动作预测学习和奖赏预测学习作为附加的学习约束以指导状态和动作表征学习.TSAR同时将状态表征和动作表征显式地纳入到强化学习策略的优化中,显著提高了表征对策略学习的促进作用.实验结果表明,在DMControl的9个具有挑战性的困难环境中,TSAR的性能和样本效率超越了现有最先进的方法. 展开更多
关键词 深度强化学习 表征学习 自监督对比学习 transformER
在线阅读 下载PDF
基于Transformer的胃癌显微高光谱图像分割方法
12
作者 张然 金伟 +8 位作者 牟颖 于丙文 柏怡文 邵益波 平金良 宋鹏涛 何湘漪 刘飞 付琳琳 《光谱学与光谱分析》 北大核心 2025年第2期551-557,共7页
胃癌是全球第五常见的恶性肿瘤并死亡率较高,严重威胁人类的生命健康。因此,早期识别胃癌病变对早期胃癌诊断至关重要。显微高光谱成像技术作为一种新兴技术,可以在微观层面同时获取生物组织丰富的光谱信息和空间信息,为早期病理切片诊... 胃癌是全球第五常见的恶性肿瘤并死亡率较高,严重威胁人类的生命健康。因此,早期识别胃癌病变对早期胃癌诊断至关重要。显微高光谱成像技术作为一种新兴技术,可以在微观层面同时获取生物组织丰富的光谱信息和空间信息,为早期病理切片诊断提供了一种新的思路。利用显微高光谱成像系统,采集了在400~1000 nm波段范围的胃癌显微高光谱病理图像,通过光谱校正等预处理构建了包含230张图像的胃癌显微高光谱数据集。尽管基于空间注意力的方法在图像分类、分割等领域已取得了显著成果,但在处理高光谱图像时仍面临计算复杂度高以及光谱信息利用不充分的问题。为此,提出了基于卷积和注意力机制的混合双分支Transformer(MDBT)的特征提取主干网络模型。该模型通过交替应用空间混合模块和通道混合模块,实现块间和块内的空间和通道特征聚合。具体而言,设计了窗口注意力和卷积双分支以及空间和通道交互结构。这种设计不仅降低了计算复杂度,还通过卷积交互实现了窗口间信息交互和特征融合,从而克服了窗口注意力感受野受限的问题,进一步提高了Transformer的全局建模能力。在进行图像分割实验中,采用UperNet模型作为解码头网络对主干网络提取得到的特征进行还原,以得到最终的分割结果。在采集得到的胃癌高光谱数据集上进行了五折交叉验证实验,结果表明本模型的平均mDice和mIoU分别达到85.39、74.66,性能优于目前UNet、Swin、PVT、VIT等主流图像分割网络模型。同时设计一系列消融实验,验证本文提出空间和通道双混合模块、卷积与窗口注意力双分支等结构对实验结果的优化效果。实验结果表明本文提出的MDBT模型能够有效利用高光谱图像丰富的空间和光谱信息,提高胃癌图像分割准确率,证明显微高光谱成像技术在胃癌诊断方面具有一定的研究意义和应用价值。 展开更多
关键词 显微高光谱 图像分割 深度学习 transformER
在线阅读 下载PDF
基于Transformer和LSTM算法的河套灌区土壤水分预测研究 被引量:1
13
作者 王钥 郑方元 +3 位作者 雍婷 查元源 周龙才 徐祥森 《节水灌溉》 北大核心 2025年第2期1-8,14,共9页
土壤水是土壤中的关键指标,其变化直接影响着作物生长,并影响着水资源利用的管理决策。因此,准确地预测土壤水分有利于对农业水资源进行合理的规划利用。使用深度学习算法进行土壤水分预测在当前的农业、水资源管理和生态学等领域具有... 土壤水是土壤中的关键指标,其变化直接影响着作物生长,并影响着水资源利用的管理决策。因此,准确地预测土壤水分有利于对农业水资源进行合理的规划利用。使用深度学习算法进行土壤水分预测在当前的农业、水资源管理和生态学等领域具有重要性。深度学习算法能够从大规模数据中学习土壤水分的复杂模式和时空关系,为土壤水的准确预测提供了新的机会。为了探索新兴深度学习方法Transformer在土壤水分预测中的有效性,选择河套灌区义长灌域为研究区域,利用地下水位观测数据、气象数据、SMAP土壤水数据等作为训练数据,设置了1、5、10 d共3种数据滞后情况,验证Transformer算法在土壤水时间序列预测任务中的有效性,并与目前广泛应用于时序预测任务中的LSTM进行对比。研究表明Transformer在土壤水分时间序列预测任务中具有更好的预测能力,相比于LSTM,其R^(2)平均提升约0.181,RMSE平均下降27.6%。同时,Transformer在应对滞后变化带来的影响时更具鲁棒性,在3种数据滞后情况下Transformer的预测平均R^(2)分别比LSTM高出了0.121、0.167、0.256,站点平均RMSE分别降低了30.7%、28.6%、23.5%。此外,Transformer对于土壤水序列中的非线性信息的提取能力更强,对于高频振幅的土壤水时间序列Transformer拥有更强的预测能力。 展开更多
关键词 土壤水分预测 深度学习 时序预测 transformer模型 LSTM模型 数据滞后
在线阅读 下载PDF
基于Swin Transformer的太空台风识别模型
14
作者 乔枫 张清和 +5 位作者 邢赞扬 王勇 马羽璋 陆盛 张红波 王飞飞 《极地研究》 北大核心 2025年第3期427-436,共10页
太空台风是发生于地磁平静期极盖区内的一种涡旋状极光亮斑结构,可由局地堪比磁暴的太阳风能量注入引起。为解决从海量星载极光数据中准确而高效地识别出太空台风事件,进而研究太阳风能量注入过程等关键问题,本文基于Swin Transformer... 太空台风是发生于地磁平静期极盖区内的一种涡旋状极光亮斑结构,可由局地堪比磁暴的太阳风能量注入引起。为解决从海量星载极光数据中准确而高效地识别出太空台风事件,进而研究太阳风能量注入过程等关键问题,本文基于Swin Transformer构建了可用于美国国防气象卫星星载紫外光谱成像仪极光图像的太空台风识别模型。该模型通过拆分窗口加速计算,并使用移动窗口多头自注意力方法搭建窗口间信息传输通道,从而实现太空台风的自动识别。研究表明,该模型通过南北半球极盖区的太空台风图像数据集进行训练,实现了对太空台风事件更加精准的识别,其准确率高达95.94%。 展开更多
关键词 Swintransformer 太空台风 识别模型 深度学习
在线阅读 下载PDF
ISAR autofocus imaging algorithm for maneuvering targets based on deep learning and keystone transform 被引量:4
15
作者 SHI Hongyin LIU Yue +1 位作者 GUO Jianwen LIU Mingxin 《Journal of Systems Engineering and Electronics》 SCIE EI CSCD 2020年第6期1178-1185,共8页
The issue of small-angle maneuvering targets inverse synthetic aperture radar(ISAR)imaging has been successfully addressed by popular motion compensation algorithms.However,when the target’s rotational velocity is su... The issue of small-angle maneuvering targets inverse synthetic aperture radar(ISAR)imaging has been successfully addressed by popular motion compensation algorithms.However,when the target’s rotational velocity is sufficiently high during the dwell time of the radar,such compensation algorithms cannot obtain a high quality image.This paper proposes an ISAR imaging algorithm based on keystone transform and deep learning algorithm.The keystone transform is used to coarsely compensate for the target’s rotational motion and translational motion,and the deep learning algorithm is used to achieve a super-resolution image.The uniformly distributed point target data are used as the data set of the training u-net network.In addition,this method does not require estimating the motion parameters of the target,which simplifies the algorithm steps.Finally,several experiments are performed to demonstrate the effectiveness of the proposed algorithm. 展开更多
关键词 inverse synthetic aperture radar(ISAR) maneuvering target keystone transform deep learning u-net network
在线阅读 下载PDF
图像处理中CNN与视觉Transformer混合模型研究综述 被引量:6
16
作者 郭佳霖 智敏 +1 位作者 殷雁君 葛湘巍 《计算机科学与探索》 北大核心 2025年第1期30-44,共15页
卷积神经网络(CNN)与视觉Transformer是目前图像处理领域中两大重要的深度学习模型,两者经过多年来不断的研究与进步,已在该领域取得了非凡的成就。近些年来,CNN与视觉Transformer的混合模型正在逐步兴起,广泛的研究不断克服两种模型存... 卷积神经网络(CNN)与视觉Transformer是目前图像处理领域中两大重要的深度学习模型,两者经过多年来不断的研究与进步,已在该领域取得了非凡的成就。近些年来,CNN与视觉Transformer的混合模型正在逐步兴起,广泛的研究不断克服两种模型存在的弱项,高效地发挥出各自的亮点,在图像处理任务中表现出优异的效果。基于CNN与视觉Transformer混合模型进行深入阐述。总体概述了CNN与Vision Transformer模型的架构和优缺点,并总结混合模型的概念及优势。围绕串行结构融合方式、并行结构融合方式、层级交叉结构融合方式以及其他融合方式等四个方面全面回顾梳理了混合模型的研究现状和实际进展,并针对各种融合方式的主要代表模型进行总结与剖析,从多方面对典型混合模型进行评价对比。多角度叙述了混合模型在图像识别、图像分类、目标检测和图像分割等实际图像处理特定领域中应用研究,展现出混合模型在具体实践中的适用性和高效性。深入分析混合模型未来研究方向,并为后续该模型在图像处理中的研究与应用提出展望。 展开更多
关键词 卷积神经网络(CNN) 视觉transformer 混合模型 图像处理 深度学习
在线阅读 下载PDF
基于Light Reverse Transformer的空中目标意图识别方法
17
作者 王科 郭相科 +3 位作者 王亚男 倪鹏 权文 李成海 《空军工程大学学报》 北大核心 2025年第3期96-105,共10页
空中目标意图识别在战场态势感知领域占据举足轻重的地位。然而,如何从海量态势数据中迅速且精准地挖掘关键信息,一直是该领域研究面临的一大难题。现有多数研究模型因架构繁复,难以在短时间内高效地推断出目标意图。为解决这一难题,基... 空中目标意图识别在战场态势感知领域占据举足轻重的地位。然而,如何从海量态势数据中迅速且精准地挖掘关键信息,一直是该领域研究面临的一大难题。现有多数研究模型因架构繁复,难以在短时间内高效地推断出目标意图。为解决这一难题,基于Transformer架构进行设计,通过Reverse方法优化模型以更适用于处理时间序列任务,并在位置编码中融入扰动元素,以提升模型的鲁棒性和泛化能力。此外,对注意力机制和前馈神经网络进行了轻量化改进。经过对比实验、消融实验以及计算复杂度的深入分析,所提模型在空中目标意图识别领域的有效性得到了有力验证。 展开更多
关键词 意图识别 深度学习 transformER 多头注意力机制
在线阅读 下载PDF
视觉Transformer(ViT)发展综述 被引量:4
18
作者 李玉洁 马子航 +2 位作者 王艺甫 王星河 谭本英 《计算机科学》 北大核心 2025年第1期194-209,共16页
视觉Transformer(Vision Transformer,ViT)是基于编码器-解码器结构的Transformer改进模型,已经被成功应用于计算机视觉领域。近几年基于ViT的研究层出不穷且效果显著,基于该模型的工作已经成为计算机视觉任务的重要研究方向,因此针对... 视觉Transformer(Vision Transformer,ViT)是基于编码器-解码器结构的Transformer改进模型,已经被成功应用于计算机视觉领域。近几年基于ViT的研究层出不穷且效果显著,基于该模型的工作已经成为计算机视觉任务的重要研究方向,因此针对近年来ViT的发展进行概述。首先,简要回顾了ViT的基本原理及迁移过程,并分析了ViT模型的结构特点和优势;然后,根据各ViT变体模型的改进特点,归纳和梳理了基于ViT的主要骨干网络变体改进方向及其代表性改进模型,包括局部性改进、结构改进、自监督、轻量化及效率改进等改进方向,并对其进行分析比较;最后,讨论了当前ViT及其改进模型仍存在的不足,对ViT未来的研究方向进行了展望。可以作为研究人员进行基于ViT骨干网络的研究时选择深度学习相关方法的一个权衡和参考。 展开更多
关键词 计算机视觉 模式识别 Vision transformer(ViT) 深度学习 自注意力
在线阅读 下载PDF
基于微型光谱仪和Transformer模型的便携式土壤全氮含量检测仪研究
19
作者 剧伟良 杨玮 +2 位作者 宋亚美 刘楠 李民赞 《农业机械学报》 北大核心 2025年第6期268-276,共9页
便携式土壤全氮含量近红外光谱检测仪具有快速、非破坏性和高效性等优点,但已开发的仪器多采用滤光片式设计,光谱通道数量有限会导致部分关键信息丢失,且无法采用基于深度学习的预测模型。随着微型光谱仪的商业化,本文开发了基于连续光... 便携式土壤全氮含量近红外光谱检测仪具有快速、非破坏性和高效性等优点,但已开发的仪器多采用滤光片式设计,光谱通道数量有限会导致部分关键信息丢失,且无法采用基于深度学习的预测模型。随着微型光谱仪的商业化,本文开发了基于连续光谱的高精度土壤全氮含量检测仪。检测仪主要由NIR-R210型微型光谱仪、树莓派、触控屏、移动电源构成,利用微型光谱仪获取土壤光谱反射率,利用树莓派中嵌入的深度学习模型进行土壤全氮含量预测,然后在显示屏中输出预测结果。在中国农业大学上庄实验站采集了600份土壤样本,分别对偏最小二乘法、门控循环单元和Transformer 3种模型的预测性能进行了对比分析。结果表明,基于全光谱数据的Transformer深度学习模型表现最好,模型决定系数R^(2)为0.89,均方根误差(RMSE)为0.19 g/kg,预测偏差(RPD)为2.96。进一步对检测仪进行田间实时原位测试,田间环境下预测结果R^(2)可达0.83,精度较高,可为智慧农业中土壤养分实时检测与精准管理提供新的解决方案。 展开更多
关键词 土壤全氮 近红外 transformer 深度学习 树莓派
在线阅读 下载PDF
基于改进Transformer模型的Ad Hoc网络MAC协议识别技术
20
作者 何文雯 李盛祥 +3 位作者 王莉 李浩 李盈达 马鹏飞 《电讯技术》 北大核心 2025年第8期1240-1247,共8页
针对现有的媒体访问控制(Media Access Control,MAC)协议识别模型存在特征数据选取不完善和只关注局部特征的问题,首先,基于Transformer模型提出了Conv-Transformer模型。该模型将卷积操作引入到模型中,对卷积后特征图中的特征值进行分... 针对现有的媒体访问控制(Media Access Control,MAC)协议识别模型存在特征数据选取不完善和只关注局部特征的问题,首先,基于Transformer模型提出了Conv-Transformer模型。该模型将卷积操作引入到模型中,对卷积后特征图中的特征值进行分割拼接,并添加类别信息编码。其次,基于Exata平台搭建不同拓扑结构的Ad Hoc网络仿真场景,收集所有物理层的数据对Conv-Transformer模型进行训练和测试。测试结果表明,在Ad Hoc网络中对ALOHA、CSMA/CA、MACA和TDMA 4种MAC协议的识别任务上,提出的模型与经典深度学习模型递归神经网络(Recurrent Neural Network,RNN)、卷积神经网络(Convolutional Neural Network,CNN)和Transformer相比,比RNN模型的准确率提高了20.8%,比CNN模型的准确率提高了14.6%,比Transformer模型的准确率提高了68.8%。 展开更多
关键词 Ad Hoc网络 MAC协议识别 深度学习 transformer模型
在线阅读 下载PDF
上一页 1 2 28 下一页 到第
使用帮助 返回顶部