期刊文献+
共找到12篇文章
< 1 >
每页显示 20 50 100
基于改进集合经验模态分解和强化视觉Transformer模型的风电机组故障预警
1
作者 许伯强 王彪 +1 位作者 孙丽玲 尹彦博 《电工技术学报》 北大核心 2025年第20期6537-6551,共15页
现有基于数据采集与监视控制系统(SCADA)数据的风电机组故障预警方法往往只针对风电机组的某一位置或者某一类型故障,无法对风电机组整体进行较为全面的预警。针对这一问题,该文提出了基于改进集合经验模态分解(EEMD)和强化的视觉转换器... 现有基于数据采集与监视控制系统(SCADA)数据的风电机组故障预警方法往往只针对风电机组的某一位置或者某一类型故障,无法对风电机组整体进行较为全面的预警。针对这一问题,该文提出了基于改进集合经验模态分解(EEMD)和强化的视觉转换器(ViT)模型的风电机组故障预警方法。首先,对EEMD算法进行改进,分解得到的数据包含不同时间尺度的特征信息,且使得分解过程中不发生信息泄露。采用改进的EEMD算法解构风电机组SCADA多维数据之后,构建反映风电机组实时状态的特征矩阵。然后,结合非对称卷积模块对ViT模型进行强化,并加入可变形注意力模块,在降低计算复杂度的同时使得模型可以充分捕捉不同维度与时间尺度的风电机组特征。最后,将特征矩阵输入强化的ViT模型以获得预测结果,与实际值对比得到残差矩阵,依此进行风电机组故障的预警。经风电机组实际运行SCADA数据验证,该文提出的风电机组故障预警方法准确有效,并可通过残差矩阵进一步辨识风电机组发生的故障类型。 展开更多
关键词 风电机组 数据采集与监视控制系统(SCADA)数据 故障预警 改进集合经验模态分解(EEMD) 强化vit模型
在线阅读 下载PDF
优化ViT用于黑色素瘤分类:特征筛选与InfoNCE损失的结合
2
作者 黄金杰 马媛雪 《光学精密工程》 北大核心 2025年第16期2649-2660,共12页
针对Vision Transformer(ViT)在黑色素瘤图像分类中存在的特征冗余和泛化能力不足问题,提出一种融合动态特征筛选与对比学习的改进模型,以提升分类精度与临床诊断效率。首先,设计动态特征筛选模块,通过可学习的权重矩阵自适应强化关键... 针对Vision Transformer(ViT)在黑色素瘤图像分类中存在的特征冗余和泛化能力不足问题,提出一种融合动态特征筛选与对比学习的改进模型,以提升分类精度与临床诊断效率。首先,设计动态特征筛选模块,通过可学习的权重矩阵自适应强化关键特征并抑制冗余信息;其次,引入InfoNCE对比损失函数,联合交叉熵损失构建多目标优化框架,增强类间特征区分度;最后,在多头自注意力机制中嵌入关键特征引导机制,实现局部细节与全局语义的协同建模。在ISIC2018和ISIC2019数据集上的实验结果表明:改进模型分类准确率分别达到83.27%和80.17%,较基线ViT模型提升1.83%和0.49%;消融实验验证动态筛选模块减少18.7%冗余计算量,对比学习使类内特征相似度提升23.6%。所提方法显著提高了ViT模型对黑色素瘤的识别能力,分类精度与鲁棒性优于主流模型,为皮肤癌早期诊断提供了高精度、低冗余的自动化解决方案,具有一定的临床实用价值。 展开更多
关键词 图像分类 特征筛选 InfoNCE损失函数 vit模型
在线阅读 下载PDF
针对Tor暗网流量的MorViT指纹识别模型
3
作者 朱懿 蔡满春 +2 位作者 姚利峰 张溢文 陈咏豪 《计算机工程与应用》 CSCD 北大核心 2024年第24期270-281,共12页
网络攻击日趋频繁,为保护用户隐私,匿名通信系统不断涌现。但这也被不法分子利用,进行各类违法活动而形成暗网。监测和识别暗网流量对维护网络安全具有重要意义。针对上述问题,提出了用于Tor暗网流量的MorViT指纹识别模型。该模型将流... 网络攻击日趋频繁,为保护用户隐私,匿名通信系统不断涌现。但这也被不法分子利用,进行各类违法活动而形成暗网。监测和识别暗网流量对维护网络安全具有重要意义。针对上述问题,提出了用于Tor暗网流量的MorViT指纹识别模型。该模型将流量数据转换为图像以便于可视化和模型输入,并融合一维倒残差结构、二维倒残差结构和MobileViT模块,用以同时提取流量局部特征以及整体流量的全局特征和长距离依赖关系。为弥补Transformer在小数据集上的不足,引入可学习的温度系数和对角掩码增强局部归纳能力。实验结果表明,MorViT模型在封闭世界和开放世界场景下的分类准确率、召回率、AUC等指标上均优于既有模型,能够有效完成Tor暗网流量指纹识别任务。 展开更多
关键词 洋葱路由 网站指纹识别 暗网 倒残差结构 vit模型
在线阅读 下载PDF
基于ViT的农作物检测方法与应用研究
4
作者 何懿璇 叶兆元 +4 位作者 郑凯扬 易心蕊 黎志勇 李彦錂 刘洋 《南方农机》 2025年第15期55-58,共4页
在真实环境中,玉米病害识别面临背景复杂的难题,并且卷积神经网络(CNN)在对玉米病害图像进行识别时,往往只依靠局部特征信息,识别效果并不理想。基于此,文章提出了一种以ViT为基础的农作物检测方案。团队收集了4种常见玉米病害的图像样... 在真实环境中,玉米病害识别面临背景复杂的难题,并且卷积神经网络(CNN)在对玉米病害图像进行识别时,往往只依靠局部特征信息,识别效果并不理想。基于此,文章提出了一种以ViT为基础的农作物检测方案。团队收集了4种常见玉米病害的图像样本,以ViT模型为主体去除环境干扰,对图像进行镜像翻转、高斯模糊等图像增强操作,提升模型对于复杂环境中的玉米叶片、根茎等部位病害的识别能力。研究结果表明,在玉米病害识别中,相比基于CNN的相关模型以及其他同类模型,ViT模型的准确率有显著提升。 展开更多
关键词 vit模型 玉米病害 卷积神经网络 识别性能
在线阅读 下载PDF
SMViT:用于新冠肺炎诊断的轻量化孪生网络模型 被引量:1
5
作者 马自萍 谭力刀 +1 位作者 马金林 陈勇 《计算机科学与探索》 CSCD 北大核心 2023年第10期2499-2510,共12页
针对新冠肺炎的深度学习诊断模型存在的准确率不高、泛化能力较差和参数量较大的问题,基于ViT和孪生网络,提出了一种新冠肺炎诊断的轻量化孪生网络SMViT。首先,提出了循环子结构轻量化策略,使用多个具有相同结构的子网络构成诊断网络,... 针对新冠肺炎的深度学习诊断模型存在的准确率不高、泛化能力较差和参数量较大的问题,基于ViT和孪生网络,提出了一种新冠肺炎诊断的轻量化孪生网络SMViT。首先,提出了循环子结构轻量化策略,使用多个具有相同结构的子网络构成诊断网络,从而降低网络的参数量;其次,提出ViT掩码自监督预训练模型,以增强模型的潜在特征表达能力;然后,构建新冠肺炎诊断的孪生网络SMViT,有效提升模型的诊断准确率,改善小样本下模型泛化能力较差的问题;最后,使用消融实验验证并确定了模型结构,通过对比实验验证模型的诊断性能和轻量化能力。实验结果表明:与最具竞争力的ViT架构的诊断模型相比,该模型在X-ray数据集上的准确率、特异度、灵敏度与F1分数值分别提高了1.42%、4.62%、0.40%和2.80%,在CT图像数据集上的准确率、特异度、灵敏度与F1分数值分别提高了2.16%、2.17%、2.05%和2.06%;在样本量较小时,模型具有较强的泛化能力;与ViT相比,SMViT模型具有更小的参数量和更高的诊断性能。 展开更多
关键词 新冠肺炎诊断 孪生网络 vit模型 自监督学习 轻量化模型
在线阅读 下载PDF
基于改进的DenseNet-ViT联合网络和迁移学习的燃气轮机转子故障诊断 被引量:1
6
作者 乔琦 王红军 +2 位作者 马康 王正 余成龙 《电子测量与仪器学报》 CSCD 北大核心 2024年第11期40-47,共8页
实际工业环境中,燃气轮机转子故障数据难以采集导致故障样本稀缺,无法满足故障模型的海量训练要求。利用DenseNet在图像特征提取方面的和Transformer结构在视觉领域上的优势,提出了一种基于改进的DenseNet-ViT联合网络的燃气轮机转子故... 实际工业环境中,燃气轮机转子故障数据难以采集导致故障样本稀缺,无法满足故障模型的海量训练要求。利用DenseNet在图像特征提取方面的和Transformer结构在视觉领域上的优势,提出了一种基于改进的DenseNet-ViT联合网络的燃气轮机转子故障诊断方法。首先舍弃掉DenseNet的分类层,只需利用DenseNet的特征提取层,随后将改进的DenseNet的输出层连接到ViT模型的输入层构成联合网络;另外针对故障模型训练耗时长的问题,利用迁移学习将训练好模型权重参数进行迁移可以加快训练时间,节省计算资源。利用在实验室构建的燃气轮机转子模拟实验台可以获得燃气轮机转子故障模拟数据,在某型号燃气轮机试车台上获得了真实环境下的转子不同类型的故障数据,利用模拟数据与真实数据进行模型测试可以更好的检验所提出方法的可靠性。实验结果表明:在两种不同转子故障数据集测试中分别达到了96.8%和97.3%的故障识别准确率,表明该方法具有较高的转子故障识别精度;在后续设置的对比验证实验中,通过与CNN以及VGG-16等进行对比,该模型的故障分类准确率也均高于这些网络,从而进一步验证了该模型的优异性和可靠性。 展开更多
关键词 燃气轮机 转子故障 vit模型 故障诊断 迁移学习
在线阅读 下载PDF
融合局部和全局特征的改进Transformer工业图像分类算法
7
作者 王玲 崔志瑜 +2 位作者 黄靖 王鹏 白燕娥 《计算机工程与应用》 北大核心 2025年第18期263-272,共10页
在数据获取受限、环境复杂且光照变化大的工业场景中,ViT模型的分类准确率仍有待提高。针对该问题,基于CMT模型提出一种工业图像分类算法。改进Patch Embedding模块,通过添加仿射变换和连续卷积块,提升模型对小数据集的泛化能力;改进CMT... 在数据获取受限、环境复杂且光照变化大的工业场景中,ViT模型的分类准确率仍有待提高。针对该问题,基于CMT模型提出一种工业图像分类算法。改进Patch Embedding模块,通过添加仿射变换和连续卷积块,提升模型对小数据集的泛化能力;改进CMT Block,提出并行局部特征提取模块,增强模型对局部特征的提取能力,将多头自注意力替换为token交互注意力,提升模型的全局特征表达能力,将深度卷积和通道注意力集成到前馈神经网络中,使模型能够有效地捕获相邻特征;提出特征融合模块,将局部和全局特征融合到一起,丰富特征表示,增强模型在小数据集上的分类性能。在自制灌装桶数据集、公开Car Parts和Tiny ImageNet数据集上的实验表明,改进CMT模型的Top-1 Accuracy较CMT模型提升4.7、6.9和5.2个百分点,Macro F1较CMT模型提升0.057、0.071和0.048,实现了分类精度的提高。 展开更多
关键词 vit模型 工业图像分类 CMT模型 注意力 特征融合
在线阅读 下载PDF
ImageNet数据能否帮助改进基于深度学习的云图分类准确率?
8
作者 季焱 叶灵熙 +6 位作者 黄智勇 彭婷 高智伟 孔德璇 吉璐莹 朱寿鹏 智协飞 《大气科学学报》 北大核心 2025年第3期389-403,共15页
精准的云属分类,对于区域天气形势预测和全球能量收支平衡具有重要意义。然而,准确客观地识别地基云图目前仍然存在挑战,尤其是当前可获得的标准云图数据不足,因此以数据驱动的深度学习云图分类模型性能有待进一步提高。本文探索了如何... 精准的云属分类,对于区域天气形势预测和全球能量收支平衡具有重要意义。然而,准确客观地识别地基云图目前仍然存在挑战,尤其是当前可获得的标准云图数据不足,因此以数据驱动的深度学习云图分类模型性能有待进一步提高。本文探索了如何利用非气象云图数据,如ImageNet数据集,帮助改进地基云图分类技巧。以世界气象组织定义的10类标准云属和1类尾迹云为分类对象,构建了基于卷积结构的ResNet50、MobileNet-V2和基于自注意力结构的ViT云图分类模型。结果表明,仅使用原始云图训练时,参数量较小的传统卷积结构网络要优于参数量庞大的ViT模型。然而,通过使用ImageNet数据集进行预训练后,ViT模型的云图分类技巧有了显著提升,预训练策略将平均F 1评分由0.78提高至0.96,超过了当前的主流分类模型。这表明,利用深度学习模型来实现云图分类是可靠且有效的途径,而预训练策略对于类似于ViT的大型网络而言更为重要。此外进一步将训练稳定的模型部署至移动端口(http://43.142.162.19:5174/),实现了通过上传拍摄云图进行实时分类,并提供相关的云类科普信息,推动气象云知识在社会公众中的普及程度。 展开更多
关键词 迁移学习 云图分类 vit模型 预训练模型 非常规气象数据
在线阅读 下载PDF
基于ViT与语义引导的视频内容描述生成 被引量:2
9
作者 赵宏 陈志文 +1 位作者 郭岚 安冬 《计算机工程》 CAS CSCD 北大核心 2023年第5期247-254,共8页
现有视频内容描述模型生成的视频内容描述文本可读性差且准确率不高。基于ViT模型提出一种语义引导的视频内容描述方法。利用ReNeXt和ECO网络提取视频的视觉特征,以提取的视觉特征为输入、语义标签的概率预测值为输出训练语义检测网络(S... 现有视频内容描述模型生成的视频内容描述文本可读性差且准确率不高。基于ViT模型提出一种语义引导的视频内容描述方法。利用ReNeXt和ECO网络提取视频的视觉特征,以提取的视觉特征为输入、语义标签的概率预测值为输出训练语义检测网络(SDN)。在此基础上,通过ViT模型对静态和动态视觉特征进行全局编码,并与SDN提取的语义特征进行注意力融合,采用语义长短期记忆网络对融合特征进行解码,生成视频对应的描述文本。通过引入视频中的语义特征能够引导模型生成更符合人类习惯的描述,使生成的描述更具可读性。在MSR-VTT数据集上的测试结果表明,该模型的BLEU-4、METEOR、ROUGE-L和CIDEr指标分别为44.8、28.9、62.8和51.1,相比于当前主流的视频内容描述模型ADL和SBAT,提升的得分总和达到16.6和16.8。 展开更多
关键词 视频内容描述 视频理解 vit模型 语义引导 长短期记忆网络 注意力机制
在线阅读 下载PDF
融合迁移学习和集成学习的服装风格图像分类方法
10
作者 游小荣 李淑芳 《现代纺织技术》 北大核心 2024年第9期127-134,共8页
针对服装风格人工分类受主观性、地域等因素影响而造成的分类错误问题,研究了一种基于人工智能的服装风格图像分类方法。首先,在FashionStyle14数据集基础上筛除重复或无效图像,构建服装风格图像数据集;然后,采用迁移学习方法,对Efficie... 针对服装风格人工分类受主观性、地域等因素影响而造成的分类错误问题,研究了一种基于人工智能的服装风格图像分类方法。首先,在FashionStyle14数据集基础上筛除重复或无效图像,构建服装风格图像数据集;然后,采用迁移学习方法,对EfficientNet V2、RegNet Y 16GF和ViT Large 16等模型进行微调训练,生成新模型,实现基于单个深度学习的服装风格图像分类;最后,为进一步提高图像分类的准确性、可靠性和鲁棒性,分别采用基于投票、加权平均和堆叠的集成学习方法对上述单个模型进行组合预测。迁移学习实验结果表明,基于ViT Large 16的深度学习模型在测试集上表现最佳,平均准确率为77.024%;集成学习方法实验结果显示,基于投票的集成学习方法在相同测试集上平均准确率可达78.833%。研究结果为解决服装风格分类问题提供了新的思路。 展开更多
关键词 服装风格 迁移学习 集成学习 vit模型 图像分类
在线阅读 下载PDF
面向图像分类的Vision Transformer研究综述 被引量:4
11
作者 智敏 陆静芳 《郑州大学学报(工学版)》 CAS 北大核心 2024年第4期19-29,共11页
作为一种基于Transformer架构的模型,ViT已经在图像分类任务中展现出了良好的效果。对ViT在图像分类任务上的应用进行系统性归纳总结。首先,简单介绍了ViT框架及其4个模块(patch模块、位置编码、多头注意力和前馈神经网络)的功能特性;其... 作为一种基于Transformer架构的模型,ViT已经在图像分类任务中展现出了良好的效果。对ViT在图像分类任务上的应用进行系统性归纳总结。首先,简单介绍了ViT框架及其4个模块(patch模块、位置编码、多头注意力和前馈神经网络)的功能特性;其次,以ViT中4个模块的改进措施为脉络综述其在图像分类任务中的应用;再次,由于不同的模型结构和改进措施对最终的分类性能产生显著影响,还对文中出现的各类ViT进行了横向对比,并详细列出模型的参数和分类精度及其优缺点;最后,指出ViT在图像分类任务中的优势和局限性,并提出未来可能的研究方向以打破其局限性,进一步扩展ViT在其他计算机视觉任务中的应用,同时,还可以探索将ViT扩展到视频理解等更广泛的计算机视觉领域。 展开更多
关键词 vit模型 图像分类 多头注意力 前馈网络层 位置编码
在线阅读 下载PDF
基于深度网络的汽车配件两级备件决策 被引量:4
12
作者 张明蓝 孙林夫 邹益胜 《计算机集成制造系统》 EI CSCD 北大核心 2022年第12期3822-3831,共10页
备件业务是汽车配件售后市场重要组成部分,针对汽车备件决策过程中信息不完备与多样性的问题,提出一种正则化VIT-BiLSTM两级备件决策模型。首先,根据配件类型对数据进行两级划分,以获取其内在联系。然后,利用Vision Transformer(VIT)模... 备件业务是汽车配件售后市场重要组成部分,针对汽车备件决策过程中信息不完备与多样性的问题,提出一种正则化VIT-BiLSTM两级备件决策模型。首先,根据配件类型对数据进行两级划分,以获取其内在联系。然后,利用Vision Transformer(VIT)模型对配件数据进行关键特征的提取。随后,通过双向长短时记忆循环神经网络(BiLSTM)捕捉特征之间的双向长时依赖关系,并在每个序列单元中融入组套索正则化项,进一步提高模型准确率。最后,利用第三方云平台的配件数据进行算例分析。实验结果表明,模型一级与二级的决策准确率分别高达99%、97%,召回率分别为97.3%、96.6%,F值分别为0.977、0.964,说明本模型可以为配件代理商提供实时数据参考,辅助其进行备件决策。 展开更多
关键词 汽车配件 深度网络 两级备件决策 vit模型 BiLSTM模型 组套索正则化
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部