基于预训练大模型的无监督图像字幕生成优化

1

作者 李炳楠 丁濛 《北京信息科技大学学报(自然科学版)》 2025年第1期11-19,共9页

图像字幕生成模型普遍依赖高质量的图像-文本对,且泛化能力较差。早期研究通过对比语言-图像预训练(contrastive language-imagepre-training,CLIP)模型的跨模态关联性,尝试利用无监督文本数据生成字幕,减少了对成对数据的依赖。然而,... 图像字幕生成模型普遍依赖高质量的图像-文本对,且泛化能力较差。早期研究通过对比语言-图像预训练(contrastive language-imagepre-training,CLIP)模型的跨模态关联性,尝试利用无监督文本数据生成字幕,减少了对成对数据的依赖。然而,这些方法未能有效缩小CLIP文本与图像嵌入之间的差距,也未充分利用图像和文本的局部特征。为解决上述挑战,提出了一种基于纯文本训练的图像字幕生成框架——FusionCap。结合噪声网络和投影网络策略,有效缩小了文本与图像模态之间的差距,并引入局部特征提取模块,提升了模型对细粒度特征的捕捉能力。实验结果表明,FusionCap模型在字幕生成的准确性和细节描述方面显著优于现有的纯文本训练方法。尤其是在零样本生成场景中,生成的字幕在细节捕捉和语义一致性方面表现出色,验证了其良好的泛化能力和生成效果。 展开更多

关键词 图像字幕生成 多模态 预训练模型 无监督学习算法 深度学习

在线阅读 下载PDF 职称材料

语义增强图像-文本预训练模型的零样本三维模型分类

2

作者 丁博 张立宝 +1 位作者 秦健 何勇军 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第8期3314-3323,共10页

目前,基于对比学习的图像-文本预训练模型(CLIP)在零样本3维模型分类任务上表现出了巨大潜力,然而3维模型和文本之间存在巨大的模态鸿沟,影响了分类准确率的进一步提高。针对以上问题,该文提出一种语义增强CLIP的零样本3维模型分类方法... 目前,基于对比学习的图像-文本预训练模型(CLIP)在零样本3维模型分类任务上表现出了巨大潜力,然而3维模型和文本之间存在巨大的模态鸿沟,影响了分类准确率的进一步提高。针对以上问题,该文提出一种语义增强CLIP的零样本3维模型分类方法。该方法首先将3维模型表示成多视图;然后为了增强零样本学习对未知类别的识别能力,通过视觉语言生成模型获得每张视图及其类别的语义描述性文本,并将其作为视图和类别提示文本之间的语义桥梁,语义描述性文本采用图像字幕和视觉问答两种方式获取;最后微调语义编码器将语义描述性文本具化为类别的语义描述,其拥有丰富的语义信息和较好的可解释性,有效减小了视图和类别提示文本的语义鸿沟。实验表明,该文方法在ModelNet10和ModelNet40数据集上的分类性能优于现有的零样本分类方法。 展开更多

关键词 3维模型分类 零样本 基于对比学习的图像-文本预训练模型 语义描述性文本

在线阅读 下载PDF 职称材料

基于预训练模型的单帧航拍图像无监督语义分割 被引量：2

3

作者 任月冬 游新冬 +1 位作者 滕尚志 吕学强 《北京信息科技大学学报（自然科学版）》 2024年第2期21-28,共8页

针对航拍图像语义分割成本高、通用性差和精度低等问题,提出了一种两阶段无监督语义分割网络(two-stage unsupervised semantic segmentation net, TUSSNet),针对单帧航拍图像训练进而生成最终的语义分割结果。算法分为2个阶段。首先,... 针对航拍图像语义分割成本高、通用性差和精度低等问题,提出了一种两阶段无监督语义分割网络(two-stage unsupervised semantic segmentation net, TUSSNet),针对单帧航拍图像训练进而生成最终的语义分割结果。算法分为2个阶段。首先,使用对比语言-图像预训练(contrastive language-image pretraining, CLIP)模型生成航拍图像的粗粒度语义标签,然后进行网络的预热训练。其次,在第一阶段的基础上,采用分割一切模型(segment anything model, SAM)对航拍图像进行细粒度类别预测,生成精细化类别掩码伪标签;然后迭代优化网络,得到最终语义分割结果。实验结果显示,相较于现有无监督语义分割方法,算法显著提高了航拍图像的分割精度,同时提供了准确的语义信息。 展开更多

关键词 预训练模型 航拍图像 语义分割 无监督算法 聚类效果估计 深度学习

在线阅读 下载PDF 职称材料

PWFT-BERT:一种融合排序学习与预训练模型的检索排序方法 被引量：2

4

作者 苏珂 黄瑞阳 +2 位作者 张建朋 胡楠 余诗媛 《信息工程大学学报》 2022年第4期460-466,共7页

信息检索是从文档集合或互联网中找出用户所需信息的过程,细化为召回和排序两个阶段。针对排序阶段中相关文档的重排序,提出一种称为融合排序学习与预训练模型的检索排序方法(Pair-Wise FineTuned Bidirectional Encoder Representation... 信息检索是从文档集合或互联网中找出用户所需信息的过程,细化为召回和排序两个阶段。针对排序阶段中相关文档的重排序,提出一种称为融合排序学习与预训练模型的检索排序方法(Pair-Wise FineTuned Bidirectional Encoder Representation from Transformers,PWFTBERT)。通过对候选论文数据集使用BM25等算法召回出与查询相关的小范围文档后,可应用PWFT-BERT对召回得到的文档集合进行排序。为构造pair-wise形式的训练数据,提出一种伪负例生成算法生成训练数据,并使用排序学习方法微调预训练模型使其适配排序任务。对比IT-IDF和BM25基线方法,PWFT-BERT在WSDM-DiggSci 2020数据集上的检索结果提升了240%和74%,证明了所提方法的有效性。 展开更多

关键词 自然语言处理 信息检索 排序学习 预训练模型 检索排序

在线阅读 下载PDF 职称材料

基于预训练语言模型的旅游评论文本方面级情感分析研究

5

作者 谢宇欣 肖克晶 +2 位作者 曹少中 张寒 姜丹 《现代信息科技》 2024年第7期141-145,150,共6页

为了促进旅游行业的消费和经济发展,对游客在线上平台发表的景区评论文本进行分析,深入挖掘其中的细粒度情感信息,以更好地迎合游客的偏好。在实际场景中,一个句子会涉及多个实体词,致使难以准确识别它们对应的情感属性关系;且旅游场景... 为了促进旅游行业的消费和经济发展,对游客在线上平台发表的景区评论文本进行分析,深入挖掘其中的细粒度情感信息,以更好地迎合游客的偏好。在实际场景中,一个句子会涉及多个实体词,致使难以准确识别它们对应的情感属性关系;且旅游场景下的数据集存在稀缺和样本不平衡问题。由此构建了基于深度学习和提示知识的预训练语言模型,通过构建离散提示模板联合训练两个子任务,并对数据集中的少数样本进行了数据增强处理,同时在训练阶段为损失函数设置不同的权重。实验结果显示,模型在旅游评论文本数据集和公开数据集SemEval2014_Restaruant上取得了显著效果,F1值分别达到了80.81%和83.71%,有助于旅游机构实现对每个城市景点的个性化分析。 展开更多

关键词 语言模型 提示学习 方面级情感分析 预训练模型

在线阅读 下载PDF 职称材料

基于双文本提示和多重相似性学习的多标签遥感图像分类

6

作者 白淑芬 宋铁成 《电讯技术》 北大核心 2025年第1期35-42,共8页

多标签遥感图像分类旨在预测遥感图像中出现的多个相互关联的对象,其中文本标签能赋予丰富的语义信息。然而,目前多数多标签图像分类法未能充分考虑视觉语义图像-文本对信息。为了解决这一问题,提出了一种基于双文本提示和多重相似性(Bi... 多标签遥感图像分类旨在预测遥感图像中出现的多个相互关联的对象,其中文本标签能赋予丰富的语义信息。然而,目前多数多标签图像分类法未能充分考虑视觉语义图像-文本对信息。为了解决这一问题,提出了一种基于双文本提示和多重相似性(Bi-text Prompts and Multi-similarity,BTPMS)学习的多标签遥感图像分类算法。该算法首先利用场景与对象标签文本的双文本提示(Bi-text Prompts,BTP)提供丰富的先验知识,再综合考虑场景与对象标签之间的关联,对所得的文本特征和图像特征计算多重相似性,最后利用相似性得分进行多标签遥感图像分类。此外,设计了新颖的局部特征注意力(Local Feature Attention,LFA)模块,从空间与通道维度上捕捉图像中局部结构。在两个基准遥感数据集上进行广泛实验,结果表明所提算法优于对比的多标签图像分类方法。 展开更多

关键词 遥感图像 多标签图像分类 视觉语言预训练 提示学习 局部特征注意力

在线阅读 下载PDF 职称材料

鹏程·盘古:大规模自回归中文预训练语言模型及应用 被引量：6

7

作者 曾炜 苏腾 +2 位作者 王晖 田永鸿 高文 《中兴通讯技术》 2022年第2期33-43,共11页

在鹏城云脑Ⅱ上训练了全球首个拥有全开源2000亿参数的自回归中文预训练语言大模型——鹏程·盘古。鹏程·盘古模型基于1.1 TB高质量中文训练数据,采用全场景人工智能计算框架MindSpore自动并行技术实现了五维并行训练策略,从... 在鹏城云脑Ⅱ上训练了全球首个拥有全开源2000亿参数的自回归中文预训练语言大模型——鹏程·盘古。鹏程·盘古模型基于1.1 TB高质量中文训练数据,采用全场景人工智能计算框架MindSpore自动并行技术实现了五维并行训练策略,从而可将训练任务高效扩展到4096个处理器上。对比实验表明,在少样本或零样本情况下,鹏程·盘古模型在多个中文自然语言理解或生成任务上都具有较优的性能。在此基础上,鹏程·盘古模型在大模型压缩、提示微调学习、多任务学习以及持续学习等方面也取得了很好的应用效果。 展开更多

关键词 大规模预训练语言模型 鹏城云脑Ⅱ 大规模分布式训练 中文理解与生成 提示微调学习

在线阅读 下载PDF 职称材料

基于预训练语言模型的管制信息抽取方法 被引量：1

8

作者 张潇霄 王煊 +2 位作者 王磊 张晓海 杨涛 《指挥控制与仿真》 2023年第2期107-111,共5页

在空中交通管理中,管制员使用管制指令调节航空器状态,飞行员通过复诵指令进行确认。管制指令的正确理解对飞行安全具有重大意义。提出一种新的管制信息抽取方法,即基于语言模型的预训练和微调,通过迁移学习实现小样本管制信息抽取。该... 在空中交通管理中,管制员使用管制指令调节航空器状态,飞行员通过复诵指令进行确认。管制指令的正确理解对飞行安全具有重大意义。提出一种新的管制信息抽取方法,即基于语言模型的预训练和微调,通过迁移学习实现小样本管制信息抽取。该方法在训练数据量降低时,仍能实现准确率的提升。仿真结果表明,新模型对管制信息抽取的准确率不低于98%,可以有效提取管制指令中的关键信息。该方法可提升空管系统的智慧化程度,辅助管制员理解管制指令内容,支撑飞行冲突检测,保障航空运输安全。 展开更多

关键词 航空运输 管制指令 信息抽取 预训练语言模型 迁移学习

在线阅读 下载PDF 职称材料

基于预训练语言模型和双向门控循环单元的文本情感分析

9

作者 李荣 《数字技术与应用》 2023年第3期52-54,共3页

随着网络信息技术应用范围不断扩大,网络信息量日益增多,为进一步加强对网络中文本的情感分析效果,本文对当前的文本情感句子层次进行分析,并提出基于预训练语言模型和双向门控循环单元的文本情感分析方式,通过构建深度学习网络模型,强... 随着网络信息技术应用范围不断扩大,网络信息量日益增多,为进一步加强对网络中文本的情感分析效果,本文对当前的文本情感句子层次进行分析,并提出基于预训练语言模型和双向门控循环单元的文本情感分析方式,通过构建深度学习网络模型,强化不同层次的文本训练和分析,提高模型的实际应用效果,以期为相关人员提供几点参考。1文本情感分析概述早期的文本情感分析中,主要通过情感词典的方式进行加权求和,完成信息情感分析~([1])。但该方式主要对情感词汇进行分析,忽视语义中的实际含义,从而使计算结果可能存在一定的误差。 展开更多

关键词 情感分析 情感词典 预训练 语言模型 深度学习 网络信息技术 网络模型 门控

在线阅读 下载PDF 职称材料

基于预训练语言模型的中文零指代消解

10

作者 申资卓 《信息通信》 2020年第5期41-43,共3页

中文零指代消解是一项具有挑战的自然语言处理任务,其目的是确定文档中零代词真正的指代对象,从而使得机器能够正确理解含有零代词的文本的含义。现有的基于深度学习的中文零指代消解模型受限于训练数据规模的限制,其性能依然较低。该... 中文零指代消解是一项具有挑战的自然语言处理任务,其目的是确定文档中零代词真正的指代对象,从而使得机器能够正确理解含有零代词的文本的含义。现有的基于深度学习的中文零指代消解模型受限于训练数据规模的限制,其性能依然较低。该文则将在大规模语料中训练得到的预训练语言模型的信息融入到中文零指代消解模型中,并通过在OntoNotes-5.0数据集上的实验验证了该文提出的方法的有效性。 展开更多

关键词 深度学习 中文零指代消解 预训练语言模型

在线阅读 下载PDF 职称材料

自然语言处理中的预训练范式 被引量：19

11

作者 冯志伟 李颖 《外语研究》 CSSCI 北大核心 2021年第1期1-14,112,共15页

从2017年以来,自然语言处理中提出了“预训练+微调+师生学习”的新范式。这种新范式是自然语言处理的第四代范式,它代表着自然语言处理未来发展的方向。本文讨论自然语言处理中的这种新范式,分别介绍迁移学习、预训练、微调的原理和方法... 从2017年以来,自然语言处理中提出了“预训练+微调+师生学习”的新范式。这种新范式是自然语言处理的第四代范式,它代表着自然语言处理未来发展的方向。本文讨论自然语言处理中的这种新范式,分别介绍迁移学习、预训练、微调的原理和方法,并说明它们在Transformer、BERT、UniLM和Unicoder等模型中的应用。 展开更多

关键词 自然语言处理 范式 预训练模型 迁移学习 注意力机制 微调

在线阅读 下载PDF 职称材料

大规模预训练模型在太空态势感知领域的应用思考 被引量：1

12

作者 尹港港 张峰 郭继光 《空天预警研究学报》 CSCD 2023年第5期355-363,共9页

随着航天科技和人类太空活动的快速演进,太空态势感知(SSA)的需求愈发突出.近些年,大规模预训练模型(LPTMs)在自然语言处理、图像处理、模式识别等领域表现卓越,在SSA中,这些技术也展现出巨大的应用潜力.为有效应对不断演变的太空环境... 随着航天科技和人类太空活动的快速演进,太空态势感知(SSA)的需求愈发突出.近些年,大规模预训练模型(LPTMs)在自然语言处理、图像处理、模式识别等领域表现卓越,在SSA中,这些技术也展现出巨大的应用潜力.为有效应对不断演变的太空环境带来的挑战,首先分析了SSA领域存在的瓶颈问题;然后针对SSA领域中的应用需求,提出了一系列潜在优势和应用方向;最后探讨了大规模预训练模型在SSA领域应用过程中所面临的关键挑战及可能的解决方案. 展开更多

关键词 太空态势感知 大规模预训练模型 自然语言处理 图像处理

在线阅读 下载PDF 职称材料

基于扩散生成对抗网络的文本生成图像模型研究 被引量：4

13

作者 赵宏 李文改 《电子与信息学报》 EI CSCD 北大核心 2023年第12期4371-4381,共11页

文本生成图像是一项结合计算机视觉(CV)和自然语言处理(NLP)领域的综合性任务。以生成对抗网络(GANs)为基础的方法在文本生成图像方面取得了显著进展,但GANs方法的模型存在训练不稳定的问题。为解决这一问题,该文提出一种基于扩散Wasser... 文本生成图像是一项结合计算机视觉(CV)和自然语言处理(NLP)领域的综合性任务。以生成对抗网络(GANs)为基础的方法在文本生成图像方面取得了显著进展,但GANs方法的模型存在训练不稳定的问题。为解决这一问题,该文提出一种基于扩散Wasserstein生成对抗网络(WGAN)的文本生成图像模型(D-WGAN)。在DWGAN中,利用向判别器中输入扩散过程中随机采样的实例噪声,在实现模型稳定训练的同时,生成高质量和多样性的图像。考虑到扩散过程的采样成本较高,引入一种随机微分的方法,以简化采样过程。为了进一步对齐文本与图像的信息,提出使用基于对比学习的语言-图像预训练模型(CLIP)获得文本与图像信息之间的跨模态映射关系,从而提升文本和图像的一致性。在MSCOCO,CUB-200数据集上的实验结果表明,D-WGAN在实现稳定训练的同时,与当前最好的方法相比,FID分数分别降低了16.43%和1.97%,IS分数分别提升了3.38%和30.95%,说明D-WGAN生成的图像质量更高,更具有实用价值。 展开更多

关键词 文本生成图像 生成对抗网络 扩散过程 对比学习的语言-图像预训练模型 语义匹配

在线阅读 下载PDF 职称材料

一种面向中文拼写纠错的自监督预训练方法

14

作者 苏锦钿 余珊珊 洪晓斌 《华南理工大学学报（自然科学版）》 EI CAS CSCD 北大核心 2023年第9期90-98,共9页

预训练语言模型BERT/RoBERTa/MacBERT等虽然能够通过预训练任务中的掩码语言模型(MLM)很好地学习字和词的语法、语义及上下文特征,但其缺乏拼写错误识别及纠正能力,且在中文拼写纠错(CSC)任务中面临预训练与下游任务微调目标不一致的问... 预训练语言模型BERT/RoBERTa/MacBERT等虽然能够通过预训练任务中的掩码语言模型(MLM)很好地学习字和词的语法、语义及上下文特征,但其缺乏拼写错误识别及纠正能力,且在中文拼写纠错(CSC)任务中面临预训练与下游任务微调目标不一致的问题。为了进一步提升BERT/RoBERTa/MacBERT等模型的拼写错误识别及纠正能力,提出一种面向中文拼写纠错的自监督预训练方法MASC。MASC在MLM的基础上将对被掩码字的正确值预测转换成对拼写错误字的识别和纠正。首先,MASC将MLM对字的掩码扩展为相应的全词掩码,目的是提升BERT对单词级别的语义表征学习能力;接着,利用混淆集从音调相同、音调相近和字形相近等方面对MLM中的被掩码字进行替换,并将MLM的训练目标更改为识别正确的字,从而增强了BERT的拼写错误识别及纠正能力;最后,在3个公开的CSC语料集sighan13、sighan14和sighan15上的实验结果表明,MASC可在不改变BERT/RoBERTa/MacBERT等模型结构的前提下进一步提升它们在下游CSC任务中的效果,并且消融实验也证明了全词掩码、音调和字形等信息的重要性。 展开更多

关键词 中文拼写纠错 文本纠错 自然语言处理 预训练语言模型 深度学习 自监督

在线阅读 下载PDF 职称材料

基于迁移学习的棉/毛纤维自动识别方法 被引量：1

15

作者 游小荣 李淑芳 《毛纺科技》 CAS 北大核心 2024年第6期83-88,共6页

针对纺织品废料中织物纤维手工分类存在效率低、主观性强等问题,提出了一种小样本条件下纺织品废料中棉/毛纤维的自动识别方法。首先使用扫描电子显微镜,对已有的棉/毛纤维进行拍照,形成小样本棉/毛纤维图像集;然后分别加载4种经ImageNe... 针对纺织品废料中织物纤维手工分类存在效率低、主观性强等问题,提出了一种小样本条件下纺织品废料中棉/毛纤维的自动识别方法。首先使用扫描电子显微镜,对已有的棉/毛纤维进行拍照,形成小样本棉/毛纤维图像集;然后分别加载4种经ImageNet数据集训练过的模型进行迁移学习,保留或部分微调模型的网络参数,并基于小样本图像集进行训练和验证,生成棉/毛纤维的分类模型;最后基于准确率、精确率和召回率评价指标,对各种分类模型进行对比测试,选出最优分类模型,实现棉/毛纤维的自动识别。经过实验发现ResNetXt50模型在模型训练过程中取得了最高的精确率,其值为97.33%。对测试集进行测试,结果显示通过微调后的4种分类模型中,ResNet50和ResNetXt50的测试准确率可达99.537%,验证了方法的有效性。 展开更多

关键词 纺织品废料 小样本 迁移学习 预训练模型 图像识别

在线阅读 下载PDF 职称材料

基于深度学习的文本分类研究综述 被引量：6

16

作者 汪家伟 余晓 《电子科技》 2024年第1期81-86,共6页

与传统的机器学习模型相比,深度学习模型试图模仿人的学习思路,通过计算机自动进行海量数据的特征提取工作。文本分类是自然语言处理中的一个重要应用,在文本信息处理过程中具有关键作用。过去几年,使用深度学习方法进行文本分类的研究... 与传统的机器学习模型相比,深度学习模型试图模仿人的学习思路,通过计算机自动进行海量数据的特征提取工作。文本分类是自然语言处理中的一个重要应用,在文本信息处理过程中具有关键作用。过去几年,使用深度学习方法进行文本分类的研究激增并取得了较好效果。文中简要介绍了基于传统模型的文本分类方法和基于深度学习的文本分类方法,回顾了先进文本分类方法并重点关注了其中基于深度学习的模型,对近年来用于文本分类的深度学习模型的研究进展以及成果进行介绍和总结,并对深度学习在文本分类领域的发展趋势和研究的难点进行了总结和展望。 展开更多

关键词 深度学习 自然语言处理 文本分类 机器学习 神经网络 预训练模型 注意力机制 长短期记忆网络

在线阅读 下载PDF 职称材料

基于深度学习的不良应用域名早期识别方法

17

作者 胡安磊 田语 +2 位作者 陈勇 李振宇 谢高岗 《高技术通讯》 CAS 北大核心 2024年第2期151-161,共11页

不良应用网站依赖域名系统(DNS)实现不良内容传播,严重影响互联网的健康发展。尽早识别出不良应用网站对应的域名(即不良应用域名),并进行相应治理,对域名系统的管理与运行至关重要。本文从国家顶级域名(.CN)管理的角度出发,关注如何在... 不良应用网站依赖域名系统(DNS)实现不良内容传播,严重影响互联网的健康发展。尽早识别出不良应用网站对应的域名(即不良应用域名),并进行相应治理,对域名系统的管理与运行至关重要。本文从国家顶级域名(.CN)管理的角度出发,关注如何在注册阶段识别不良应用域名。分析发现不良应用域名在注册特征与文本结构2个维度,与正常域名存在显著差异。为此,提出了一种基于深度学习的不良应用域名早期识别方法。该方法首先提取域名的注册信息特征,并利用预训练语言模型基于Transformer的双向编码器(BERT)提取域名本身的文本语义特征,其次基于注意力机制融合2类特征,并最终使用全连接神经网络,构建域名分类器,实现不良应用域名的早期识别。基于真实网络数据的实验结果表明,所提方法分类准确率(F1分数)可达到0.99;消融实验结果也验证了所选特征的有效性和必要性。 展开更多

关键词 域名系统(DNS) 域名分类 深度学习 预训练语言模型

在线阅读 下载PDF 职称材料

基于深度学习的图像分类 被引量：5

18

作者 余奕盈 《数字技术与应用》 2022年第1期108-110,共3页

传统的图像分类过程复杂,准确率低,而卷积神经网络在图像分类领域表现出色。本文基于迁移学习,先对小样本数据集进行归一化数据增强等预处理,在ImageNet大数据集预训练后,微调网络权值,比较VGG16、Inception、Xception三种网络模型图像... 传统的图像分类过程复杂,准确率低,而卷积神经网络在图像分类领域表现出色。本文基于迁移学习,先对小样本数据集进行归一化数据增强等预处理,在ImageNet大数据集预训练后,微调网络权值,比较VGG16、Inception、Xception三种网络模型图像分类效果,得到了较好的准确率。 展开更多

关键词 图像分类 卷积神经网络 迁移学习 大数据集 预训练 网络模型 深度学习 小样本数据

在线阅读 下载PDF 职称材料

基于迁移学习的卷积神经网络图像识别方法研究 被引量：2

19

作者 张文韬 张婷 《现代信息科技》 2023年第14期57-60,共4页

卷积神经网络是图像分类领域效果卓越的深度学习算法,然而训练深度神经网络是一项繁琐且复杂的工作,不仅在结构设计上依赖开发人员丰富的经验,还容易产生过拟合现象。因此,该文提出一种基于模型迁移的图像识别方法,该方法能够在简化设... 卷积神经网络是图像分类领域效果卓越的深度学习算法,然而训练深度神经网络是一项繁琐且复杂的工作,不仅在结构设计上依赖开发人员丰富的经验,还容易产生过拟合现象。因此,该文提出一种基于模型迁移的图像识别方法,该方法能够在简化设计思路的同时极大地提升卷积神经网络的性能。此外还在三个小型图片集上进行了多次模型训练和对比分析。研究结果表明,经过迁移学习优化的卷积神经网络的测试集准确率均得到显著提升。 展开更多

关键词 图像识别 深度学习 卷积神经网络 迁移学习 预训练模型

在线阅读 下载PDF 职称材料

智慧农业下基于联邦学习的水稻病虫害分类研究

20

作者 黄炯炯 《电子技术应用》 2024年第11期89-98,共10页

在农业发展过程中,农作物的健康问题一直是一个重要的研究课题。面向这一课题探讨智能化农业种植过程中的水稻病虫害分类问题。在智能化农业种植场景下,为了提高设备对病虫害的分类准确性,同时保护各设备的数据隐私,提出使用联邦学习来... 在农业发展过程中,农作物的健康问题一直是一个重要的研究课题。面向这一课题探讨智能化农业种植过程中的水稻病虫害分类问题。在智能化农业种植场景下,为了提高设备对病虫害的分类准确性,同时保护各设备的数据隐私,提出使用联邦学习来解决各设备间的数据孤岛问题。实验选取了七个预训练模型来提取特征,使用四个指标(准确率、召回率、损失函数和F1分数)来评估不同模型上的性能。实验结果表明,在独立同分布(IID)和非独立同分布(Non-IID)数据下模型VGG19的准确率分别为99.05%和98.48%,表现出较高的鲁棒性和准确率。通过几种实验和指标对比发现,联邦学习的应用提升了设备4.36%的准确率,图像分类模型的收敛时间受到联邦学习轮数round和每轮联邦学习中训练集的训练epoch数的共同影响,并且模型的稳定性随着参与联邦学习的设备数量增加而提高。 展开更多

关键词 智慧农业 联邦学习 图像分类 预训练模型

在线阅读 下载PDF 职称材料