中文纠错任务为例的数据集增强质量评价方法

1

作者 宋程 谢振平 《计算机工程与应用》 CSCD 北大核心 2024年第3期331-339,共9页

数据增强被认为是一种有效提升模型效果的方案。但是在选取生成的数据时,需考虑固有的数据特征和相应的任务关联性。针对这一问题,以中文纠错任务场景为例,提出了一种可用于数据集增强质量的评价方法。该方法使用对比学习优化后的预训... 数据增强被认为是一种有效提升模型效果的方案。但是在选取生成的数据时,需考虑固有的数据特征和相应的任务关联性。针对这一问题,以中文纠错任务场景为例,提出了一种可用于数据集增强质量的评价方法。该方法使用对比学习优化后的预训练模型提取数据集的特征向量,提出互覆盖度、总分散度、自支撑度等三个基本评价指标,并给出一个综合性的数据集质量融合指标。在四种数据增强方法、两个中文纠错数据集和三个中文纠错模型上的实验分析结果表明,上述评价方法能够独立于测试集性能检验方法,为不同增强数据集的选用提供重要依据。 展开更多

关键词 数据集增强 机器学习 质量评价 中文纠错 深度学习

在线阅读 下载PDF 职称材料

钢板表面缺陷图像增强与自动标注方法研究

2

作者 杨璐雅 黄新波 +1 位作者 任玉成 韩琪 《机械科学与技术》 北大核心 2025年第3期445-452,共8页

数据标注为机器学习提供了大量带标签的数据,在数据集制作时需要借助各种标注工具手动对图像进行画框标注,受主观因素影响较大,且工业现场环境复杂,采集到的图像质量不稳定,也会影响标注效果。因此提出一种改进MSR(Multi-scale retinex... 数据标注为机器学习提供了大量带标签的数据,在数据集制作时需要借助各种标注工具手动对图像进行画框标注,受主观因素影响较大,且工业现场环境复杂,采集到的图像质量不稳定,也会影响标注效果。因此提出一种改进MSR(Multi-scale retinex)钢板缺陷图像数据集增强算法和基于图像分块和像素差分的自适应目标框标注算法,首先在MSR基础上提出一种自适应权值计算方法对采集到的缺陷图像进行增强,通过计算信息熵占比自动确定权值Wk,克服了传统MSR算法需要人工调整权值的缺点;然后为了解决直接对整幅图像提取目标边界计算量太大的问题,提出一种分块计算像素差分的方法,分别计算每个子块图像的均值矩阵和2阶差分矩阵,通过判别目标在各个子块的分布情况,选取合适的子块分别计算矩形框的4个边界,代替人工画框辅助数据集的标注,并采用Faster R-CNN和YOLOv5进行缺陷检测验证。结果表明:提出算法的平均IoU为0.87,平均检测时间为457 ms,在公开数据集上的平均IoU和检测时间分别为0.84和473 ms,性能均优于其他方法,基于提出算法Faster R-CNN和YOLOv5的检测准确率分别提升了4.8%和5.9%,可以为深度学习模型提供质量稳定的数据集。 展开更多

关键词 数据标注 深度学习 数据集增强 像素2阶差分 自适应目标框标注

在线阅读 下载PDF 职称材料

基于增强数据集卷积神经网络的SAR目标识别方法 被引量：7

3

作者 陈欣 陈明逊 《重庆理工大学学报（自然科学）》 CAS 北大核心 2020年第1期86-93,共8页

提出基于增强数据集卷积神经网络的合成孔径雷达(SAR)目标识别方法。卷积神经网络的分类能力与训练样本的数量和全面性息息相关。由于SAR目标识别中存在大量的扩展操作条件,基于原始少量训练样本的卷积神经网络稳健性较差。通过添加噪... 提出基于增强数据集卷积神经网络的合成孔径雷达(SAR)目标识别方法。卷积神经网络的分类能力与训练样本的数量和全面性息息相关。由于SAR目标识别中存在大量的扩展操作条件,基于原始少量训练样本的卷积神经网络稳健性较差。通过添加噪声构造噪声样本;通过多分辨率分析获得多分辨率的样本;通过模拟部分遮挡获得不同程度的遮挡样本。采用增强后的训练样本训练卷积神经网络从而提高其对于噪声干扰、分辨率变换以及部分遮挡等情形的稳健性。同时,由更多训练样本训练得到的网络对于其他扩展操作条件的适应性也有一定的提高。基于MSTAR数据集进行了验证实验,证明了提出方法的有效性。 展开更多

关键词 合成孔径雷达 目标识别 卷积神经网络 增强数据集

在线阅读 下载PDF 职称材料

基于改进SinGAN的电力线巡检异物数据增强技术 被引量：5

4

作者 宋立业 王诗翱 +1 位作者 刘昕明 刘卫东 《电子测量与仪器学报》 CSCD 北大核心 2021年第1期165-173,共9页

针对电力线异物识别模型能使用的数据集较少,并且传统单幅自然图像的生成式模型(SinGAN)模型生成数据与异物识别模型匹配度不高、质量不佳、耗时过久的问题,提出了改进SinGAN模型。在改进SinGAN模型基础上加入仿射变换单元、大小变换单... 针对电力线异物识别模型能使用的数据集较少,并且传统单幅自然图像的生成式模型(SinGAN)模型生成数据与异物识别模型匹配度不高、质量不佳、耗时过久的问题,提出了改进SinGAN模型。在改进SinGAN模型基础上加入仿射变换单元、大小变换单元进一步增强数据集,加入图像滤波单元提高电力线异物识别模型所需数据质量。并通过改进SinGAN反向传播训练过程和SinGAN的单精度生成器结构提升模型生成质量,减少所用时长。实验结果表明,经50次实验后,改进SinGAN的平均弗雷谢特起始距离(Fréchet inception distance, FID)为91.375,平均训练时长1.21 h。分别比传统SinGAN降低了27.247%和87.31%。改进SinGAN与其他主流生成式对抗网络相比有更好的异物数据生成能力,可以增强电力线异物识别模型所需数据,具有优越性。 展开更多

关键词 电力线巡检 异物识别 数据集增强 生成式对抗网路

在线阅读 下载PDF 职称材料

基于机器视觉的采摘机器人算法研究

5

作者 张亮智 郑凯扬 +3 位作者 叶兆元 史煜 苏湘钿 黎志勇 《南方农机》 2025年第14期17-20,共4页

基于机器视觉的采摘机器人算法研究是一个涉及多领域的综合性课题,主要包括计算机视觉、机器人技术、农业工程等,旨在通过研究和开发先进的图像处理算法,实现机器人对目标果实的准确识别、定位及自动采摘。针对特定果园和丘陵山地环境... 基于机器视觉的采摘机器人算法研究是一个涉及多领域的综合性课题,主要包括计算机视觉、机器人技术、农业工程等,旨在通过研究和开发先进的图像处理算法,实现机器人对目标果实的准确识别、定位及自动采摘。针对特定果园和丘陵山地环境下传统作业受限、机械自主作业困难、劳动力短缺等问题,文章采用深度学习技术,包括卷积神经网络(CNN)和深度强化学习算法,引入多特征融合技术,结合形态学特征、纹理特征、颜色信息等多维特征,构建了全面的控制系统,以提升模型在多光谱图像处理和复杂背景消除方面的性能。研究结果表明,利用先进计算机视觉技术,有效提升了机器人在复杂农业环境下的性能。通过应用深度学习驱动的立体视觉算法和深度相机技术,获取精确的三维坐标信息,实现了高精度的农作物定位。 展开更多

关键词 农业自动化 数据集构建与增强 环境感知技术 机械臂控制策略

在线阅读 下载PDF 职称材料

基于CycleGAN和Pix2Pix的轨面缺陷图像智能生成技术 被引量：3

6

作者 陈嘉欣 孙传猛 +3 位作者 葛耀栋 李欣宇 靳书云 李勇 《铁道学报》 EI CAS CSCD 北大核心 2024年第2期122-130,共9页

为解决基于人工智能的高动态高精度轨道巡检技术的小样本学习难题,提出基于CycleGAN和Pix2Pix生成的对抗网络模型,实现小样本数据集语义特征学习和钢轨轨面缺陷数据的智能生成。其中,Pix2Pix模型生成特定类别的轨面图像;而CycleGAN模型... 为解决基于人工智能的高动态高精度轨道巡检技术的小样本学习难题,提出基于CycleGAN和Pix2Pix生成的对抗网络模型,实现小样本数据集语义特征学习和钢轨轨面缺陷数据的智能生成。其中,Pix2Pix模型生成特定类别的轨面图像;而CycleGAN模型将无缺陷轨面图像转换成有缺陷轨面图像,且缺陷样式不受定式约束。因此,在维持轨面缺陷类别不变而形态各异的基础上,实现了轨面缺陷数据集的大规模增强,解决了小样本数据集存在的数据分布不平衡、数据缺乏多样性以及数据标注难度高等难题。利用VGG19、YOLOv5和UNet进行性能测试,试验表明:生成的轨面缺陷图像增强数据集在图像分类任务中的准确率为81.177%,较原数据集增加了23.138%;在目标检测任务中,准确率为91.90%,增加了26.60%,召回率为87.20%,增加了16.00%,均值平均精度为93.50%,增加了18.30%;在语义分割任务中Dice得分为71.015,较原数据集提高6%。研究结果对解决轨道巡检技术小样本学习难题具有重要应用价值。 展开更多

关键词 轨道巡检 生成对抗网络 数据集增强 小样本学习

在线阅读 下载PDF 职称材料

基于神经网络特征线提取的飞机位姿识别方法研究

7

作者 陈长俊 唐丹 +2 位作者 杨浩 游安清 潘旭东 《强激光与粒子束》 CAS CSCD 北大核心 2024年第6期157-165,共9页

为实现复杂情况下的飞机位姿识别,提出了基于神经网络特征线提取的位姿识别新方法。该方法利用3D模型进行图像渲染,通过添加背景形成数据集,为提高算法鲁棒性进行了数据集增强。特征线提取模型采用卷积神经网络提取目标深度特征,利用热... 为实现复杂情况下的飞机位姿识别,提出了基于神经网络特征线提取的位姿识别新方法。该方法利用3D模型进行图像渲染,通过添加背景形成数据集,为提高算法鲁棒性进行了数据集增强。特征线提取模型采用卷积神经网络提取目标深度特征,利用热力图获取飞机特征线。结合飞机特征线、飞机3D模型以及n线透视方法解算目标位姿。该方法建立的飞机特征线提取模型,在复杂背景下准确率约为91%。叠加了各类噪声后,准确率为84%。飞机位姿通过EPnL算法与非线性优化进行求解。在目标背景复杂的情况下,实验得到的平均预测角度误差约为0.57°,平均预测平移误差约为0.47%。图像叠加各类噪声后,得到的平均预测角度误差约为2.11°,平均预测平移误差约为0.93%。提出的飞机位姿识别方法在复杂背景、各类噪声影响下可以较精准地预测飞机位姿,应用场景更加广泛。 展开更多

关键词 神经网络 特征线提取 位姿识别 数据集增强

在线阅读 下载PDF 职称材料

基于改进EfficientDet算法的可见光遥感舰船目标检测 被引量：4

8

作者 刘浪 刘国栋 刘佳 《现代电子技术》 2022年第22期28-32,共5页

为了有效地解决可见光遥感影像中舰船目标难检测、易错检等问题,文中提出一种基于改进EfficientDet的舰船目标检测算法E-EfficientDet。首先利用K-means++聚类算法对舰船数据集中的目标物体的长宽信息进行聚类分析,得到适合舰船目标的An... 为了有效地解决可见光遥感影像中舰船目标难检测、易错检等问题,文中提出一种基于改进EfficientDet的舰船目标检测算法E-EfficientDet。首先利用K-means++聚类算法对舰船数据集中的目标物体的长宽信息进行聚类分析,得到适合舰船目标的Anchors;然后,针对SENet模块参数量大和降维处理使特征图通道之间的依赖性减小的问题,使用ECANet模块代替EfficientNet网络中SENet模块;其次,为了解决遥感图像中相似目标对船只检测的干扰及小目标难检的问题,采用EfficientNet-B0、EfficientNetV2网络作为E-EfficientDet模型的主干特征提取网络,将获取到的特征送入到改进的BiFPN网络中进行特征融合,获取更加丰富有效的船只目标特征信息;最后,为了扩大图像的响应区域并避免骨干网络对输入图片进行特征提取时出现的信息丢失情况,利用SPPNet网络对特征图进行不同尺度的最大池化。实验结果表明,E-EfficientDet算法对文中数据检测的平均精度(AP)达到90.18%,每张图像的检测时间为0.06 s。另外,将E-EfficientDet算法与Faster RCNN、SSD、YOLOv3算法进行对比,得到所提算法的AP精度均高于其余算法,说明所提算法对实际遥感场景下舰船的检测性能较好。 展开更多

关键词 K-means++ E-EfficientDet 舰船目标检测 ECANet SPPNet 数据集增强 AP

在线阅读 下载PDF 职称材料

基于改进CycleGAN的大跨空间场所火灾合成样本增强方法

9

作者 李晓旭 张曦 +1 位作者 于春雨 李泊宁 《消防科学与技术》 2025年第9期1281-1286,共6页

为了解决大跨空间场所火灾图像样本库不足导致火灾检测准确率低的问题,提出了大跨空间场所火灾合成样本增强方法。该方法基于改进的CycleGAN网络,构建火焰块生成网络和火灾图像生成网络,火焰块生成网络生成火焰块图像,火灾图像生成网络... 为了解决大跨空间场所火灾图像样本库不足导致火灾检测准确率低的问题,提出了大跨空间场所火灾合成样本增强方法。该方法基于改进的CycleGAN网络,构建火焰块生成网络和火灾图像生成网络,火焰块生成网络生成火焰块图像,火灾图像生成网络将火焰块融入工程场景指定区域,生成可用于目标检测模型的火灾样本。结果表明:模型生成的合成样本显著提升目标检测模型性能,mAP@0.5提升25.11%,验证了数据增强方法的有效性。通过生成高质量、多样化的大跨空间火灾图像,有效缓解了火灾样本库不足的问题,为开发应用于特定场景的基于人工智能图像火灾探测算法提供支撑。 展开更多

关键词 生成对抗网络 数据集增强 火灾检测 样本合成

在线阅读 下载PDF 职称材料

典型传统服饰图像的在线识别系统 被引量：2

10

作者 颜丙义 侯金 +3 位作者 黄启煜 杨汉城 田进 杨春勇 《纺织学报》 EI CAS CSCD 北大核心 2023年第5期184-190,共7页

为探索传统服饰文化的智能化保护手段和提高传统服饰文化的传播效率,以加权投票法集成多注意力机制的传统服饰识别算法为核心,构建了一个典型传统服饰图像的在线识别系统。首先,通过书籍扫描和线下拍摄等手段收集传统服饰图像数据,再联... 为探索传统服饰文化的智能化保护手段和提高传统服饰文化的传播效率,以加权投票法集成多注意力机制的传统服饰识别算法为核心,构建了一个典型传统服饰图像的在线识别系统。首先,通过书籍扫描和线下拍摄等手段收集传统服饰图像数据,再联合多背景替换和几何变换混合增强服饰图像数据,完成传统服饰图像数据集的构建。随后,采用迁移学习技术在DenseNet169网络上分别引入了通道注意力、卷积注意力和位置注意力3种机制来构建模型,并对3种模型的识别结果进行加权投票判决,实现对传统服饰图像的高精度识别。在此基础上,通过对未知待测图像进行在线裁剪和自适应等规范化预处理,提高了识别系统的泛化适应性。最后,采用Web和云计算技术实现了系统的在线识别、交互、显示和账号管理等功能集成。测试结果表明,本文实现的传统服饰识别算法在验证集上的识别准确率达到了93.5%,构建的系统能够有效地在线识别15类传统服饰图像,对传统服饰文化的传播和保护具有一定的促进作用。 展开更多

关键词 传统服饰图像 数据集增强 迁移学习 加权投票判决 在线识别系统

在线阅读 下载PDF 职称材料

基于DenseNet的唐卡图像分类 被引量：5

11

作者 曾富亮 胡文瑾 +1 位作者 何国源 薛盼盼 《现代电子技术》 2022年第6期153-157,共5页

针对DenseNet采用ReLU函数在特征传播过程中存在丢失图像的负特征问题,文中提出一种改进的DenseNet方法。首先,为了解决样本数据集少而产生的问题,采用数据增强方法中的图像翻转、旋转和随机裁剪方法来增加数据集;其次,利用Leaky ReLU... 针对DenseNet采用ReLU函数在特征传播过程中存在丢失图像的负特征问题,文中提出一种改进的DenseNet方法。首先,为了解决样本数据集少而产生的问题,采用数据增强方法中的图像翻转、旋转和随机裁剪方法来增加数据集;其次,利用Leaky ReLU函数不会丢失图像负特征的特性来代替ReLU函数,在反向传播时增加传播的负特征,并采用迁移学习的基于微调网络的技术进行训练从而防止过拟合。迁移学习是运用神经网络在大型数据集ImageNet上训练好的参数权重在小数据集上进行网络训练,再把原神经网络的全连接层改为小数据集需要的层。最后对唐卡图像进行分类。实验结果表明:改进的DenseNet取得了较好的性能,比DenseNet性能提高了1.1%;与VGG16、ResNet50和InceptionV3等其他卷积神经网络相比,改进的DenseNet对唐卡图像分类效果良好。 展开更多

关键词 唐卡图像 图像分类 DenseNet 特征提取 数据集增强 网络训练

在线阅读 下载PDF 职称材料

生成对抗网络技术与研究进展 被引量：5

12

作者 梁晨 王利斌 +1 位作者 李卓群 薛源 《信息安全研究》 2022年第3期235-240,共6页

近年来,生成对抗网络(generative adversarial networks, GANs)技术研究成果呈指数级增长,生成对抗网络使用零和博弈论将2个相互竞争的神经网络结合起来,使其能够产生更加清晰、离散的输出.在计算机视觉、医疗、金融等领域的图像和视频... 近年来,生成对抗网络(generative adversarial networks, GANs)技术研究成果呈指数级增长,生成对抗网络使用零和博弈论将2个相互竞争的神经网络结合起来,使其能够产生更加清晰、离散的输出.在计算机视觉、医疗、金融等领域的图像和视频处理及生成、数据集增强、时间序列预测等方面已取得重大进展.主要介绍了生成对抗网络的基本框架、理论以及实现过程,分析了近年来主流研究现状,通过回顾生成对抗网络变体及其应用场景列举了亟待改进的问题.此外,还着重讨论了如何采用生成对抗网络隐私措施与处理敏感数据,以及生成对抗网络技术在相关领域的未来发展趋势. 展开更多

关键词 深度学习 生成对抗网络 数据隐私保护 数据集增强 时间序列预测 差分隐私

在线阅读 下载PDF 职称材料