期刊文献+
共找到545篇文章
< 1 2 28 >
每页显示 20 50 100
基于Transformer模型的时序数据预测方法综述 被引量:7
1
作者 孟祥福 石皓源 《计算机科学与探索》 北大核心 2025年第1期45-64,共20页
时序数据预测(TSF)是指通过分析历史数据的趋势性、季节性等潜在信息,预测未来时间点或时间段的数值和趋势。时序数据由传感器生成,在金融、医疗、能源、交通、气象等众多领域都发挥着重要作用。随着物联网传感器的发展,海量的时序数据... 时序数据预测(TSF)是指通过分析历史数据的趋势性、季节性等潜在信息,预测未来时间点或时间段的数值和趋势。时序数据由传感器生成,在金融、医疗、能源、交通、气象等众多领域都发挥着重要作用。随着物联网传感器的发展,海量的时序数据难以使用传统的机器学习解决,而Transformer在自然语言处理和计算机视觉等领域的诸多任务表现优秀,学者们利用Transformer模型有效捕获长期依赖关系,使得时序数据预测任务取得了飞速发展。综述了基于Transformer模型的时序数据预测方法,按时间梳理了时序数据预测的发展进程,系统介绍了时序数据预处理过程和方法,介绍了常用的时序预测评价指标和数据集。以算法框架为研究内容系统阐述了基于Transformer的各类模型在TSF任务中的应用方法和工作原理。通过实验对比了各个模型的性能、优点和局限性,并对实验结果展开了分析与讨论。结合Transformer模型在时序数据预测任务中现有工作存在的挑战提出了该方向未来发展趋势。 展开更多
关键词 深度学习 时序数据预测 数据预处理 Transformer模型
在线阅读 下载PDF
基于机器学习的煤系地层TBM掘进巷道围岩强度预测 被引量:1
2
作者 丁自伟 高成登 +6 位作者 景博宇 黄兴 刘滨 胡阳 桑昊旻 徐彬 秦立学 《西安科技大学学报》 北大核心 2025年第1期49-60,共12页
为研究全断面掘进机(TBM)掘进参数与煤系地层岩体力学参数之间的互馈关系,准确、实时预测巷道围岩强度特征,基于TBM掘进过程中的现场监测,通过岩-机互馈关系分析,确定模型的输入特征参数,并建立了对应的数据库;将梯度提升决策树(GBDT)... 为研究全断面掘进机(TBM)掘进参数与煤系地层岩体力学参数之间的互馈关系,准确、实时预测巷道围岩强度特征,基于TBM掘进过程中的现场监测,通过岩-机互馈关系分析,确定模型的输入特征参数,并建立了对应的数据库;将梯度提升决策树(GBDT)、随机森林(RF)、支持向量回归(SVR)3种机器学习算法作为基学习器,线性回归(LR)算法作为元学习器,提出了一种基于Stacking集成算法的预测模型,并对比分析了Stacking集成算法与单一机器学习算法模型的预测性能。结果表明:二值判别与箱线图可有效对原始数据进行预处理;模型的主要输入特征参数为刀盘推力F、刀盘扭矩T、贯入度FPI、刀盘转速RPM、刀盘振动加速度A;Stacking模型在测试集上的拟合优度可达0.976,而均方误差、平均绝对误差、平均绝对百分误差分别仅有0.031,0.148和0.092,与其他3种模型相比,其拟合优度最高,误差指标数值最小,集成模型具有更高的预测精度,能够有效地预测煤矿TBM掘进巷道围岩点荷载强度。研究验证了Stacking模型的准确性,可为煤矿TBM掘进参数控制和巷道支护参数调整提供科学的参考依据。 展开更多
关键词 煤矿全断面掘进机 TBM掘进参数 Stacking集成算法 数据预处理 围岩强度预测
在线阅读 下载PDF
基于注意力机制的高光谱图像降维在纸质文物霉斑识别的研究
3
作者 汤斌 贺渝龙 +6 位作者 唐欢 龙邹荣 王建旭 谭博文 覃丹 罗希玲 赵明富 《光谱学与光谱分析》 SCIE EI CAS 北大核心 2025年第1期246-255,共10页
纸质文物作为文物传承的重要工具,用于记录不同时期人类历史及人文风貌,其在保存过程中极易受到霉菌等微生物的侵害。霉菌会加速纤维素的降解,在纸张表面生成霉斑,并且散落的孢子会随空气流动大范围传播,增加其他纸质文物发生霉变的风... 纸质文物作为文物传承的重要工具,用于记录不同时期人类历史及人文风貌,其在保存过程中极易受到霉菌等微生物的侵害。霉菌会加速纤维素的降解,在纸张表面生成霉斑,并且散落的孢子会随空气流动大范围传播,增加其他纸质文物发生霉变的风险。因此,定期对纸质文物进行霉斑检测对了解纸质文物现状和纸质文物修复至关重要。高光谱成像技术是一种非接触性、非破坏性的检测技术,能同时获得空间数据和光谱数据,与计算机技术结合可以实现纸质文物的大批次实时无损检测。针对黑曲霉这一广泛出现的霉菌,提出一种基于注意力机制的高光谱数据降维方法,通过采集其高光谱数据,实现了高光谱冗余数据的自适应预处理。采集了来自重庆中国三峡博物馆提供的20份纸质文物黑曲霉霉斑样本,使用ENVI软件分析得出在413~855 nm波段范围内,黑曲霉霉斑感染区域和健康区域的平均光谱曲线,平均反射率差异明显;在855~1021 nm波段范围内,黑曲霉霉斑感染区域和墨迹区域的平均光谱曲线,平均反射率差异明显。文中将所提出方法与传统主成分分析和独立成分分析预处理方法分别处理原始高光谱数据,并将结果在经典U-Net、SegNet、DeepLabV3+和PSPNet四个语义分割网络上进行了对比。结果表明,该算法预处理的数据在U-Net和SegNet经典网络中有明显优势,相较于主成分分析法和独立成分分析法,霉斑识别精度取得了较大提升达到89.49%和88.46%,验证了本文所提出算法的有效性,为文物保护领域提供有效的支撑和新的思路。 展开更多
关键词 高光谱数据预处理 霉斑识别 纸质文物 注意力机制 图像分割
在线阅读 下载PDF
基于数据预处理和Bi-LSTM的智能电网预测方法
4
作者 李岩 刘鑫月 +3 位作者 乔俊杰 王毛桃 刘一帆 齐磊杰 《电测与仪表》 北大核心 2025年第6期120-125,共6页
短期预测在智能电网建设中扮演着重要角色,深刻影响电网发输变配用各个环节的智能化改造。短期预测一般基于系统实测数据,而传感器故障,数据传输错误等原因会导致数据质量下降,严重影响短期预测的精确性。为建立数据质量受损情况下的精... 短期预测在智能电网建设中扮演着重要角色,深刻影响电网发输变配用各个环节的智能化改造。短期预测一般基于系统实测数据,而传感器故障,数据传输错误等原因会导致数据质量下降,严重影响短期预测的精确性。为建立数据质量受损情况下的精确短期预测模型,提出了结合数据预处理和双向长短期记忆(bi-directional long short-term memory,Bi-LSTM)的短期预测框架Bi-LSTM-DP(bi-directional long short-term memory data preprocessing)。在Bi-LSTM-DP中,采集的数据首先通过均值填补缺失值,进而基于Savitzky-Golay滤波器对数据降噪,最后采用Bi-LSTM提取时间序列的信息,实现短期预测。为了评估所提方法的性能,文中使用实测的公开数据集分别预测风电发电量和负荷需求,与其他参考方法对比表明了所述方法的有效性和鲁棒性。 展开更多
关键词 短期预测 数据预处理 Bi-LSTM 深度学习 时间序列
在线阅读 下载PDF
基于近红外光谱的废旧塑料材质识别研究
5
作者 彭斌彬 张潮 +1 位作者 郭亚坤 吴英琦 《激光杂志》 北大核心 2025年第2期210-217,共8页
针对废旧塑料回收处理量大且种类繁多,难以快速无损分类识别的难题,提出基于近红外光谱技术的塑料材质识别方法。使用红外光谱仪采集了聚对苯二甲酸乙二醇酯(PET)、聚乙烯(PE)、尼龙(PA)、聚碳酸酯(PC)、聚丙烯(PP)、聚苯乙烯(PS)、丙烯... 针对废旧塑料回收处理量大且种类繁多,难以快速无损分类识别的难题,提出基于近红外光谱技术的塑料材质识别方法。使用红外光谱仪采集了聚对苯二甲酸乙二醇酯(PET)、聚乙烯(PE)、尼龙(PA)、聚碳酸酯(PC)、聚丙烯(PP)、聚苯乙烯(PS)、丙烯腈-丁二烯-苯乙烯(ABS)、聚甲醛(POM)八种塑料的近红外光谱数据,采用Savitzky-Golay卷积平滑和标准正态变量变换进行数据预处理,分别运用无监督学习的主成分分析与有监督学习的线性判别分析进行光谱数据降维,将光谱数据维度从334维降至10维和7维,最后结合马氏距离判别建立塑料材质识别模型。实验结果表明:结合S-G平滑和SNV的预处理有效提高了识别准确率;对预处理数据的验证集进行降维后,两种降维方法的识别准确率分别达到了95.24%和100%。这两种方法可为多种废旧塑料材质识别研究提供参考。 展开更多
关键词 近红外光谱 塑料材质识别 数据预处理 主成分分析 线性判别分析 马氏距离
在线阅读 下载PDF
ChatGPT在风湿科中医电子病历症状信息预处理中的应用 被引量:2
6
作者 喻金龙 张磊 +4 位作者 许宁 法立峰 杨扩 韩真真 郭洪涛 《中华中医药学刊》 北大核心 2025年第3期24-29,I0043,共7页
目的 信息抽取是自然语言处理的重要手段,基于ChatGPT的自然语言处理能力,通过ChatGPT对风湿科中医电子病历进行症状信息抽取。方法 通过基于ChatGPT大模型的小样本学习,实现对风湿科电子病历中主诉及现病史、专科检查和舌脉象数据的信... 目的 信息抽取是自然语言处理的重要手段,基于ChatGPT的自然语言处理能力,通过ChatGPT对风湿科中医电子病历进行症状信息抽取。方法 通过基于ChatGPT大模型的小样本学习,实现对风湿科电子病历中主诉及现病史、专科检查和舌脉象数据的信息抽取与规范,同时选择ChatGLM大模型进行与ChatGPT相同的小样本学习,完成相同的信息抽取任务并比较两个大模型抽取结果的正确率。结果 针对医学命名实体识别问题,小样本学习后的ChatGPT在主诉症状抽取任务上的准确率达到了98.7%,在专科检查抽取任务上的准确率达到了92%,在舌脉象抽取与规范任务上的正确率达到了98%。ChatGLM在同样3个任务上的正确率分别为85.7%、91%和98%,从抽取结果上来看,两个大模型在抽取任务中存在不同的缺陷,但从整体上看,ChatGPT表现更为出色。结论 实现了基于ChatGPT小样本学习的中医症状信息预处理,相比传统模型更便捷高效,且与ChatGLM相比整体上表现更优,这为中医临床文本信息抽取研究提供了新的思路。 展开更多
关键词 ChatGPT 中医电子病历 症状 数据预处理 信息抽取
在线阅读 下载PDF
面向深度学习的数据存储技术综述 被引量:1
7
作者 贺巩山 赵传磊 +2 位作者 蒋金虎 张为华 陈左宁 《计算机学报》 北大核心 2025年第5期1013-1064,共52页
随着数据总量和计算能力的不断提升,以深度学习和大模型为代表的人工智能技术获得了迅速的发展,并成功应用于计算机视觉和自然语言处理等领域。然而,随着GPU等加速器运算速度的提高,数据存储已经成为了深度学习训练和推理的主要瓶颈之一... 随着数据总量和计算能力的不断提升,以深度学习和大模型为代表的人工智能技术获得了迅速的发展,并成功应用于计算机视觉和自然语言处理等领域。然而,随着GPU等加速器运算速度的提高,数据存储已经成为了深度学习训练和推理的主要瓶颈之一,主要表现为:(1)数据集的规模快速增长,无法完全缓存在内存中;(2)若无额外处理,数据集主要由小文件组成。在每轮训练中,训练任务会随机读取训练集中的文件;(3)与GPU等加速器相比,存储设备的带宽增长缓慢,二者之间的差距正在不断变大;(4)模型参数和中间数据等模型状态非常大,经常超过GPU等加速器的存储容量,出现了内存墙的问题;(5)为了实现容错,训练任务通常会执行检查点操作,保存最新的模型状态,但这引入了较高的性能开销。因此,面向人工智能(尤其是深度学习)的数据存储技术成为了热门的研究领域,受到了学术界和工业界的广泛关注。本文首先介绍了深度学习的相关背景,包括流程、模型以及分布式训练。其次,本文总结了深度学习的数据特点,包括数据集和模型的规模与类型,以及数据准备(包括数据加载和数据预处理)和模型计算(包括模型训练和模型推理)的数据访问模式。接着,本文分析了深度学习在数据加载、数据预处理以及模型计算阶段的数据存储需求,提出了面向深度学习的数据存储技术研究框架。然后,本文梳理了现有的相关工作,并根据针对的阶段不同将其分为3类:(1)面向数据加载的存储优化技术关注于如何加速数据加载阶段,包括数据集存储格式、数据集存储系统、数据集缓存系统以及数据加载器;(2)面向数据预处理的存储优化技术关注于如何加速数据预处理阶段,包括数据预处理流水线、分离式数据预处理、数据预处理缓存以及近存储数据预处理;(3)面向模型计算的存储优化技术关注于如何加速模型计算阶段,包括模型状态存储技术、模型训练容错技术、模型存储系统以及性能测试与分析工具。最后,本文讨论了现有工作存在的问题,提出了未来可能的研究方向。 展开更多
关键词 深度学习 数据存储技术 数据加载优化 数据预处理优化 模型计算优化
在线阅读 下载PDF
基于一维噪声增强卷积神经网络的轴承剩余使用寿命预测 被引量:1
8
作者 丁伟 陈律 +2 位作者 王骁贤 宋俊材 陆思良 《轴承》 北大核心 2025年第5期71-78,共8页
基于一维卷积神经网络,采用无条件的噪声注入方法提高网络模型的训练速度和预测精度,将得到的一维噪声增强卷积神经网络模型(1DNECNN)用于轴承剩余使用寿命预测,避免了复杂的数据预处理过程,可从原始振动信号中直接分辨出轴承的退化程... 基于一维卷积神经网络,采用无条件的噪声注入方法提高网络模型的训练速度和预测精度,将得到的一维噪声增强卷积神经网络模型(1DNECNN)用于轴承剩余使用寿命预测,避免了复杂的数据预处理过程,可从原始振动信号中直接分辨出轴承的退化程度。在IEEE PHM Challenge 2012轴承数据集上的对比试验表明,与无噪声注入的一维卷积神经网络、二维卷积神经网络和卷积注意力神经网络相比,1DNECNN预测结果的均方误差降低了24%~49%,具有更高的预测精度和更优的拟合性能。 展开更多
关键词 滚动轴承 剩余寿命 预测 神经网络 卷积 数据预处理
在线阅读 下载PDF
Data Matrix二维条形码解码器图像预处理研究 被引量:15
9
作者 邹沿新 杨高波 《计算机工程与应用》 CSCD 北大核心 2009年第34期183-185,188,共4页
DM码是一种常见的二维条形码,图像预处理是DM码解码器自动识别过程中的重要步骤。提出一种实用的DM码识别图像预处理方法。它没有使用传统的边缘检测和直线检测手段,因此受背景噪声、几何失真的影响较小。此外,使用了校正铁路线坐标,并... DM码是一种常见的二维条形码,图像预处理是DM码解码器自动识别过程中的重要步骤。提出一种实用的DM码识别图像预处理方法。它没有使用传统的边缘检测和直线检测手段,因此受背景噪声、几何失真的影响较小。此外,使用了校正铁路线坐标,并按区域取样生成码流,显著提高了DM码的识别速度和识别率。实验结果表明,该算法可以克服DM码识别过程中易受噪声干扰、光照不均和几何失真等影响的问题。 展开更多
关键词 二维条形码 data MATRIX 图像预处理 定位 二值化
在线阅读 下载PDF
基于优化预处理方法的时变重力场反演精度分析
10
作者 蒲伦 游为 +1 位作者 余彪 范东明 《大地测量与地球动力学》 北大核心 2025年第1期72-79,共8页
针对GRACE Level1B观测数据中存在缺失数据及含有粗差的问题,提出补全SCA1B缺失数据的优化方法,同时对KBR1B和运动学轨道数据采用优化策略剔除粗差,用于时变重力场模型反演。此外,还分别基于合成数据和实测数据分析ACC1B数据在Y轴方向... 针对GRACE Level1B观测数据中存在缺失数据及含有粗差的问题,提出补全SCA1B缺失数据的优化方法,同时对KBR1B和运动学轨道数据采用优化策略剔除粗差,用于时变重力场模型反演。此外,还分别基于合成数据和实测数据分析ACC1B数据在Y轴方向的误差对反演结果的影响,并提出优化校正策略。利用优化方法能够有效恢复SCA1B的缺失数据,且充分考虑了观测数据在整个弧段的变化特征。采用优化策略校正后的ACC1B数据计算结果显示,其精度比未校正的数据计算结果提高3.7 mm。从结果可知,由优化方法处理后的数据解算的重力场模型与三大官方机构解算结果相比,总体精度相当,但不同机构的解算结果在局部区域的细节信号表现有差异,表明优化的数据预处理策略有效可行。 展开更多
关键词 GRACE 数据预处理 时变重力场 时间序列分解 精度分析
在线阅读 下载PDF
基于语义感知的变长序列数据预处理框架
11
作者 王晓东 王继维 +3 位作者 钟智昊 杨欢 姚红静 郭阳明 《西北工业大学学报》 北大核心 2025年第2期388-397,共10页
深度学习框架处理变长序列时,通常采用填充(padding)或截断(truncation)的方式,以方便模型批量训练与处理。然而,填充会加剧内存占用,而截断则会使序列丧失原本的语义信息。因此,提出了一种基于语义感知的变长序列预处理框架,该框架利... 深度学习框架处理变长序列时,通常采用填充(padding)或截断(truncation)的方式,以方便模型批量训练与处理。然而,填充会加剧内存占用,而截断则会使序列丧失原本的语义信息。因此,提出了一种基于语义感知的变长序列预处理框架,该框架利用典型的无监督学习方法,压缩多维度数据并减小信息损失。同时,基于最小化信息损失理论,采用信息熵度量语义丰富度,为变长表示分配权重,并通过语义丰富度进行融合。此外,实验表明该框架的信息损失相较传统的截断嵌入有所降低,所提方法在信息获取方面具有显著优势,在多个文本分类数据集上表现良好。 展开更多
关键词 变长序列 数据预处理 填充 截断 语义信息 最大化信息
在线阅读 下载PDF
桥梁结构轻量化健康监测思路与技术研发
12
作者 王腾义 李丹 张建 《土木工程学报》 北大核心 2025年第6期51-68,共18页
桥梁结构健康监测技术已被证明可有效地识别早期结构损伤和潜在隐患,同时在车船撞击预警、涡激振动监测、承载能力和剩余寿命评估等多个应用场景下发挥了积极的作用。然而由于成本高、能耗大以及部署复杂,桥梁健康监测在推广应用的过程... 桥梁结构健康监测技术已被证明可有效地识别早期结构损伤和潜在隐患,同时在车船撞击预警、涡激振动监测、承载能力和剩余寿命评估等多个应用场景下发挥了积极的作用。然而由于成本高、能耗大以及部署复杂,桥梁健康监测在推广应用的过程中仍存在着一定的局限性。针对此,该文提出桥梁结构轻量化健康监测理念,并从软硬件开发、监测方案设计和监测数据分析三个方面介绍了其思路和技术手段。在软硬件开发方面,构建以在线相机、在线雷达等非接触式感知设备为核心的感知采集一体化监测系统,非接触式的感知设备凭借其多点同步、实时在线的优势,在桥梁结构变形监测、桥梁缆索索力监测等多个工程应用中展现出了高精度与高效率;在监测方案设计方面,提出重点针对铰缝损伤、梁体倾覆等各类型桥梁主要病害和风险源的靶向感知方法,通过针对性部署与最优设备选型可减少监测系统内传感器的冗余;在数据分析方面,提出两阶段的监测数据快速处理与分析方法,首先通过异常检测和高精度压缩来提升监测数据质量并降低数据传输能耗,随后融合不同来源的监测数据对结构进行快速准确的分析评估。轻量化的思路与技术不仅可以实现更有效的桥梁健康监测与评估,而且大幅度减少传感器的部署需求,相比于传统桥梁监测方法,展现出低能耗、低成本与高效率的明确优势,为桥梁健康监测技术在国省干线中小跨径桥梁上的广泛应用建立基础。 展开更多
关键词 桥梁健康监测 轻量化 非接触式 感知采集一体化 云边协同 靶向感知 数据预处理
在线阅读 下载PDF
TBM 隧道工程数据预处理软件开发及应用
13
作者 肖浩汉 皮进 +2 位作者 张雯 曹瑞琅 于洪涛 《铁道建筑》 北大核心 2025年第4期99-105,共7页
针对隧道掘进机(Tunnel Boring Machine,TBM)施工数据的海量性、多源性、异构性、低价值密度等问题,通过对多个TBM隧道项目的数据进行深入分析,运用阈值设定、统计分析及机器学习技术,构建了数据集成预处理方法,并研发了一套TBM‑Process... 针对隧道掘进机(Tunnel Boring Machine,TBM)施工数据的海量性、多源性、异构性、低价值密度等问题,通过对多个TBM隧道项目的数据进行深入分析,运用阈值设定、统计分析及机器学习技术,构建了数据集成预处理方法,并研发了一套TBM‑Processing数据预处理软件。该软件可以实现有效数据筛选、异常掘进段落识别、掘进参数降噪等功能。将软件应用于相关工程的塌方风险识别、扭矩贯入指标预测和掘进速度预测,并对处理前后的数据进行了对比。结果表明,较预处理前的数据相比,预处理后的数据离散程度降低,预测模型精确度提升,不良地质条件识别误差减少。研究成果可为不同工程背景下TBM掘进数据预处理提供理论依据。 展开更多
关键词 隧道工程 TBM 数据预处理 软件开发 机器学习 场景预测 数字孪生
在线阅读 下载PDF
基于LSTM神经网络的船舶油耗模型研究
14
作者 李智东 易文欣 +1 位作者 陆丛红 周波 《大连理工大学学报》 北大核心 2025年第4期369-375,共7页
针对船舶节能减排和提高经济效益的需求,建立了准确的船舶油耗模型,为船舶采取各种航行策略优化措施提供了决策基础.基于丹麦籍客滚轮的实测运行数据,经过数据预处理和特征选取,利用LSTM神经网络和多种机器学习算法建立了案例船的油耗模... 针对船舶节能减排和提高经济效益的需求,建立了准确的船舶油耗模型,为船舶采取各种航行策略优化措施提供了决策基础.基于丹麦籍客滚轮的实测运行数据,经过数据预处理和特征选取,利用LSTM神经网络和多种机器学习算法建立了案例船的油耗模型.将各模型对测试集和额外时间序列测试集的预测值与真实值分别进行比较,结果表明LSTM模型对两种测试集的预测误差均低于1.30%,预测精度不会出现较大波动;而其他模型对额外时间序列测试集的预测性能会下降,稳定性和预测精度均不如LSTM模型.考虑到油耗模型的预测性能和实际应用场景,基于LSTM神经网络的油耗模型具有较大的优势,对后续的船舶油耗率预测及航行策略优化都具有重要意义. 展开更多
关键词 油耗率预测 黑箱模型方法 数据预处理 LSTM神经网络
在线阅读 下载PDF
船舶三维数控弯板机iges格式曲面数据预处理系统设计
15
作者 姜昊 惠昕 +3 位作者 杜钢 李锋 李小平 胡勇 《船海工程》 北大核心 2025年第4期39-43,共5页
针对目前船舶三维数控弯板机缺少通用的信息传输工具的问题,提出一套适配船舶三维数控弯板机的数据预处理系统,基于一种更具兼容性的IGES格式作为信息载体,处理不同设计软件提供的外板三维曲面信息以满足船舶三维数控弯板机的实际生产需... 针对目前船舶三维数控弯板机缺少通用的信息传输工具的问题,提出一套适配船舶三维数控弯板机的数据预处理系统,基于一种更具兼容性的IGES格式作为信息载体,处理不同设计软件提供的外板三维曲面信息以满足船舶三维数控弯板机的实际生产需求,计算出弯板机下模各压头的加工高度,开发了基于VisualC++6.0和OpenGL的数据预处理工具,某船船体双曲板应用结果表明,本系统及相应的开发工具设计合理,能够满足实际生产的需求。 展开更多
关键词 弯板机 数据预处理 船体双曲度板 IGES
在线阅读 下载PDF
基于层次标注和自适应预处理的多源农业病害图像数据集构建
16
作者 胡婷 孙晓海 +2 位作者 宋海龙 廖昌义 王福德 《吉林大学学报(理学版)》 北大核心 2025年第3期815-821,共7页
针对农业病害图像数据集存在多样性和图像质量欠佳的问题,提出一种基于层次标注和自适应预处理的多源农业病害图像数据集构建方法.首先,利用智能手机、专业相机和无人机等设备从不同地区、作物种类及生长阶段采集图像,以确保数据的多样... 针对农业病害图像数据集存在多样性和图像质量欠佳的问题,提出一种基于层次标注和自适应预处理的多源农业病害图像数据集构建方法.首先,利用智能手机、专业相机和无人机等设备从不同地区、作物种类及生长阶段采集图像,以确保数据的多样性.其次,构建层次标注体系,涵盖农业病害类型、程度和部位3个层次,使用LabelImg和LabelMe等工具进行标注,并经专家审核.最后,应用自适应预处理方法,包括自动裁剪、归一化、去噪和增强,根据图像特征调整参数以提升质量.实验采用基于ResNet-50架构的卷积神经网络(CNN)模型进行验证,结果表明,层次标注和自适应预处理方法显著提升了数据集的质量和模型性能,模型在准确率、召回率和F1分数上分别达92.5%,91.8%和92.1%,优于其他数据集训练结果. 展开更多
关键词 农业病害图像 数据集构建 层次标注 自适应预处理 多源数据
在线阅读 下载PDF
多光谱激光雷达伪监测数据的纠正技术
17
作者 丁华峰 曹元 《现代雷达》 北大核心 2025年第6期39-45,共7页
由于温度变化、机械振动和电磁干扰等因素造成的耦合干扰,使得多光谱激光雷达(LiDAR)伪监测数据不能真实反映目标物体的实际信息,致使数据失真。为了提高多光谱LiDAR数据的准确性和可靠性,需对多光谱LiDAR伪监测数据进行纠正。首先,使... 由于温度变化、机械振动和电磁干扰等因素造成的耦合干扰,使得多光谱激光雷达(LiDAR)伪监测数据不能真实反映目标物体的实际信息,致使数据失真。为了提高多光谱LiDAR数据的准确性和可靠性,需对多光谱LiDAR伪监测数据进行纠正。首先,使用去均值方式消除多光谱LiDAR测量过程中环境温度引起的偏差问题,并采用五点三次平滑法进一步去除机械振动导致的干扰噪声;然后,通过最小二乘法去除趋势项,解决电磁干扰对数据的影响,实现多光谱LiDAR伪监测数据预处理;最后,在已知基站位置的基础上,采用伪距差分法实现对多光谱LiDAR伪监测数据的纠正。实验结果表明,所提方法获取的多光谱LiDAR测量效果较好,具有较小的位移频率监测误差,可以有效提高测量结果的准确性和可靠性。 展开更多
关键词 多光谱激光雷达 伪监测数据 信号预处理 耦合干扰消除 数据纠正
在线阅读 下载PDF
海洋环境监测数据异常及缺失处理方法研究进展
18
作者 刘岩 钊煜鹏 +2 位作者 刘凤庆 孔祥峰 马然 《应用海洋学学报》 北大核心 2025年第2期388-401,共14页
海洋环境监测是指通过各类海洋环境监测仪器对海水中的叶绿素a、海水表面温度、溶解氧、营养盐(总磷、总氮等)等参数实现长期连续监测,对探究海洋规律、保护生态环境具有重要作用。然而,受到复杂的海洋环境及各类监测仪器的局限性等影响... 海洋环境监测是指通过各类海洋环境监测仪器对海水中的叶绿素a、海水表面温度、溶解氧、营养盐(总磷、总氮等)等参数实现长期连续监测,对探究海洋规律、保护生态环境具有重要作用。然而,受到复杂的海洋环境及各类监测仪器的局限性等影响,原始监测数据,尤其是实时原位采集到的连续监测数据往往存在数据异常、数据缺失等严重影响数据质量的问题。为获取高质量的海洋环境监测数据,对原始监测数据进行预处理是一种必要的手段。本文从产生数据质量问题的原因出发,对数据质量的两个典型问题(数据异常、数据缺失)展开分析,总结了近年来海洋环境监测数据异常及缺失问题的处理方法研究进展,包括数学模型分析方法、统计学分析方法、频域方法和时域方法、机器学习方法等。通过比较各种数据预处理方法的原理、适用性、优势、缺陷等方面,对集成模型的进一步研究、检测时效性的提升、模型对数据的自适应性及现场处理能力等问题提出了建议性的展望。总体来说,传统的预处理方法大多依靠人工主观建模或总结经验规律,实现对异常数据的识别和缺失数据的填补,对于平稳性、规律性较好的数据效果明显,但对数据中的突变、连续异常等情况处理能力较差;新兴的预处理方法通过引入分解方法、机器学习、深度学习等智能算法,不仅能够掌握数据的长期规律特征,而且通过更深层次的学习对小尺度的变化特征充分挖掘,能够识别数据.长期连续异常,并通过数据预测准确识别突变数据,完成对数据缺失部分的填补。然而,智能算法的引入仍然存在许多限制,比如训练数据不足、最优参数获取较为困难、对硬件算力的高需求等。海洋环境监测数据预处理方法将随着芯片科技、智能算法等前沿科技的突破,朝着高精度、低模型复杂度、高终端部署能力等方面发展。 展开更多
关键词 海洋环境监测 数据预处理 异常检测 数据缺失填充
在线阅读 下载PDF
基于数据特征识别的接触网典型设备状态不良预警
19
作者 王同军 柯在田 王婧 《铁道科学与工程学报》 北大核心 2025年第3期1396-1406,共11页
随着高速铁路运营时间持续增加,因接触网设备状态异常导致的弓网故障时有发生,为提前发现设备运行安全隐患,提出基于数据特征识别的典型设备状态不良预警方法。首先,提出接触网设备状态不良预警模型,该模型以“数据准备-特征提取-算法构... 随着高速铁路运营时间持续增加,因接触网设备状态异常导致的弓网故障时有发生,为提前发现设备运行安全隐患,提出基于数据特征识别的典型设备状态不良预警方法。首先,提出接触网设备状态不良预警模型,该模型以“数据准备-特征提取-算法构建-试验验证”为主轴,给出了各典型设备状态不良预警方法构建的主要技术项点和路线;然后,采用卡尔曼滤波、角点特征识别、动态时间规整等方法,给出了接触网检测数据粗差修正算法、定位点识别算法和里程校正算法,为开展预警方法构建提供了良好的数据基础;最后,基于弓网综合检测系统的实测数据,针对接触网运行维护中常见的几何状态、定位器受力状态和弹性状态不良问题,通过多种时序数据分析方法提取了数据特征,构建了训练样本库,并采用离群点诊断、随机森林等算法训练获得了3项典型设备状态不良预警方法。对获得的各项典型设备状态不良预警方法开展试用,发现了接触网支柱倾斜、腕臂套管滑移、定位部件磨损、补偿装置卡滞等多类严重设备状态异常处所,总体准确率93%,表明本文方法能够精准定位典型设备状态异常处所,具备在接触网运维中应用的可行性。通过分析算法发现的设备状态不良处所,验证了本文提取的各项数据特征可分性良好,能够准确反映接触网设备状态变化。 展开更多
关键词 OCS 状态预警 特征建模 机器学习 数据预处理
在线阅读 下载PDF
考虑数据预处理和特征选择的静力触探参数研究
20
作者 汪明元 陈松庭 +1 位作者 陈彪 曾少翔 《浙江工业大学学报》 北大核心 2025年第1期15-21,共7页
确定土性参数对岩土工程的设计与施工具有重要意义,静力触探测试(Cone penetration test, CPT)是主要的原位测试方法,利用该方法可以得到锥尖阻力,从而获得多种海洋土土性参数。以CPT勘察获得的锥尖阻力实测值为研究对象,通过分析土体... 确定土性参数对岩土工程的设计与施工具有重要意义,静力触探测试(Cone penetration test, CPT)是主要的原位测试方法,利用该方法可以得到锥尖阻力,从而获得多种海洋土土性参数。以CPT勘察获得的锥尖阻力实测值为研究对象,通过分析土体空间位置、上覆土压力和孔隙率等特征,利用XGBoost算法构建机器学习模型,同时在建模中考虑数据预处理和特征选择以改善模型预测性能,其中数据预处理方式包括箱型图分析法和噪声平滑处理。提出了一种考虑数据预处理和特征选择的静力触探参数预测模型,实现对锥尖阻力的准确预测,并将该方法运用到浙江沿海某工程项目。研究结果表明:所提模型的预测值与实测值的R^(2)为0.951,预测准确性较高。箱型图分析法与噪声平滑处理能够有效提高预测准确性,在输入集中加入孔隙率能够提升预测准确性。 展开更多
关键词 静力触探测试 锥尖阻力 数据预处理 XGBoost 特征选择 孔隙率
在线阅读 下载PDF
上一页 1 2 28 下一页 到第
使用帮助 返回顶部