期刊文献+
共找到204篇文章
< 1 2 11 >
每页显示 20 50 100
温盐深剖面测量数据预处理原理与方法分析
1
作者 姜德良 尹善明 +2 位作者 朱赛智 邓祥雨 吴易达 《海洋测绘》 北大核心 2025年第2期42-46,共5页
当前温盐深剖面测量仪器发展趋势呈现多样化和国产化特点,但相应的数据预处理研究往往仅针对某一特定仪器,缺少对处理原理、步骤顺序和质控原则的基础性探讨与通用性总结。基于这一现状,利用CTD、XCTD、Glider等多种仪器实测数据,结合... 当前温盐深剖面测量仪器发展趋势呈现多样化和国产化特点,但相应的数据预处理研究往往仅针对某一特定仪器,缺少对处理原理、步骤顺序和质控原则的基础性探讨与通用性总结。基于这一现状,利用CTD、XCTD、Glider等多种仪器实测数据,结合传感器工作原理,系统梳理了温盐深剖面数据预处理的基本步骤和原理方法,并基于实测数据质量控制效果,对数据预处理中各步骤的实际作用及使用原则展开分析,阐明了各步骤间的相互影响和注意事项,形成合理的处理流程建议,旨在为海洋调查和数据标准化工作提供有益参考。 展开更多
关键词 海洋调查 温盐深剖面测量 数据预处理 传感器技术 方法比较
在线阅读 下载PDF
基于数据预处理的小样本开关磁阻电机智能方法建模
2
作者 赵燕 朱景伟 任萍 《电机与控制学报》 北大核心 2025年第2期85-95,共11页
针对开关磁阻电机磁路非线性导致本体模型建立困难的问题,提出一种快速、准确且不需要转子夹紧装置和位置传感器的开关磁阻电机智能建模方法。首先,利用转矩平衡法得到4个平衡位置的磁链数据。其次,加入预处理函数对数据进行预处理,降... 针对开关磁阻电机磁路非线性导致本体模型建立困难的问题,提出一种快速、准确且不需要转子夹紧装置和位置传感器的开关磁阻电机智能建模方法。首先,利用转矩平衡法得到4个平衡位置的磁链数据。其次,加入预处理函数对数据进行预处理,降低整体建模难度;对数据进行近似线性化处理,大幅降低小角度下的建模难度。然后,将预处理过的数据作训练集,利用金枪鱼群算法优化的最小二乘支持向量机得到精确的磁链模型。最后,利用此模型和遗传算法优化的反向传播神经网络建立准确的电机本体模型。不同工作模式下的硬件实验结果验证了所提建模方法的有效性。 展开更多
关键词 开关磁阻电机 非线性建模 数据预处理 小样本 最小二乘支持向量机 金枪鱼群优化算法
在线阅读 下载PDF
农田水利工程施工管理中的数据技术优化路径
3
作者 付允 付婧益 《农业工程技术》 2025年第20期52-53,共2页
该文针对农田水利工程施工管理中的数据分析技术优化问题,提出了一套完整的解决方案。通过构建多源数据治理体系和智能算法模型,开发了基于“云-边-端”架构的智能决策系统,实现了进度预测、质量控制和风险预警等功能。应用结果表明,该... 该文针对农田水利工程施工管理中的数据分析技术优化问题,提出了一套完整的解决方案。通过构建多源数据治理体系和智能算法模型,开发了基于“云-边-端”架构的智能决策系统,实现了进度预测、质量控制和风险预警等功能。应用结果表明,该技术体系有效提升了施工管理的精细化水平和决策效率,为农田水利工程数字化转型提供了重要技术支撑。 展开更多
关键词 数据分析技术 农田水利工程 施工管理优化
在线阅读 下载PDF
面向深度学习的数据存储技术综述 被引量:1
4
作者 贺巩山 赵传磊 +2 位作者 蒋金虎 张为华 陈左宁 《计算机学报》 北大核心 2025年第5期1013-1064,共52页
随着数据总量和计算能力的不断提升,以深度学习和大模型为代表的人工智能技术获得了迅速的发展,并成功应用于计算机视觉和自然语言处理等领域。然而,随着GPU等加速器运算速度的提高,数据存储已经成为了深度学习训练和推理的主要瓶颈之一... 随着数据总量和计算能力的不断提升,以深度学习和大模型为代表的人工智能技术获得了迅速的发展,并成功应用于计算机视觉和自然语言处理等领域。然而,随着GPU等加速器运算速度的提高,数据存储已经成为了深度学习训练和推理的主要瓶颈之一,主要表现为:(1)数据集的规模快速增长,无法完全缓存在内存中;(2)若无额外处理,数据集主要由小文件组成。在每轮训练中,训练任务会随机读取训练集中的文件;(3)与GPU等加速器相比,存储设备的带宽增长缓慢,二者之间的差距正在不断变大;(4)模型参数和中间数据等模型状态非常大,经常超过GPU等加速器的存储容量,出现了内存墙的问题;(5)为了实现容错,训练任务通常会执行检查点操作,保存最新的模型状态,但这引入了较高的性能开销。因此,面向人工智能(尤其是深度学习)的数据存储技术成为了热门的研究领域,受到了学术界和工业界的广泛关注。本文首先介绍了深度学习的相关背景,包括流程、模型以及分布式训练。其次,本文总结了深度学习的数据特点,包括数据集和模型的规模与类型,以及数据准备(包括数据加载和数据预处理)和模型计算(包括模型训练和模型推理)的数据访问模式。接着,本文分析了深度学习在数据加载、数据预处理以及模型计算阶段的数据存储需求,提出了面向深度学习的数据存储技术研究框架。然后,本文梳理了现有的相关工作,并根据针对的阶段不同将其分为3类:(1)面向数据加载的存储优化技术关注于如何加速数据加载阶段,包括数据集存储格式、数据集存储系统、数据集缓存系统以及数据加载器;(2)面向数据预处理的存储优化技术关注于如何加速数据预处理阶段,包括数据预处理流水线、分离式数据预处理、数据预处理缓存以及近存储数据预处理;(3)面向模型计算的存储优化技术关注于如何加速模型计算阶段,包括模型状态存储技术、模型训练容错技术、模型存储系统以及性能测试与分析工具。最后,本文讨论了现有工作存在的问题,提出了未来可能的研究方向。 展开更多
关键词 深度学习 数据存储技术 数据加载优化 数据预处理优化 模型计算优化
在线阅读 下载PDF
数据挖掘中的数据预处理与维度优化 被引量:4
5
作者 李喆 王仁超 褚春超 《东北林业大学学报》 CAS CSCD 北大核心 2003年第3期70-72,共3页
介绍了数据挖掘的研究发展现状 ,以及数据预处理与维度问题在数据挖掘过程中的重要性 ,并对数据的预处理和维度优化方面提出了一些问题及其解决方法。最后提出了在数据挖掘过程中所面临的挑战。
关键词 数据挖掘 数据预处理 维度优化 数据库系统
在线阅读 下载PDF
多传感器数据融合中的数据预处理技术 被引量:9
6
作者 林华 《海军工程大学学报》 CAS 2002年第3期33-35,共3页
数据预处理是进行多传感器数据融合的基础 ,对数据的空间统一和时间统一的研究方法及流程进行了阐述 ,介绍了基于该方法的技术在实际应用中取得的效果 .
关键词 多传感器 数据融合 数据预处理技术
在线阅读 下载PDF
三维激光扫描技术下杂散光大数据预处理系统设计 被引量:3
7
作者 李春光 黄成强 林朝晖 《激光杂志》 CAS 北大核心 2021年第2期170-175,共6页
杂散光的产生会降低图像对比度与信噪比,影响扫描测量结果准确性,基于此,提出三维激光扫描技术下杂散光大数据预处理系统。通过三维激光扫描系统原理与工作流程,分析杂散光点源透射比、双向散射分布函数与基本传输方程,建立6种杂散光传... 杂散光的产生会降低图像对比度与信噪比,影响扫描测量结果准确性,基于此,提出三维激光扫描技术下杂散光大数据预处理系统。通过三维激光扫描系统原理与工作流程,分析杂散光点源透射比、双向散射分布函数与基本传输方程,建立6种杂散光传输路径模式;利用小数定标规范方法对三维激光数据做规范化处理,确定神经网络模型,将最速下降BP算法作为学习方式对神经网络训练;将神经网络引入到系统设计中,将系统结构从整体上分为格式转换子系统与预处理算法实现环境子系统,完成杂散光大数据预处理系统设计。仿真结果表明,杂散光大数据经过预处理后可以有效抑制杂散光对激光扫描的影响,成像信噪比一直保持在200左中右,测量精准度达到98%。 展开更多
关键词 三维激光扫描技术 杂散光 数据预处理 系统设计 BP神经网络
在线阅读 下载PDF
多处理器系统中的数据局部性及其优化技术研究 被引量:1
8
作者 杨学军 戴华东 夏军 《中国工程科学》 2002年第5期44-52,共9页
数据局部性是多处理器系统中的重要研究方向之一。结合该领域目前国内外研究现状和我们近一阶段的研究进展 ,讨论了多处理器系统中的数据局部性及其优化问题。针对现有局部性度量模型存在的不足 ,提出了一种增强的可用于层次式并行计算... 数据局部性是多处理器系统中的重要研究方向之一。结合该领域目前国内外研究现状和我们近一阶段的研究进展 ,讨论了多处理器系统中的数据局部性及其优化问题。针对现有局部性度量模型存在的不足 ,提出了一种增强的可用于层次式并行计算机体系结构的局部性度量模型。在静态和动态局部性优化技术方面 ,分别探讨了基于投影分层的数据变换框架和基于瞬时访问信息的动态页迁移策略 ,并展开了系列相关的讨论。另外 ,针对利用数据局部性时必须解决的一个关键问题———存储一致性问题 ,进行了深入的研究 ,提出了以操作系统为中心的线程存储一致性模型。 展开更多
关键词 计算机 处理器系统 数据局部性 存储系统 优化技术 局部性度量模型 数据变换框架
在线阅读 下载PDF
基于大数据分析的电力营销稽查业务优化与效能提升研究 被引量:2
9
作者 崔全党 李洪艳 《农村电工》 2025年第2期13-14,共2页
随着电力行业的快速发展和市场竞争的加剧,电力营销稽查业务的优化和效能提升成为一个重要课题。传统营销稽查业务往往难以满足监管和风控的需求,无法及时发现违规行为和风险点。大数据技术的兴起为电力营销稽查提供了新的思路和方法,... 随着电力行业的快速发展和市场竞争的加剧,电力营销稽查业务的优化和效能提升成为一个重要课题。传统营销稽查业务往往难以满足监管和风控的需求,无法及时发现违规行为和风险点。大数据技术的兴起为电力营销稽查提供了新的思路和方法,基于大数据分析能够有效提高稽查效能,实现精确的风险识别和违规监管。 展开更多
关键词 电力营销稽查 业务优化 数据分析 风险识别 数据技术 效能提升 市场竞争 违规行为
在线阅读 下载PDF
基于近红外光谱技术与优化光谱预处理的陈皮产地鉴别研究 被引量:45
10
作者 余梅 李尚科 +4 位作者 杨菲 郑郁 李跑 蒋立文 刘霞 《分析测试学报》 CAS CSCD 北大核心 2021年第1期65-71,共7页
采集不同产地陈皮内侧和外侧的近红外光谱,采用不同光谱预处理方法进行预处理,筛选得到最佳光谱预处理方法,结合主成分分析法建立了陈皮产地的鉴别模型。实验发现,陈皮原始光谱中存在明显的基线漂移与背景干扰。使用单一光谱预处理可在... 采集不同产地陈皮内侧和外侧的近红外光谱,采用不同光谱预处理方法进行预处理,筛选得到最佳光谱预处理方法,结合主成分分析法建立了陈皮产地的鉴别模型。实验发现,陈皮原始光谱中存在明显的基线漂移与背景干扰。使用单一光谱预处理可在一定程度上消除干扰的影响。经标准正态变量变换、多元散射校正、一阶导数、二阶导数与连续小波变换预处理后,陈皮内侧光谱数据可获得最优的鉴别结果,鉴别准确率为91.67%;通过最大最小归一化预处理后,陈皮外侧光谱数据可获得最优鉴别结果,鉴别准确率为70.83%;在2种预处理组合的鉴别结果中,有9个组合方式结合陈皮外侧光谱数据实现了对陈皮产地的100%鉴别分析,对于陈皮内侧光谱数据的最佳预处理组合为去趋势校正+最大最小归一化,鉴别准确率为95.83%;而3个预处理组合的鉴别准确率较2个预处理的结果低,表明采用预处理种类过多时可能会扣除有用信息。结果表明:近红外光谱技术结合光谱预处理可以实现不同产地陈皮的无损鉴别分析,其中陈皮外侧光谱数据结合优化光谱预处理方法可实现陈皮产地的100%鉴别分析。 展开更多
关键词 陈皮 近红外光谱技术 优化光谱预处理 主成分分析
在线阅读 下载PDF
基于农业大数据技术优化农产品生产服务 被引量:1
11
作者 李瑞军 《河北农机》 2024年第12期88-90,共3页
在农业生产工作进行时,合理应用大数据技术,能够较好地将各种设备、平台同农业生产联系到一起,构建起智能化体系,对农业生产的各个环节、阶段进行全面监管,最终实现提高农产品质量与效益的目标。农业生产包括的环节较多,管理难度不断加... 在农业生产工作进行时,合理应用大数据技术,能够较好地将各种设备、平台同农业生产联系到一起,构建起智能化体系,对农业生产的各个环节、阶段进行全面监管,最终实现提高农产品质量与效益的目标。农业生产包括的环节较多,管理难度不断加大,科学合理地利用农业大数据技术,对各个农业生产、经营环节进行科学引领,给予一定的支持,推动农业生产各流程高效展开。新时期,大数据技术对农业生产起到了积极的促进作用,不仅降低了生产成本,同时优化农产品生产服务,在提高产量与品质方面有重要意义。基于此,本文从农业大数据技术的应用出发,对优化农产品服务进行了分析,旨在通过探究,为相关工作的展开提供一定参考,并助推农业农村现代化水平的提高。 展开更多
关键词 农业大数据技术 优化 农产品 生产服务
在线阅读 下载PDF
ArcSDE多图素图层快速渲染数据优化技术
12
作者 邵小东 李强 《地理与地理信息科学》 CSCD 北大核心 2009年第6期22-25,共4页
针对ArcSDE多图素图层刷新渲染速度较慢现状,提出了图层数据的预处理与优化技术,涉及的关键环节包括:合并要素类、预生成注记图层、图层抽稀和预统一图层坐标投影等策略,并在各种比例尺下对优化策略与系统响应时间之间关系进行了测试与... 针对ArcSDE多图素图层刷新渲染速度较慢现状,提出了图层数据的预处理与优化技术,涉及的关键环节包括:合并要素类、预生成注记图层、图层抽稀和预统一图层坐标投影等策略,并在各种比例尺下对优化策略与系统响应时间之间关系进行了测试与验证。最后结合某飞行体监控系统项目开发实践,证明了该技术在加快ArcSDE多图素图层刷新渲染速度上具有一定的可行性和实用性。 展开更多
关键词 ArcSDE多图素图层 数据预处理与优化技术 快速渲染 实时处理
在线阅读 下载PDF
基于大数据处理技术的深度学习算法的图像处理优化技术研究——评《计算机图像处理入门与提高》 被引量:5
13
作者 朱利华 《现代雷达》 CSCD 北大核心 2021年第1期I0015-I0015,共1页
随着网络信息技术的快速发展,人们对于网络的依赖持续提升,在网络中获取自身所需,为大众的生活以及工作带来了极大的便利。大众在进行网络检索的同时,也留存下大量的信息在网络之中,为大数据技术的形成以及发展提供了养分。现如今,依托... 随着网络信息技术的快速发展,人们对于网络的依赖持续提升,在网络中获取自身所需,为大众的生活以及工作带来了极大的便利。大众在进行网络检索的同时,也留存下大量的信息在网络之中,为大数据技术的形成以及发展提供了养分。现如今,依托网络大数据处理技术,能够快速获取大量数据信息,同时大数据技术通过自身分析功能,能够准确地满足大众信息搜索的需求。 展开更多
关键词 计算机图像处理 数据技术 网络检索 深度学习算法 网络信息技术 优化技术 大众信息 数据处理技术
在线阅读 下载PDF
基于大数据处理技术的电力通信网检修工作分析方法 被引量:10
14
作者 杨志敏 吴斌 舒然 《电信科学》 北大核心 2015年第11期162-169,共8页
分析了电力通信网设备检修、告警及台账数据的特点,并采用属性规约和聚类完成对数据的预处理工作。提出了设备检修工作分析所需的相关指标及影响冈素,并结合MapReduce技术和Apriori算法提出了数据挖掘方法。运用该方法对实际的网络数据... 分析了电力通信网设备检修、告警及台账数据的特点,并采用属性规约和聚类完成对数据的预处理工作。提出了设备检修工作分析所需的相关指标及影响冈素,并结合MapReduce技术和Apriori算法提出了数据挖掘方法。运用该方法对实际的网络数据进行了挖掘,并根据挖掘结果,从检修工作分布情况、检修对业务的影响、检修耗时等角度分析通信网的检修工作情况。 展开更多
关键词 电力通信网 数据技术 检修 数据预处理 数据挖掘
在线阅读 下载PDF
数据预处理模型及其应用 被引量:7
15
作者 赵博 徐卫亚 +1 位作者 赵亚琼 梁桂兰 《水电能源科学》 北大核心 2012年第5期80-82,共3页
鉴于监测数据的准确度对反映监测体的性质非常重要,但因受到各种因素的干扰,不可避免地存在粗差或异常值,因此必须对监测数据进行误差处理与分析。进而采用改进的未确知滤波法探测定位粗差,同时引入粒子群算法对改进的未确知滤波法中的... 鉴于监测数据的准确度对反映监测体的性质非常重要,但因受到各种因素的干扰,不可避免地存在粗差或异常值,因此必须对监测数据进行误差处理与分析。进而采用改进的未确知滤波法探测定位粗差,同时引入粒子群算法对改进的未确知滤波法中的参数进行搜索优化,建立了数据预处理模型,将该模型应用于锦屏一级水电站左岸边坡的位移观测值检测中,并与传统的莱因达准则的探测结果进行了对比分析。结果表明,数据预处理模型探测精度较传统方法有明显提高,结果更加科学可靠。 展开更多
关键词 数据预处理 改进的未确知滤波法 粒子群优化算法 数据预处理模型
在线阅读 下载PDF
数据预处理在电力远程智能监测系统的应用 被引量:12
16
作者 吴蓉晖 荣宏 《高电压技术》 EI CAS CSCD 北大核心 2005年第7期58-60,共3页
介绍电力远程智能监测系统的基本组成及工作原理后提出了基于数据仓库ETL技术的电力数据预处理技术并以疏失误差剔除的过程为例描述了ETL过程。与传统方法比较,应用数据预处理和数据挖掘技术的智能监测系统操作方便,结果正确,使用性强。
关键词 智能监测系统 电力 应用 远程 数据预处理技术 数据挖掘技术 疏失误差 数据仓库 工作原理 基本组成 方法比较 操作方便 ETL 使用性
在线阅读 下载PDF
数据挖掘技术在火电厂优化运行中的应用 被引量:37
17
作者 李建强 牛成林 刘吉臻 《动力工程》 EI CSCD 北大核心 2006年第6期830-835,共6页
火电机组运行优化目标值的合理确定是实施机组性能诊断和优化运行的前提和基础,是电站运行优化的关键。采用传统方法确定的优化目标值往往不能正确反映机组的实际运行状态。充分利用火电厂生产运行的大量历史数据,提出了数据挖掘的火电... 火电机组运行优化目标值的合理确定是实施机组性能诊断和优化运行的前提和基础,是电站运行优化的关键。采用传统方法确定的优化目标值往往不能正确反映机组的实际运行状态。充分利用火电厂生产运行的大量历史数据,提出了数据挖掘的火电机组运行优化方法,将模糊关联规则应用于火电厂运行优化目标值的确定。以某300 MW机组历史数据为基础,运用这一方法得到各典型工况下的最优值以指导实际运行。试验结果表明,基于数据挖掘的火电厂运行优化目标值确定方法可以提高机组运行效率,降低污染物排放。 展开更多
关键词 自动控制技术 数据挖掘 模糊关联规则 运行优化目标值 性能监测 节能
在线阅读 下载PDF
“数据与模型融合的智能调度优化”专刊前言
18
作者 王凌 高亮 王锐 《控制理论与应用》 EI CAS CSCD 北大核心 2024年第6期957-958,共2页
调度优化问题广泛存在于国防、制造、能源、交通、农业、物流等诸多领域,普遍呈现出非线性、强约束、多目标、不确定、动态等特征,甚至涉及离散与连续变量的联合优化,性能指标的评价很费时.纯粹模型驱动的优化方法受制于建模难、评模难... 调度优化问题广泛存在于国防、制造、能源、交通、农业、物流等诸多领域,普遍呈现出非线性、强约束、多目标、不确定、动态等特征,甚至涉及离散与连续变量的联合优化,性能指标的评价很费时.纯粹模型驱动的优化方法受制于建模难、评模难、解模难.传统群体智能优化,则大多遵循种群初始化、交叉变异、个体选择等基本步骤,此类数据驱动的优化方法存在问题特征结合弱、收敛速度慢等缺陷.随着云计算、大数据等信息技术的飞速发展,新一代人工智能注重数据、知识、算力和算法的深度融合,这为智能优化的创新和发展指明了方向.开展数据与模型融合的优化理论分析、算法设计,有助于全面提升算法性能,是新一代智能调度优化发展的重要方向.因此,面向复杂调度优化问题的高效、高质、鲁棒的智能优化理论与方法研究,已成为数学、自动化、计算机、人工智能、工业工程、管理等领域的热点前沿方向.本专刊聚焦数据与模型融合的智能调度优化的最新理论、方法及工程应用,展示智能调度优化的最新研究成果,促进学术创新、学科融合、应用推广,助力“人工智能+”在经济、国防和社会等领域的高质量发展. 展开更多
关键词 模型融合 智能优化 人工智能 种群初始化 信息技术 智能调度 云计算 数据驱动
在线阅读 下载PDF
大数据时代档案信息资源共享平台数据处理的优化 被引量:16
19
作者 金秀凤 《档案管理》 北大核心 2018年第6期29-32,共4页
随着大数据时代档案信息资源的不断增加以及用户的不断积累,对于档案信息资源共享平台的数据处理提出了新的要求,即平台需要满足高并发数据请求服务,同时提供的档案信息资源共享平台服务能够稳定运行。文章在介绍档案信息资源共享平台... 随着大数据时代档案信息资源的不断增加以及用户的不断积累,对于档案信息资源共享平台的数据处理提出了新的要求,即平台需要满足高并发数据请求服务,同时提供的档案信息资源共享平台服务能够稳定运行。文章在介绍档案信息资源共享平台数据处理性能需求的基础上,比较目前常用的前后端解决档案信息资源共享平台数据处理性能优化的办法,提出采用Redis缓存技术解决档案信息资源共享平台数据处理,详细地论证了档案信息资源共享平台数据处理优化的实现及效果分析。 展开更多
关键词 数据 档案信息资源 共享平台 数据处理优化 Redis缓存技术
在线阅读 下载PDF
数据流Eager传输:一种分布式流体系结构中的性能优化技术 被引量:2
20
作者 李鑫 郭晓威 林宇斐 《计算机工程与科学》 CSCD 北大核心 2015年第11期2035-2044,共10页
分布式流体系结构扩展了分布式环境下的流计算模型,可在互联网上为大数据计算应用提供高效低成本的运行环境。互联网中较长的通信开销制约了计算性能。提出了一种数据流Eager传输的性能优化技术,以挖掘计算与通信之间的并行性,隐藏通信... 分布式流体系结构扩展了分布式环境下的流计算模型,可在互联网上为大数据计算应用提供高效低成本的运行环境。互联网中较长的通信开销制约了计算性能。提出了一种数据流Eager传输的性能优化技术,以挖掘计算与通信之间的并行性,隐藏通信延迟。在分布式流体系结构原型系统中实现了该技术。实验结果表明,应用程序采用该优化技术之后的平均时间开销减少了19.58%,表明该优化技术能够显著提高应用的性能,具有良好的应用前景。 展开更多
关键词 分布式流体系结构 性能优化 数据流Eager传输技术
在线阅读 下载PDF
上一页 1 2 11 下一页 到第
使用帮助 返回顶部