基于“湖仓一体”技术的城轨大数据平台设计与升级改造实践 被引量：2

1

作者 吴雁军 光志瑞 +1 位作者 李明华 陈建华 《都市快轨交通》 北大核心 2024年第1期54-62,共9页

为了探寻城市轨道交通行业大数据平台建设与升级改造的最优方案,本文以城轨大数据平台为研究对象,从城轨大数据平台发展历程出发,梳理城轨大数据平台发展的3个阶段,分析各阶段大数据平台所采用的技术与优缺点,重点总结当前阶段“湖仓一... 为了探寻城市轨道交通行业大数据平台建设与升级改造的最优方案,本文以城轨大数据平台为研究对象,从城轨大数据平台发展历程出发,梳理城轨大数据平台发展的3个阶段,分析各阶段大数据平台所采用的技术与优缺点,重点总结当前阶段“湖仓一体”大数据技术所具备的湖仓一体、流批一体、OLTP+OLAP、多重负载等优点,研究了基于该技术的大数据平台架构升级改造设计要点,并将该技术在北京地铁数据中心的大数据平台升级改造中进行应用验证。结果表明:“湖仓一体”大数据平台技术兼具数据湖的低成本、数据仓库的高性能等优点,解决了原大数据平台在性能、容量与多用途支持上的不足,为城轨行业大数据平台建设与升级改造提供了新的解决思路。 展开更多

关键词 城市轨道交通 大数据平台 升级改造 湖仓一体 流批一体 数据仓库 数据湖

在线阅读 下载PDF 职称材料

基于有状态实时流的流批一体数据处理平台的设计与研究 被引量：1

2

作者 周维 曹扬 +1 位作者 谢红韬 胡建 《现代信息科技》 2024年第6期29-34,共6页

当今,数据的规模和复杂性不断增加,对数据处理平台的要求也越来越高。传统的批处理和实时处理技术各有优缺点,很难满足大规模数据处理的需求。因此,流批一体化的数据处理平台应运而生。文章在讨论流批一体核心架构设计的基础上,提出一... 当今,数据的规模和复杂性不断增加,对数据处理平台的要求也越来越高。传统的批处理和实时处理技术各有优缺点,很难满足大规模数据处理的需求。因此,流批一体化的数据处理平台应运而生。文章在讨论流批一体核心架构设计的基础上,提出一种基于有状态实时流的流批一体数据处理方法,并通过平台化的方式实现流批一体数据的处理与计算。该平台先后在四川高速集团、贵阳政府单位示范应用,应用结果表明平台不仅统一了批处理和流处理框架,而且具有高效、可靠、可扩展等优点,同时能够满足大规模数据处理的需求。该平台的实现对于提高数据处理效率和准确性具有重要意义。 展开更多

关键词 批处理 有状态实时流 平台化 流批一体

在线阅读 下载PDF 职称材料

间歇过程热回收目标的研究 被引量：7

3

作者 张早校 冯霄 郁永章 《西安交通大学学报》 EI CAS CSCD 北大核心 2000年第8期79-82,共4页

提出了一种用于间歇过程设计且改进的时间温度级联新方法 ,用于间歇过程的热集成及用能诊断 .在分析了用于间歇过程热集成的一些主要方法特点的基础上 ,提出了用启发法确定中间热贮存的次数和吸收、释放时机 ,并用时间温度级联法确定间... 提出了一种用于间歇过程设计且改进的时间温度级联新方法 ,用于间歇过程的热集成及用能诊断 .在分析了用于间歇过程热集成的一些主要方法特点的基础上 ,提出了用启发法确定中间热贮存的次数和吸收、释放时机 ,并用时间温度级联法确定间歇过程热集成目标的基本思想 .研究表明 ,该方法所获得的热回收目标不仅符合工程实际情况 ,而且也便于操作 . 展开更多

关键词 间歇过程 时间温度级联 热贮存 用能诊断 热回收

在线阅读 下载PDF 职称材料

大数据融合、分析与价值 被引量：6

4

作者 吴睿智 马致远 +2 位作者 罗光春 刘贵松 秦科 《信息通信技术》 2016年第6期68-74,共7页

目前我们已经进入了大数据时代,"数据就是决策,数据就是生产力"这一观念已经深入人心。在大数据时代,如何快速有效地对大规模存量数据和实时产生的增量数据进行分析是摆在我们面前的一道难题。文章着眼于大数据分析的共性特点... 目前我们已经进入了大数据时代,"数据就是决策,数据就是生产力"这一观念已经深入人心。在大数据时代,如何快速有效地对大规模存量数据和实时产生的增量数据进行分析是摆在我们面前的一道难题。文章着眼于大数据分析的共性特点,结合具体的软件平台和应用案例,阐述了大数据挖掘的方法以及应用价值。 展开更多

关键词 大数据 数据融合 批处理 流处理 数据分析

在线阅读 下载PDF 职称材料

小卫星星座批产研制模式设计与实践 被引量：1

5

作者 阎梅芝 张永强 +6 位作者 赵志明 魏建光 韩毅 常新亚 于兆吉 果琳丽 冯振伟 《航天器环境工程》 CSCD 北大核心 2023年第6期702-708,共7页

为适应低轨小卫星星座体系化应用需求,设计、实践出一套面向批产的小卫星研制模式。某批产小卫星星座通过整星仅一次合板即最终状态,产品交付即落焊,裁剪、简化环境试验,投产管路模板实现卫星结构装配与管路焊装并行实施,发射场带翼运输... 为适应低轨小卫星星座体系化应用需求,设计、实践出一套面向批产的小卫星研制模式。某批产小卫星星座通过整星仅一次合板即最终状态,产品交付即落焊,裁剪、简化环境试验,投产管路模板实现卫星结构装配与管路焊装并行实施,发射场带翼运输,全无线测试等批产创新策略,构建了小卫星批产体系,实现了年出厂20颗以上500 kg级小卫星的能力,为建设高密度小卫星星座奠定了基础。批产策略与方法均经实际验证,与传统小卫星研制相比,将批产星总装、集成与测试(AIT)周期由1年以上缩减为3个月以内,将发射场工作周期由35~50天缩减为20天,实现了快速研制、快速发射与快速在轨应用,有效促进了低轨小卫星星座高效规模化部署。 展开更多

关键词 小卫星星座 批产 研制模式 总装、集成与测试 流程优化

在线阅读 下载PDF 职称材料

一种鲁棒GPS/INS组合导航滤波算法设计 被引量：9

6

作者 王伟 丛宁 邬佳 《哈尔滨工程大学学报》 EI CAS CSCD 北大核心 2021年第2期240-245,共6页

针对卡尔曼及其扩展算法在滤波中噪声矩阵与实际偏差过大时出现滤波发散的情况,本文提出利用无偏有限冲击响应滤波器(UFIR)实现该背景下的状态估计。但将UFIR滤波器应用于GPS/INS组合系统存在2个问题:1)在线估计最佳滤波窗长的方法还有... 针对卡尔曼及其扩展算法在滤波中噪声矩阵与实际偏差过大时出现滤波发散的情况,本文提出利用无偏有限冲击响应滤波器(UFIR)实现该背景下的状态估计。但将UFIR滤波器应用于GPS/INS组合系统存在2个问题:1)在线估计最佳滤波窗长的方法还有待改善;2)导航精度较低。本文设计了一种级联式滤波算法,主滤波器对UFIR滤波算法进行改进,设计在线估计窗口大小方法的同时,改进了现有的UFIR算法;从滤波器引入GPS的航向信息,设计一种自适应卡尔曼滤波以提高导航精度。通过仿真和实测对所提滤波算法进行了验证,实验结果表明该算法可以有效提高导航精度和系统的鲁棒性。 展开更多

关键词 组合导航 卡尔曼滤波器 无偏有限冲击响应滤波器 窗口滤波 级联滤波器 噪声统计特性 自适应滤波 批处理过程

在线阅读 下载PDF 职称材料

改善MTD雷达方位测角精度的方法 被引量：5

7

作者 刘延东 杨广平 《现代雷达》 CSCD 1994年第5期19-26,共8页

对ＭＴＤ雷达的几种测角方法进行了综述和比较，结果表明，利用相于积累的幅度信息可以改善ＭＴＤ雷达的方位测角精度。

关键词 测角精度 滑窗积累 批处理.

在线阅读 下载PDF 职称材料

大数据处理技术在风电机组状态监测中的应用 被引量：12

8

作者 梁涛 许琰 +1 位作者 李燕超 杨改文 《水力发电》 北大核心 2019年第8期107-110,125,共5页

随着风电场规模的不断扩大扩大,风电机组状态监测流数据呈指数增长,而电力系统要求对生产、管理、运营能够实时监控。为保证海量监测流数据处理的实时性,掌握风电机组的运行状态,设计了结合大数据处理技术的风电机组在线状态监测模型。... 随着风电场规模的不断扩大扩大,风电机组状态监测流数据呈指数增长,而电力系统要求对生产、管理、运营能够实时监控。为保证海量监测流数据处理的实时性,掌握风电机组的运行状态,设计了结合大数据处理技术的风电机组在线状态监测模型。根据状态监测数据的特点,引入了大数据处理技术中的Spark和Storm。实验结果显示,该状态监测模型有着较好的数据吞吐能力和加速比,也证明了该模型的有效性和可行性。 展开更多

关键词 内存批处理 流数据处理 风电机组 状态监测 弹性分布式数据集

在线阅读 下载PDF 职称材料

离散水波优化算法求解带批处理的混合流水车间批量流调度问题 被引量：6

9

作者 王文艳 徐震浩 顾幸生 《华东理工大学学报（自然科学版）》 CAS CSCD 北大核心 2021年第5期598-608,共11页

针对实际生产系统中生产方式复杂多样的特点,研究了带批处理的混合流水车间批量流调度问题。综合考虑批处理机容量和不相关离散机加工能力,提出了一种可变分批方法,以最小化完工时间为目标建立了调度模型,并提出了一种动态连续加工策略... 针对实际生产系统中生产方式复杂多样的特点,研究了带批处理的混合流水车间批量流调度问题。综合考虑批处理机容量和不相关离散机加工能力,提出了一种可变分批方法,以最小化完工时间为目标建立了调度模型,并提出了一种动态连续加工策略来优化目标函数。同时提出了一种离散水波优化(DWWO)算法求解模型。结合分批特点与优化目标,设计了4种解码方式对机器选择及工件的加工顺序进行优化;利用块最优插入、交叉操作和多邻域搜索对操作算子进行改进,增强了局部搜索能力;提出了一种替换差解的操作来提高算法的收敛能力。最后,采用实验设计的方法对算法的参数进行了标定;并设计了不同规模的算例,对算法的性能进行评估。实验结果表明DWWO算法能够有效解决带批处理的混合流水车间批量流调度问题。 展开更多

关键词 混合流水车间调度 批量流 批处理 水波优化算法 可变分批

在线阅读 下载PDF 职称材料

基于Flink on YARN平台的应用研究 被引量：2

10

作者 蔡鲲鹏 马莉娟 《科技创新与应用》 2020年第16期173-175,178,共4页

对于海量实时数据而言,基于Flink on YARN平台可以对这些数据进行并行化处理。在接下来的工作机制和相关技术中,重点分析了基于此平台典型的流架构的数据传输模式,在此基础上,比对了流处理系统和批处理系统的差异点。对于不同数据处理系... 对于海量实时数据而言,基于Flink on YARN平台可以对这些数据进行并行化处理。在接下来的工作机制和相关技术中,重点分析了基于此平台典型的流架构的数据传输模式,在此基础上,比对了流处理系统和批处理系统的差异点。对于不同数据处理系统,分析总结了Flink所面临的一些挑战,希望以此为Flink的进一步研究提供参考。 展开更多

关键词 Flink on YARN 流架构 流处理系统 批处理系统

在线阅读 下载PDF 职称材料

面向大数据的计算框架研究 被引量：1

11

作者 杨东芳 王少英 《河南科技》 2015年第1X期20-22,共3页

随着大数据、云计算的到来,各种业务也开始依赖大数据,包括各互联网公司也对数据有了前所未有的重视,目前的数据处理系统主要包括批处理系统和实时处理系统,而且这些业务越来越要求实时性,客户使用云服务可以避免复杂的系统设计和设备... 随着大数据、云计算的到来,各种业务也开始依赖大数据,包括各互联网公司也对数据有了前所未有的重视,目前的数据处理系统主要包括批处理系统和实时处理系统,而且这些业务越来越要求实时性,客户使用云服务可以避免复杂的系统设计和设备的多次购买费用。本文主要分析了当前的计算框架,以此构建基于云服务的大数据分析系统,使其具有良好的扩展性、兼容性及大数据处理引擎的自适应性选择。 展开更多

关键词 大数据 云计算 实时计算 批处理 流计算 自适应性

在线阅读 下载PDF 职称材料

基于电力大数据的多维聚合技术研究 被引量：1

12

作者 张莉娜 吴伟 +1 位作者 程旭明 胡勇 《数字技术与应用》 2017年第8期40-41,共2页

本文将从实时数据处理技术、流数据处理技术、实时数据批处理技术、等方面开展研究与应用,全面提高数据分析处理的实时性,满足大范围实时数据分析的需求。

关键词 实时数据处理 流数据处理技术 实时数据批处理

在线阅读 下载PDF 职称材料

基于Autodesk Map对二调入库前期数据整合系统的建立

13

作者 徐婵 《城市勘测》 2012年第4期48-50,共3页

县级农村土地调查数据库作为二调的重要成果之一,它能否高效、保质地建立起来,对二调工作的顺利完成起到了至关重要的作用。本文结合生产单位实际情况,以Autodesk Map为平台,结合ObjectARX、ArcObjects技术开发了入库前期数据整合系统,... 县级农村土地调查数据库作为二调的重要成果之一,它能否高效、保质地建立起来,对二调工作的顺利完成起到了至关重要的作用。本文结合生产单位实际情况,以Autodesk Map为平台,结合ObjectARX、ArcObjects技术开发了入库前期数据整合系统,实现数据采集、批量入库和处理,并最终起到快速搭建县级农村土地调查数据库的目的。 展开更多

关键词 第二次土地调查 AUTODESK MAP 数据整合 批量处理

在线阅读 下载PDF 职称材料