期刊文献+
共找到5篇文章
< 1 >
每页显示 20 50 100
基于气象大数据云平台的政务区数据同步技术研究 被引量:1
1
作者 朱辉 冯勇 《现代电子技术》 北大核心 2024年第10期96-100,共5页
随着气象大数据的快速发展和山东数字强省建设的深入推进,气象数据在地方政府的发展和决策制定中发挥着越来越重要的作用。为了满足政府数据应用的需求,提出一种基于气象大数据云平台的高效、安全、可靠的数据同步方案,以实现政务区的... 随着气象大数据的快速发展和山东数字强省建设的深入推进,气象数据在地方政府的发展和决策制定中发挥着越来越重要的作用。为了满足政府数据应用的需求,提出一种基于气象大数据云平台的高效、安全、可靠的数据同步方案,以实现政务区的数据同步,提升气象数据服务能力和信息化水平。依据气象数据的类型和特点,将其划分为一般结构化数据、特色结构化数据和非结构化数据三类,针对每类数据提出了相应的同步技术方案,构建了针对政务区数据同步的综合解决方案,并以山东省气象数据为例进行了实验分析。结果表明,所提方案具备高度可行性、有效性和安全性,可为政府决策提供强有力的数据支撑。 展开更多
关键词 气象大数据云平台 数据同步 政务DMZ区 Binlog日志同步技术 ETL同步技术 消息路由技术
在线阅读 下载PDF
气象大数据云平台的网络安全防护体系设计 被引量:5
2
作者 杨代才 《信息安全研究》 CSCD 2023年第7期701-706,共6页
针对气象大数据云平台存在的网络安全现状需求,设计一种基于持续自适应风险与信任评估、安全责任共担模式的安全防护体系,以保护气象大数据云平台为对象,围绕安全管理、安全技术和安全运营开展覆盖决策规划、纵深防御、监测预警、安全... 针对气象大数据云平台存在的网络安全现状需求,设计一种基于持续自适应风险与信任评估、安全责任共担模式的安全防护体系,以保护气象大数据云平台为对象,围绕安全管理、安全技术和安全运营开展覆盖决策规划、纵深防御、监测预警、安全响应和安全评价5个阶段的安全防护,全面保障气象大数据云平台的安全运行,为今后气象云平台网络安全防护提供一种新思路和新模式. 展开更多
关键词 气象大数据云平台 网络安全 自适应理念 责任共担 安全运营
在线阅读 下载PDF
地面自动气象站数据流式处理设计与实现 被引量:6
3
作者 肖卫青 薛蕾 +7 位作者 刘振 罗兵 王颖 张来恩 郭萍 霍庆 韩书丽 何文春 《应用气象学报》 CSCD 北大核心 2024年第3期373-384,共12页
针对观测密度和频次日益增加的海量地面自动气象站数据,在气象大数据云平台(天擎)中设计了基于Storm的实时流式处理,利用大规模并行处理的优势提高地面自动气象站数据的处理时效。在流式处理中,设计处理拓扑直接解码标准格式的数据消息... 针对观测密度和频次日益增加的海量地面自动气象站数据,在气象大数据云平台(天擎)中设计了基于Storm的实时流式处理,利用大规模并行处理的优势提高地面自动气象站数据的处理时效。在流式处理中,设计处理拓扑直接解码标准格式的数据消息;消息确认采用手工确认的方式,将数据解码组件锚定数据接入组件,实现每条数据的可靠处理;数据解码时进行字节校验和时间检查等,过滤异常数据;应用批量加定时的发送策略,解决海量监控信息发送气象综合业务实时监控系统(天镜)的问题;集群部署时保留部分剩余资源,有效应对单节点异常。应用效果表明:国家气象站小时数据的服务时效由全国综合气象信息共享系统(CIMISS)的175 s提高至天擎的78 s,约6×10^(4)个区域气象站小时数据的服务时效由CIMISS的5 min提高至天警的2 min,实况分析系统将数据源切换至天擎后,相同时间检索可获取的站点数量较CIMISS增加1倍。2021年12月基于Storm的流式处理与天擎一同在国省业务化运行,实现了长期稳定运行,为MICAPS4、SWAN2.0、实况分析系统等用户提供高效稳定的地面自动气象站数据。 展开更多
关键词 气象大数据云平台 地面自动气象 STORM RabbitMQ 流式处理 BUFR
在线阅读 下载PDF
基于数据感知的气象算法调度框架设计与应用 被引量:6
4
作者 霍庆 何文春 +3 位作者 高峰 陈士旺 徐拥军 王琦 《应用气象学报》 CSCD 北大核心 2024年第4期502-512,共11页
气象产品加工任务往往由不同算法组合而成,其状态对数据源具有高依赖性。高效感知数据状态,并及时合理启动调度,对提升气象产品加工的时效性至关重要。设计并建设了基于数据感知技术的气象算法调度框架,对比测试结果分析表明:在实时分... 气象产品加工任务往往由不同算法组合而成,其状态对数据源具有高依赖性。高效感知数据状态,并及时合理启动调度,对提升气象产品加工的时效性至关重要。设计并建设了基于数据感知技术的气象算法调度框架,对比测试结果分析表明:在实时分析数据源到报状态的基础上,数据感知调度实现数据到报即算法启动运行,任务调度延迟较定时调度显著降低,由3784 ms降至11 ms。数据感知调度作为气象大数据云平台加工流水线的核心能力,已在国省部署并实时运行。目前在国家级业务中支撑19种核心业务算法的高效调度,日调度次数约为6.67×10^(5),平均调度延迟为31 ms;在省级业务中支撑14种算法的高效调度,日调度次数约为8×10^(4),平均调度延迟为156 ms。此外,数据感知调度实现了气象业务上下游算法的无缝串联,可为解决气象业务间的脱节问题、提升气象业务间的协同性提供解决方案。 展开更多
关键词 数据感知技术 任务调度 气象算法 气象大数据云平台 加工流水线
在线阅读 下载PDF
基于“云+端”架构的江西省雷达拼图系统设计 被引量:5
5
作者 袁正国 李显风 +2 位作者 邓卫华 胡丽丽 周雪莹 《科学技术与工程》 北大核心 2022年第18期7773-7779,共7页
及时准确的天气雷达产品对灾害性天气监测预报预警具有重要作用,为进一步提高雷达产品处理效率,基于融入气象大数据云平台(“天擎”)的建设理念,设计与开发了“云+端”技术架构的江西省雷达拼图系统,采用数据源感知、顺序任务、定时任... 及时准确的天气雷达产品对灾害性天气监测预报预警具有重要作用,为进一步提高雷达产品处理效率,基于融入气象大数据云平台(“天擎”)的建设理念,设计与开发了“云+端”技术架构的江西省雷达拼图系统,采用数据源感知、顺序任务、定时任务等多种调度机制,实现了雷达资料的质量控制、网格化处理、数据缓存、组网拼接等实时快速处理。基于集约化统一监控思想,研发了系统运行的全流程监视与异常告警功能。依托“天擎”的数据、计算资源,构建了分布式并行的系统运行环境,对江西省及周边省份22部多普勒天气雷达进行组网拼图处理,实时制作江西省逐6 min、0.01°分辨率的单站及区域组网的雷达数据产品。产品纳入“天擎”统一标准化存储管理,为全省精细化气象业务提供了在线服务支撑。基于“天擎”统一加工流水线的雷达拼图系统显著提高了数据处理时效,为推进构建“云+端”的新气象业务提供了技术参考。 展开更多
关键词 天气雷达 组网拼图 气象大数据云平台(“天擎”) +端”架构
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部