-
题名风云三号气象卫星大数据集产品并行处理模式
- 1
-
-
作者
贾树泽
赵金雁
崔鹏
施进明
-
机构
国家卫星气象中心运行控制室
-
出处
《计算机应用》
CSCD
北大核心
2015年第A02期44-48,共5页
-
基金
国家863计划项目(2011AA12A104)
-
文摘
针对风云气象卫星地面应用系统中如何缩短大数据集产品的处理时延,提高系统资源利用率的问题,提出了一种基于性能预测的、计算节点作业执行概率的信息素动态加权并行算法(pdw),并构建了新的并行处理模式。该模式一方面能够根据轨道级遥感数据与目标产品之间的空间位置匹配关系进行网格处理粒度的合理划分;另一方面,采用pdw算法综合考虑节点本身的处理能力和实时负载信息进行分粒度作业的资源匹配调度。业务实测结果表明,较传统的处理模式,采用新的处理模式后,具有典型大数据集特征的风云三号(FY-3)中分辨率光谱成像仪(MERSI)250 m分辨率全球植被指数分层数据格式(HDF)产品的处理时效提高了10倍左右,所提并行处理模式可以有效缓解I/O资源占用瓶颈、均衡系统负载,提升大数据集产品的处理效率。
-
关键词
风云气象卫星
分层数据格式
空间网格
大数据集
并行处理模式
负载均衡
-
Keywords
Fengyun meteorological satellite
Hierarchical Data Format（HDF）
space grid
big data set
parallel processing mode
load balance
-
分类号
TP391.77
[自动化与计算机技术—计算机应用技术]
-
