期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于Hadoop的海量气象雷达小文件存储研究
被引量：
4
1
作者
杨芙容
王永丽
王文明
《成都信息工程学院学报》
2015年第3期254-258,共5页
针对气象雷达观测产生的文件多、数据量大、计算复杂等特点,通过研究分布式存储计算平台Hadoop,提出将雷达观测中实时生成的一次产品文件直接存储在HBase中;而对立体扫描文件和计算生成的二次产品文件,采用Sequence File技术合并处理后...
针对气象雷达观测产生的文件多、数据量大、计算复杂等特点,通过研究分布式存储计算平台Hadoop,提出将雷达观测中实时生成的一次产品文件直接存储在HBase中;而对立体扫描文件和计算生成的二次产品文件,采用Sequence File技术合并处理后存储在Hadoop分布式文件系统中。根据雷达文件的标识特点,将HBase的行主键设计成时间+产品参数,利用随机散列与预分区保证HBase中regionserver的负载均衡;通过与直接存储在Hadoop分布式文件系统的方案进行比较,从Name Node的内存占用和文件读取时间两个方面进行测试和方案评估。实验证明该方案节省约60%的Name Node的内存空间,同时提高近18%的文件读取速率。
展开更多
关键词
计算机应用
大数据
雷达数据
小文件问题
分布式存储
HADOOP
HBASE
SEQUENCE
FILE
在线阅读
下载PDF
职称材料
题名
基于Hadoop的海量气象雷达小文件存储研究
被引量：
4
1
作者
杨芙容
王永丽
王文明
机构
成都信息工程大学信息安全工程学院
出处
《成都信息工程学院学报》
2015年第3期254-258,共5页
基金
四川省科技厅应用基础资助项目(2014JY0093)
文摘
针对气象雷达观测产生的文件多、数据量大、计算复杂等特点,通过研究分布式存储计算平台Hadoop,提出将雷达观测中实时生成的一次产品文件直接存储在HBase中;而对立体扫描文件和计算生成的二次产品文件,采用Sequence File技术合并处理后存储在Hadoop分布式文件系统中。根据雷达文件的标识特点,将HBase的行主键设计成时间+产品参数,利用随机散列与预分区保证HBase中regionserver的负载均衡;通过与直接存储在Hadoop分布式文件系统的方案进行比较,从Name Node的内存占用和文件读取时间两个方面进行测试和方案评估。实验证明该方案节省约60%的Name Node的内存空间,同时提高近18%的文件读取速率。
关键词
计算机应用
大数据
雷达数据
小文件问题
分布式存储
HADOOP
HBASE
SEQUENCE
FILE
Keywords
computer application
big data
radar data
small files problem
distributed storage
Hadoop
HBase
Se-quencefile
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于Hadoop的海量气象雷达小文件存储研究
杨芙容
王永丽
王文明
《成都信息工程学院学报》
2015
4
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
