-
题名一种基于影像块组织的遥感数据分布式存储方法
被引量：9
- 1
-
-
作者
池子文
张丰
杜震洪
刘仁义
-
机构
浙江大学浙江省资源与环境信息系统重点实验室
浙江大学地理信息科学研究所
-
出处
《浙江大学学报（理学版）》
CAS
CSCD
2014年第1期95-99,112,共6页
-
基金
国家自然科学基金资助项目(41001227
41101356
+4 种基金
41101371)
海洋公益性行业科研专项经费资助(20090512-8)
浙江省科技攻关计划项目(2010C33146)
中央高校基本科研业务费专项(2011QNA3008
2013QNA3023)
-
文摘
云存储是解决动态增长的海量遥感数据产品存储管理难题的有效手段.针对云存储在遥感数据存储领域中存在的问题,提出了一种基于影像块组织的遥感数据分布式Key-Value存储模型,解决了分布式文件系统存储大规模影像块效率低下的问题,使遥感数据云存储具备了空间区域访问特性;结合开源分布式文件系统HDFS,实现了影像数据的分布式高效存储与空间区域检索.实验与分析表明,系统在多用户并发连接情况下可以维持较高的吞吐率,同时具备良好的可伸缩性和稳定性.
-
关键词
遥感数据产品
分布式文件系统
HDFS
mapfile
Ke
卜value
-
Keywords
remote sensing data product
distributed file system
HDFS
mapfile
Key-Value
-
分类号
P208
[天文地球—地图制图学与地理信息工程]
-
-
题名基于EHDFS的海量小文件存储与检索方法
被引量：5
- 2
-
-
作者
李文武
张建锋
王景林
-
机构
西北农林科技大学信息工程学院
-
出处
《计算机工程与设计》
北大核心
2022年第2期376-383,共8页
-
基金
陕西省重点项目研发计划基金项目(2019 NY-164)。
-
文摘
为有效解决HDFS面对多类型的海量小文件存在存储效率与检索速率低下的问题,构建一种基于EHDFS架构的存取方案。存储阶段,引入最优化策略,建立新的合并存储模型,使小文件最大化填满且均匀分布于Block,提高DataNode空间利用,降低NameNode内存开销。检索阶段,改进MapFile映射关系结构、索引存储位置与组成元素以建立新的文件索引模型,避免跨跃式文件搜索,实现小文件的集中检索。实验结果表明,对比多种大数据存储模型,在不同数据量的分组压力测试下,该方案有效提高了HDFS的存取效率。
-
关键词
海量小文件
EHDFS架构
最优化合并存储模型
mapfile映射关系结构
文件索引模型
-
Keywords
massive small files
EHDFS architecture
optimization merge storage model
mapfile mapping structure
file index model
-
分类号
TP302
[自动化与计算机技术—计算机系统结构]
-
