-
题名天地一体化网络中基于HDFS的元数据优化策略
- 1
-
-
作者
王坤
杨杨
邱雪松
-
机构
北京邮电大学可信网络通信协同创新中心
-
出处
《无线电通信技术》
2018年第1期9-13,共5页
-
基金
北京邮电大学可信网络通信协同创新中心预研基金项目
中央高校基本科研业务费专项资金项目
国家科技支撑计划项目(2015BAI11B01)
-
文摘
Hadoop分布式文件系统(HDFS)是Hadoop的核心之一,已经广泛应用于天地一体化网络数据的存储。但由于HDFS存储和管理的数据容量受限于命名节点(Name Node)的内存大小,其扩展性受到制约。针对Name Node管理元数据时存在的加载文件系统镜像(FSImage)时间过长、容量受内存大小限制等问题,提出将HDFS层级化的元数据结构调整为扁平化结构,并将元数据移出内存的优化思路,设计了基于日志结构合并树(Log-Structured Merge-Tree,LSM)与内存映射文件进行元数据管理的F-HDFS架构,并介绍了F-HDFS的元数据管理方式。通过F-HDFS的原型系统与HDFS的对比实验,表明F-HDFS性能整体优于HDFS,可提供稳定快速的元数据服务,能存储与管理超过HDFS 5.3倍以上的数据。
-
关键词
HADOOP
HDFS
元数据管理
扩展性
内存映射文件
-
Keywords
Hadoop
HDFS
metadata management
expansibility
memory mapped file
-
分类号
TP274
[自动化与计算机技术—检测技术与自动化装置]
-
